Готов увести вашу маму из семьи

Статистичечкий критерий проверки тяг на бархатность

Асимптотическая оценка подкрадульности для гиперграфов

Придумала очередную ебаную идею для рисерча

С 2 по 8 мая я буду жить на базе ЦПМ)))

Сегодня ночью меня мучала бессонница. И... Я придумал как нормально прикрутить трансформеры к моей задаче в хуавее, так ещё чтобы все быстро ± могло на роутере работать. Я доработал себе комплекс упражнений для лица и поделал его, причём в двух вариантах доработки. Много о чем подумал. А все ради того чтобы митинг утренний в хуавее перенесли и я на него не пришёл :(

Забыл вчера запостить

Итак. Я не хотел это анонсировать заранее, но теперь анонсирую. Я буду работать в открывающейся лаборатории математического моделирования эволюционных процессов БФУ, параллельно, непосредственно программирующим математиком. Скорее всего, моей первой задачей будет доработка библиотеки, которая позволяет генетикам векторизовывать мутации. Надо будет заботать матричные разложения, которые они там используют, и имплементировать кучу вещей, связанных с ними и работой с распределениями в этом контексте.

Я черешьня

Почему константно хочется хинкали?

Теория вероятностей на практике.
Или как школьный теорвер помогает в работе MLщика.

Представьте себе ситуацию - у вас есть модель бинарной классификации, которая что-то предсказывает. После того, как она выдала вам вероятность положительного класса, если она больше чем некоторый порог, вы делаете доп.проверку с помощью эвристик (чтобы убрать лишние False Positive варианты), и после этого уже выдаете итоговое предсказание. У вас есть новая модель, которой вы хотите заменить старую. Она работает лучше, но для нее порог для подачи в доп.проверку будет другой. Соответственно, хочется научиться оценивать, сколько в итоге сэмплов при каком-то пороге пройдет доп.проверку после работы новой модели.

Если записать на языке теории вероятности, то мы хотим оценить P(доп.проверка пустила | predict > threshold). Но есть нюанс - часть сэмплов, на которых новая модель выдала большой скор, у старой модели имели маленький скор, и не попали на доп.проверку. Поэтому напрямую оценить эту вероятность не получится. Что же нам тогда делать?

Воспользуемся формулой Байеса: P(доп.проверка пустила | predict > threshold) = P(predict > threshold | доп.проверка пустила) * P(доп.проверка пустила) / P(predict > threshold). Имея выборку, посчитать знаменатель и первый множитель не составляет труда. Однако что делать с P(доп.проверка пустила)? Мы все еще не можем напрямую оценить эту вероятность.

Воспользуемся формулой полной вероятности: P(доп.проверка пустила) = P(доп.проверка пустила | predict_old > threshold_old) * P(predict_old > threshold_old) + P(доп.проверка пустила | predict_old <= threshold_old) * P(predict_old <= threshold_old). Первый множитель мы оценить можем, но что делать со вторым? Мы хотим получить оценку на эту вероятность сверху, чтобы оценить итоговую вероятность сверху (если итоговая система выдала положительный класс, делается много действий, например это может быть классификатор поломки детали на производстве, соответственно мы хотим контролировать кол-во False Positive результатов). Если у старой модели сработала ситуация, что predict_old <= threshold_old, то, так как та модель все еще обладала нормальной точностью и полнотой, можем смело предположить что P(доп.проверка пустила | predict_old <= threshold_old) < P(доп.проверка пустила | predict_old > threshold_old). Тогда, упростив выражение, получим P(доп.проверка пустила) <= P(доп.проверка пустила | predict_old > threshold_old), а вероятность справа мы уже можем оценить по выборке.

Собираем все вместе: P(доп проверка пустила | predict > threshold) < P(predict > threshold | доп.проверка пустила) * P(доп.проверка пустила | predict_old > threshold_old) / P(predict > threshold). Теперь, подбирая threshold, мы можем оценивать кол-во сэмплов с положительным классом, которые мы предскажем на проде.

Вот так, с помощью простых трюков с вероятностью получилось вывести полезный результат для валидации нашей модели.

Итак, я провел масштабный рефакторинг, и наконец-то бот запущен, задеплоен на яндекс клауде (надеюсь никакая пропущенная мной бага не положит все), и его можно потыкать!
Это пока что самая первая версия, она будет дорабатываться. Мой первый относительно нормальный проект, не связанный с чистым ML.
Бот: @coffee_tracker_bot
Код: github.com/Kutuz4/Coffee-Tracker (можете поставить луйков на репо, буду благодарен)
Конструктивная критика огненно приветствуется

По планам на развитие:
1) добавить доп.функционал для удобства типо удаления кофеен/напитков если что-то не так ввел
1.1) переехать на нормальную бд
2) собрать большой датасет и запилить рекомендашку кофе (тут будет очень много интересных ML и не ML задач типо матчинга кофеен с разными названиями в одни, и прочее)
3) В оооочень далеком будущем я перепишу это на го

Этого не должно было случиться но это случилось...
Команда VoiceKit меня завернула по причине отсутствия опыта в деплое сеток и прочих штуках, а тут... Там же было ещё несколько кандидатов + мужик будто бы мощно разнес меня на собесе. Что за бред

Дождливая среда мои чуваки

Сегодня мы раскатили мою модель в яндексе в тестовом режиме и она нашла свое первое ДТП!!!