В понедельник вечером общался с еще одним преподавателем-логопедом (английский язык), по имени Кейт Мидлтон. Она мне понравилась и я решил с ней заниматься по серьезному.

На мой вопрос: Какое количество занятий в неделю ты считаешь оптимальным? она ответила, что большинство людей с ней занимаются один раз в неделю.
Пришлось повторить вопрос, какое количество занятий в неделю ты считаешь оптимальным.
Со второй попытки пошло лучше - два-три раза, но это может быть тяжело, выдержу ли я?

Это вызвало у меня некое удивление, так как урок с кейт был четвертым уроком за день из двенадцати на неделю. Логопед, школа актерского мастерства и постановки акцента, логопед-преподаватель и, наконец Кейт. Пришлось ее успокоить что два занятия в неделю я как-нибудь да выдержу

Таким образом на текущий момент у меня есть: логопед, преподаватель английского, два преподователя-логопеда и два человека с курсов актерского мастерства, которые работают со мной над акцентом. Думаю что к январю уменьшу количество преподавателей до двух-трех, а количество часов до шести-десяти.

Буду надеяться что к следующей осени результаты будт на лицо и на ухо, да и время на канал, с учетом графика в январе, будет оставаться

Вышла запись подкаста запуск завтра (альтернатива на apple)

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain.

Пролистывал канал kaggle crackers в чатике ODS в слаке

Наткнулся на сообщение Вадима, которому недавно исполнилось 17 лет, где он описывает свои достижения. Оно произвело на меня впечателние и я решил его привести ниже

К сожалению, для меня, а также для всех украинцев, этот год был самый тяжелый за всю жизнь, но это не означает, что нужно сложить руки и ничего не делать.

В общем, у меня не такие крутые достижения нежели у других людей, которые писали выше, но почему бы и не написать?

Первое достижение этого года стало - Kaggle Discussion Grandmaster. Это конечно достаточно бесполезное достижение, но тем не менее, это достаточно хорошо развивает социальные сети и позволяет получать дополнительные плюшки о которых речь пойдет дальше. После пары месяцев болтовни я вошел в топ 10 в мировом рейтинге.

Думаю все знакомы с библиотекой Weights & Biases, так вот, благодаря, то что я где-то на форуме kaggle (уже был Discussion Grandmaster) предложил как лучше использовать возможности Weights & Biases они мне написали и предложили стать их Амбассадором, что очень сильно удивило (и да, условия у них были просто космические). Параллельно с тем, что мы обсуждали контракт они решили отправить мерч (футболку) с их логотипом. В итоге со мной не захотели подписывать контракт из-за того, что я несоверешенолетний (мне 17), потому что это запрещено юридически. Быть ребенком - иногда очень не выгодно.

Во время летних каникул, я набирался опыта участием на Kaggle соревнованиях, в итоге 2е бронзовые медали и 2е серебренные медали (в одной вылетели из золотой медали). К огромному сожалению, в последнем соревновании не получилось усердно принимать участие, так как в Украине был blackout, и у нас не было электричества и воды на протяжение нескольких дней. Однако, мы с командой выиграли мерч от Kaggle (футболка)

Также стал Kaggle Notebooks Master. Сейчас в арсенале имеются 2 золотые медали (в одном ноутбуке >450 лайков) и 14 серебряных.
В заключение, хочу сказать, что этот год, для меня прошел очень странно, было мало радостных моментов (обучения почти не было, гребанные бомбежки и т.п), хотя достижения достаточно неплохие. Цель на следующий год: стать Kaggle Competitions Master.

Всем удачи! Мирного неба над головой!

Если вы хотите связаться с Вадимом и предложить ему работу/поддержку, а кажется что мотивации и навыков у него с лихвой - вот его профиль на LinkedIn и почта vadimirtlach@gmail.com

Валерий Бабушкин - Метрики: от офлайна до иерархии
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference

В 15:15 на нашем митапе выступит Валерий Бабушкин, VP, Data Science @ Blockchain.com.

Валера расскажет про онлайн, офлайн и прокси метрики, а также про иерархию метрик в АБ-тестах.

Регистрация на мероприятие тут.
Полное расписание мероприятия тут.

Прочитал довольно большую статью на medium о том что prophet работает почти всегда хуже Arima и часто даже хуже, чем просто экспоненциально сглаживание в задаче предсказания временных рядов

Особо откомментировать нечего - одна за другой приведены истории брюзжания и даже есть предложения как это пофиксить, кроме момента что кажется там где данных становится побольше - prophet работает весьма неплохо

Из интересного:

1. I guess nobody gets to be a famous Prophet by making mundane safe predictions, but at minimum, one should be aware of some Prophet mechanics. For instance, the last 20% of data points are not used to estimate the trend component. Did you know that? Did you expect that? I didn’t. Let it sink in.

2. A paper considering Prophet by Jung, Kim, Kwak and Park comes with the noscript A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting (pdf). As the spoiler suggests, things aren’t looking rosy. The authors list Facebook’s Prophet as the worst performing of all algorithms tested. Oh boy.

Ah, you object, but under what metric? Maybe the scoring rule used was unfair and not well suited to sales of Facebook portals? That may be, but according to those authors Prophet was the worst uniformly across all metrics — last in every race. Those criteria included RMSE and MAPE as you would expect, but also mean normalized quantile loss where (one might have hoped) the Bayesian approach could yield better distributional prediction than alternatives. The author’s explanation is, I think, worth reproducing in full.

3. Yes you can imagine my disappointment when, out-of-the-box, Prophet was beaten soundly by a “take the last value” forecast but probably that was a tad unlucky (even if it did send me scurrying to google, to see if anyone else had a similar experience).

Хотя мой опыт использования prophet в целом скорее схож - если хорошо настроить (S)ARIMA - то она будет как минимум не хуже, стало интересно узнать как было у других, пишите в коментах, с интересом прочитаю

На этот раз поведенческое интервью прошёл Артур Кузин, Kaggle Grandmaster, Head of Deep Learning в компании Eqvilent. В прошлом – Head of Computer Vision Platform в SberDevices.

Смотреть

Выступал недавно перед ребятам
Даже не знал что будут выкладывать
Можно посмотреть здесь

Понравился комментарий
Интесно что здесь практически нечего не сказано конкретно про МЛ, но это лучшее выступление Бабушкина что мне попадалось. Поменяло мое отношение сильно. Спасибо.

Новый эпизод! Валерий Бабушкин,
вице-президент по Data Science в Blockchain.com, в прошлом успевший поработать в Meta, X5 RG, Alibaba и Яндексе.

В выпуске Валерий расскажет о приватности мессенджера WhatsApp, а также о работе в http://Blockchain.com

Прочитал очередную статью от пацанов из Тик-Тока: Deep Retrieval: Learning A Retrievable Structure forLarge-Scale Recommendations

Идея следующая -> для рекомендательных систем важно уметь быстро получать относительно релевантных кандидатов, которые затем идут на reranking

Обычно делают inner-product model (например metric learning), а затем запускают поверх ANN (approximate nearest neighbour). В статье же хотят показать как можно делать retrieval напрямую через интеракции товар-пользователь, без предположений о Евклидности пространства и близости сущностей в нем (что на мой взгляд не так чтобы и проблема, учитывая что в metric learning мы специально обучаем именно такую репрезентацию).

Обучают модель в D слоев, каждый слой это MLP + softmax поверх K Нод (лейбл - кластер товара по которому был клик/покупка), выдает вероятность принадлежности к одному из К кластеров (обсудим их дальше). На вход D1 подается эмбединг пользователя, на выходе получаем распределение вероятностей K1. На вход в D2 подается конкатенация эмбединга пользователя и K1, получаем распределение вероятностей K2. На вход в D3 подается конкатенация эмбединга пользователя, K1 и K2, получаем распределение вероятностей K3 и тп.

Следовательно пользователь имеет потенциально K^D разных путей. Например если у нас 30 кластеров, 3 слоя, модель может выдать для пользователя Х следующий путь 1-10-15, означающий кластер 1 среди первых 30, кластер 10 среди следующих 30 и кластер 15 среди следующих 30. Так как мы имеем распределение - можем пойти глубже и взять например топ-3 с каждого слоя, получая таким образом n^D (27 в нашем случае) различных путей вместо изначального 1-го. Так как мы учим на связки интеракций пользователь-товар, то мы можем получить пути как для пользователя, так и для товара.

Возникает вопрос, как же товар может принадлежать к разным кластерам?
For example, an item related to kebab could belong to a “food” cluster. An item related to flowers could belong to a “gift” cluster. However, an item related to chocolate or cakes could belong to both clusters in order to be recommended to users interested in either food or gifts.

Это кстати указывается как одно из преимуществ над tree-based deep models, которые так не умеют

Резонный вопрос, а как определить начальные кластеры? Хорошо, у нас есть эмбединги пользователей, интеракции пользователей с товарами, но откуда взять лейблы для K? Раскидаем случайно и включим EM машину. Первая итерация, раскидали - обучили модель, затем переобучаем мапинг товара в кластер, чтобы он максимизировал выдачу модели

Как это применяется во время Инференса?
1. Подаем эмбединг пользователя -> получаем N путей ( жадный алгоритм выдает 1 путь)
2. Собираем все товары, находящиеся в этих путях
3. Прогоняем их через промежуточный реранкер

Есть несколько дополнительных моментов
I. Несмотря на то, что DR (Deep Retrieval) выдает сабсет товаров, их все еще много, поэтому попутно с ним учится еще реранкер, чтобы затем выдавать топ (это все еще не финальный реранкер!)
II. Мапинг в кластера - дискретный, поэтому градиентными методами его не обновить (отсюда и EM)
III. Добавляют штраф за попадание еще одного айтема ( прохождение того же пути) в путь, иначе есть риск что все айтемы упадут в один путь, использовали штраф в виде c^4/4 где c - количество айтемов попаших в путь
IIII. Обновляли модель от входящего потока данных - это повлияло на некоторые вещи, например M шаг в EM. Также использовали экспоненциальное затухание с коэффициентом 0.999

Метрики
Конечно по всем показывают что они лучше, что в офлайне, что в онлайне но, почему то везде низкий recall. Например Recall@200 около 13% - что вызывает вопросы, Sota Recall@200 - 28%
Результаты АБ теста показали как point estimate - что странно, на офлайн показывали ДИ

В целом попробовать можно. Хотелось бы увидеть более подробный abblation study и тесты
Удивляет сравнение на датасете movie lens и amazon books, а затем один А/Б тест в Тиктоке без доверительных интервалов (в офлайне были!) и отсутствие понимания с чем сравнивали
#ArticleReview

Вчера был на встрече рускоговорящего клуба global talent в Лондоне.

Я привык думать о себе, как о недавно переехавшем. Однако мой третий год в Лондоне оказался просто таки мега ветеранским.

Подавляющее большинство переехало в последнее время, около 6 месяцев и лишь один человек из 20, с кем я поговорил, переехал 5 лет назад, все остальные - менее года

Как будто бы что-то случилось

Недавно купил себе новую кровать и что особенно важно, первый раз в жизни - новый матрас

Выбор Матраса - вещь непростая и зависит от кучи факторов: собственного веса, общего веса, положения во время сна (на спине, на боку, на животе), особенностей терморегуляции и тп. Кроме того - пойти в магазин и полежать на матрасе не поможет, по хорошему, чтобы понять матрас, на нем нужно поспать месяц и потом оценить. Здесь все как у людей

В итоге матрас и кровать я выбрал еще в августе, но купил в ноябре, на черную пятницу, сэкономив примерно 1500 фунтов. По итогам месяца могу сказать что покупка себя полностью оправдала. Показатели восстановления и качества сна, согласно Oura Ring (приложу в комментариях) - самые лучшие что у меня были за все три года и улучшения начались ровно в момент замены матраса (сравнил так же год к году). Так что судя по всему, trial period в год мне не пригодится - возвращаться матрас не планирую, а вот вечная гарантия - вполне себе

На очереди, если дойдут руки, попробовать накладку на матрас, которая регулирует температуру и может как охлаждать(водяное охлаждение) так и нагревать, отслеживать фазу сна и менять температуру так, чтобы подводить человека к максимальному лёгкому и полезному просыпанию, а если надо разбудить - включить вибрацию! При этом есть еще и зонирование, если одному партнеру хочется потеплее, а другому похолоднее

В новый год пришла пора раскрыть главный секрет ведения телеграм канала. Подписчиков становится больше в те дни, когда я не пишу в канал и меньше в те дни, когда пишу.

Не в первый раз заметил, что меня пытаются поправить, когда я пишу римскую цифру четыре как IIII. Однако, стоит отметить, что с давних времен четыре пишется как IIII, а IV это все либеральные нововведения. Дарю вам ссылку на печально известный VIIII Легион, который судя по всему сгинул где-то в Британии и о котором сняли кучу фильмов. Он же послужил прототипов для Потерянного Примарха XI легиона из Warhammer 40000

Каждый раз когда я говорю, какая прекрасная погода в Лондоне, местные и приезжие с Индии/Пакистана/Непала и тп очень удивляются. Они не знают, что в то время как в Москве и Подмосковье -20/-30, местные пацаны играют в футбол в +13

Вышла запись подкаста со мной. На мой взгляд поговорили отлично, в том числе обсудили Бога Кузю, хотя возможно цензура не пропустила многое, но на заголовок поставили кажется не самое интересное

Подоспело видео с недавнего выступления о метриках

Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

И это снова произошло

Вышла очередная статья от моих друзей, Саши Сахнова и Коли Назарова

Ряд цитат:

Совсем не ошибаться нельзя. Чтобы получить на 100% достоверные результаты, нужно бесконечно много данных. На практике получить столько данных затруднительно. Если совсем не ошибаться нельзя, то хотелось бы ошибаться не слишком часто и контролировать вероятности ошибок.

Предположим, мы решили, что допустимые вероятности ошибок первого и второго рода равны 0.1 и 0.2 соответственно. Будем называть статистический критерий корректным, если его вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно.

Как сделать критерий, в котором вероятности ошибок будут равны допустимым вероятностям ошибок?

Вероятность ошибки первого рода по определению равна уровню значимости критерия. Если уровень значимости положить равным допустимой вероятности ошибки первого рода, то вероятность ошибки первого рода должна стать равной допустимой вероятности ошибки первого рода.

Вышло очередное поведенческое интервью

Мой друг Игорь написал подробную статью про ChatGPT - которая скорее является полноценным обзором, который зайдет как новичкам, так и спецам. Советую прочитать

Еще у него есть Телеграм Канал, но это уже на ваш страх и риск

Мои друзья из МТС проводят сегодня соревнование на площадке ODS - MTC ML Cup

Это турнир по определению пола/возраста владельца cookie от МТС Digital.

Призовой фонд MTC ML Cup – 650 000 рублей:

Регистрация уже открыта, простая анкета для участников и все подробности – на сайте. Старт сегодня