Прочитал довольно большую статью на medium о том что prophet работает почти всегда хуже Arima и часто даже хуже, чем просто экспоненциально сглаживание в задаче предсказания временных рядов

Особо откомментировать нечего - одна за другой приведены истории брюзжания и даже есть предложения как это пофиксить, кроме момента что кажется там где данных становится побольше - prophet работает весьма неплохо

Из интересного:

1. I guess nobody gets to be a famous Prophet by making mundane safe predictions, but at minimum, one should be aware of some Prophet mechanics. For instance, the last 20% of data points are not used to estimate the trend component. Did you know that? Did you expect that? I didn’t. Let it sink in.

2. A paper considering Prophet by Jung, Kim, Kwak and Park comes with the noscript A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting (pdf). As the spoiler suggests, things aren’t looking rosy. The authors list Facebook’s Prophet as the worst performing of all algorithms tested. Oh boy.

Ah, you object, but under what metric? Maybe the scoring rule used was unfair and not well suited to sales of Facebook portals? That may be, but according to those authors Prophet was the worst uniformly across all metrics — last in every race. Those criteria included RMSE and MAPE as you would expect, but also mean normalized quantile loss where (one might have hoped) the Bayesian approach could yield better distributional prediction than alternatives. The author’s explanation is, I think, worth reproducing in full.

3. Yes you can imagine my disappointment when, out-of-the-box, Prophet was beaten soundly by a “take the last value” forecast but probably that was a tad unlucky (even if it did send me scurrying to google, to see if anyone else had a similar experience).

Хотя мой опыт использования prophet в целом скорее схож - если хорошо настроить (S)ARIMA - то она будет как минимум не хуже, стало интересно узнать как было у других, пишите в коментах, с интересом прочитаю

На этот раз поведенческое интервью прошёл Артур Кузин, Kaggle Grandmaster, Head of Deep Learning в компании Eqvilent. В прошлом – Head of Computer Vision Platform в SberDevices.

Смотреть

Выступал недавно перед ребятам
Даже не знал что будут выкладывать
Можно посмотреть здесь

Понравился комментарий
Интесно что здесь практически нечего не сказано конкретно про МЛ, но это лучшее выступление Бабушкина что мне попадалось. Поменяло мое отношение сильно. Спасибо.

Новый эпизод! Валерий Бабушкин,
вице-президент по Data Science в Blockchain.com, в прошлом успевший поработать в Meta, X5 RG, Alibaba и Яндексе.

В выпуске Валерий расскажет о приватности мессенджера WhatsApp, а также о работе в http://Blockchain.com

Прочитал очередную статью от пацанов из Тик-Тока: Deep Retrieval: Learning A Retrievable Structure forLarge-Scale Recommendations

Идея следующая -> для рекомендательных систем важно уметь быстро получать относительно релевантных кандидатов, которые затем идут на reranking

Обычно делают inner-product model (например metric learning), а затем запускают поверх ANN (approximate nearest neighbour). В статье же хотят показать как можно делать retrieval напрямую через интеракции товар-пользователь, без предположений о Евклидности пространства и близости сущностей в нем (что на мой взгляд не так чтобы и проблема, учитывая что в metric learning мы специально обучаем именно такую репрезентацию).

Обучают модель в D слоев, каждый слой это MLP + softmax поверх K Нод (лейбл - кластер товара по которому был клик/покупка), выдает вероятность принадлежности к одному из К кластеров (обсудим их дальше). На вход D1 подается эмбединг пользователя, на выходе получаем распределение вероятностей K1. На вход в D2 подается конкатенация эмбединга пользователя и K1, получаем распределение вероятностей K2. На вход в D3 подается конкатенация эмбединга пользователя, K1 и K2, получаем распределение вероятностей K3 и тп.

Следовательно пользователь имеет потенциально K^D разных путей. Например если у нас 30 кластеров, 3 слоя, модель может выдать для пользователя Х следующий путь 1-10-15, означающий кластер 1 среди первых 30, кластер 10 среди следующих 30 и кластер 15 среди следующих 30. Так как мы имеем распределение - можем пойти глубже и взять например топ-3 с каждого слоя, получая таким образом n^D (27 в нашем случае) различных путей вместо изначального 1-го. Так как мы учим на связки интеракций пользователь-товар, то мы можем получить пути как для пользователя, так и для товара.

Возникает вопрос, как же товар может принадлежать к разным кластерам?
For example, an item related to kebab could belong to a “food” cluster. An item related to flowers could belong to a “gift” cluster. However, an item related to chocolate or cakes could belong to both clusters in order to be recommended to users interested in either food or gifts.

Это кстати указывается как одно из преимуществ над tree-based deep models, которые так не умеют

Резонный вопрос, а как определить начальные кластеры? Хорошо, у нас есть эмбединги пользователей, интеракции пользователей с товарами, но откуда взять лейблы для K? Раскидаем случайно и включим EM машину. Первая итерация, раскидали - обучили модель, затем переобучаем мапинг товара в кластер, чтобы он максимизировал выдачу модели

Как это применяется во время Инференса?
1. Подаем эмбединг пользователя -> получаем N путей ( жадный алгоритм выдает 1 путь)
2. Собираем все товары, находящиеся в этих путях
3. Прогоняем их через промежуточный реранкер

Есть несколько дополнительных моментов
I. Несмотря на то, что DR (Deep Retrieval) выдает сабсет товаров, их все еще много, поэтому попутно с ним учится еще реранкер, чтобы затем выдавать топ (это все еще не финальный реранкер!)
II. Мапинг в кластера - дискретный, поэтому градиентными методами его не обновить (отсюда и EM)
III. Добавляют штраф за попадание еще одного айтема ( прохождение того же пути) в путь, иначе есть риск что все айтемы упадут в один путь, использовали штраф в виде c^4/4 где c - количество айтемов попаших в путь
IIII. Обновляли модель от входящего потока данных - это повлияло на некоторые вещи, например M шаг в EM. Также использовали экспоненциальное затухание с коэффициентом 0.999

Метрики
Конечно по всем показывают что они лучше, что в офлайне, что в онлайне но, почему то везде низкий recall. Например Recall@200 около 13% - что вызывает вопросы, Sota Recall@200 - 28%
Результаты АБ теста показали как point estimate - что странно, на офлайн показывали ДИ

В целом попробовать можно. Хотелось бы увидеть более подробный abblation study и тесты
Удивляет сравнение на датасете movie lens и amazon books, а затем один А/Б тест в Тиктоке без доверительных интервалов (в офлайне были!) и отсутствие понимания с чем сравнивали
#ArticleReview

Вчера был на встрече рускоговорящего клуба global talent в Лондоне.

Я привык думать о себе, как о недавно переехавшем. Однако мой третий год в Лондоне оказался просто таки мега ветеранским.

Подавляющее большинство переехало в последнее время, около 6 месяцев и лишь один человек из 20, с кем я поговорил, переехал 5 лет назад, все остальные - менее года

Как будто бы что-то случилось

Недавно купил себе новую кровать и что особенно важно, первый раз в жизни - новый матрас

Выбор Матраса - вещь непростая и зависит от кучи факторов: собственного веса, общего веса, положения во время сна (на спине, на боку, на животе), особенностей терморегуляции и тп. Кроме того - пойти в магазин и полежать на матрасе не поможет, по хорошему, чтобы понять матрас, на нем нужно поспать месяц и потом оценить. Здесь все как у людей

В итоге матрас и кровать я выбрал еще в августе, но купил в ноябре, на черную пятницу, сэкономив примерно 1500 фунтов. По итогам месяца могу сказать что покупка себя полностью оправдала. Показатели восстановления и качества сна, согласно Oura Ring (приложу в комментариях) - самые лучшие что у меня были за все три года и улучшения начались ровно в момент замены матраса (сравнил так же год к году). Так что судя по всему, trial period в год мне не пригодится - возвращаться матрас не планирую, а вот вечная гарантия - вполне себе

На очереди, если дойдут руки, попробовать накладку на матрас, которая регулирует температуру и может как охлаждать(водяное охлаждение) так и нагревать, отслеживать фазу сна и менять температуру так, чтобы подводить человека к максимальному лёгкому и полезному просыпанию, а если надо разбудить - включить вибрацию! При этом есть еще и зонирование, если одному партнеру хочется потеплее, а другому похолоднее

В новый год пришла пора раскрыть главный секрет ведения телеграм канала. Подписчиков становится больше в те дни, когда я не пишу в канал и меньше в те дни, когда пишу.

Не в первый раз заметил, что меня пытаются поправить, когда я пишу римскую цифру четыре как IIII. Однако, стоит отметить, что с давних времен четыре пишется как IIII, а IV это все либеральные нововведения. Дарю вам ссылку на печально известный VIIII Легион, который судя по всему сгинул где-то в Британии и о котором сняли кучу фильмов. Он же послужил прототипов для Потерянного Примарха XI легиона из Warhammer 40000

Каждый раз когда я говорю, какая прекрасная погода в Лондоне, местные и приезжие с Индии/Пакистана/Непала и тп очень удивляются. Они не знают, что в то время как в Москве и Подмосковье -20/-30, местные пацаны играют в футбол в +13

Вышла запись подкаста со мной. На мой взгляд поговорили отлично, в том числе обсудили Бога Кузю, хотя возможно цензура не пропустила многое, но на заголовок поставили кажется не самое интересное

Подоспело видео с недавнего выступления о метриках

Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

И это снова произошло

Вышла очередная статья от моих друзей, Саши Сахнова и Коли Назарова

Ряд цитат:

Совсем не ошибаться нельзя. Чтобы получить на 100% достоверные результаты, нужно бесконечно много данных. На практике получить столько данных затруднительно. Если совсем не ошибаться нельзя, то хотелось бы ошибаться не слишком часто и контролировать вероятности ошибок.

Предположим, мы решили, что допустимые вероятности ошибок первого и второго рода равны 0.1 и 0.2 соответственно. Будем называть статистический критерий корректным, если его вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно.

Как сделать критерий, в котором вероятности ошибок будут равны допустимым вероятностям ошибок?

Вероятность ошибки первого рода по определению равна уровню значимости критерия. Если уровень значимости положить равным допустимой вероятности ошибки первого рода, то вероятность ошибки первого рода должна стать равной допустимой вероятности ошибки первого рода.

Вышло очередное поведенческое интервью

Мой друг Игорь написал подробную статью про ChatGPT - которая скорее является полноценным обзором, который зайдет как новичкам, так и спецам. Советую прочитать

Еще у него есть Телеграм Канал, но это уже на ваш страх и риск

Мои друзья из МТС проводят сегодня соревнование на площадке ODS - MTC ML Cup

Это турнир по определению пола/возраста владельца cookie от МТС Digital.

Призовой фонд MTC ML Cup – 650 000 рублей:

Регистрация уже открыта, простая анкета для участников и все подробности – на сайте. Старт сегодня

Меня часто спрашивают про секреты продуктивности, а ответить мне нечего, кроме стандартно-унылого, садись и делай, не отвлекаясь
Симон пошел дальше, нанял пять человек, чтобы они сидели сзади него за 20 баксов в час и не давали отвлекаться

Что из этого вышло, можно прочитать здесь

Забавно что рост в +20% считается автором ничтожным

Most people approach productivity from the bottom up. They notice something about a process that feels inefficient, so they set out to fix that specific problem. They use a website blocker and a habit tracker, but none of these tools address the root problem. Personally, I even went as far as making my own tools, but they yielded at most 20% more productive time. I craved more, and I was willing to go as far as it takes. I wanted to solve productivity top down—with a system that would enforce non stop productivity with zero effort on my part.

Также забавно что чел смог потратить 16*20*30 = 9600 долларов в месяц, на продуктивность, но у него есть room mate

Перечитывал свой архив по статистике и наткнулся на настоящую жемчужину: APTS: Statistical Inference
Сложно охарактеризовать жанр, что-то среднее между манускриптом по философии и учебником по статистике.
Вот выдержка оттуда. Интересующимся - рекомендую

For example, if asked for a set estimate of θ, a Bayesian statistician might produce a 95% High Density Region, and a classical statistician a 95% confidence set, but they might be effectively the same set. But it is not the inference that is the primary concern of the auditor: it is the justification for the inference, among the uncountable other inferences that might have been made but weren’t. The auditor checks the ‘why’, before passing the ‘what’ on to the client.

So the auditor will ask: why do you choose algorithm Ev? The classical statisticianwill reply, “Because it is a 95% confidence procedure for θ, and, among the uncountable number of such procedures, this is a good choice [for some reasons that are then given].”
The Bayesian statistician will reply “Because it is a 95% High Posterior Density region for θ for prior distribution π(θ), and among the uncountable number of prior distributions, π(θ) is a good choice [for some reasons that are then given].” Let’s assume that the reasons are compelling, in both cases. The auditor has a follow-up question for the classicist but not for the Bayesian: “Why are you not concerned about violating the Likelihood Principle?” A well-informed auditor will know the theory of the previous sections, and the consequences of violating the SLP that are given in Section 2.8. For example, violating the SLP is either illogical or obtuse - neither of these properties are desirable in an applied statistician.

This is not an easy question to answer. The classicist may reply “Because it is important to me that I control my error rate over the course of my career”, which is incompatible with the SLP. In other words, the statistician ensures that, by always using a 95% confidence procedure, the true value of θ will be inside at least 95% of her confidence sets, over her career. Of course, this answer means that the statistician puts her career error rate before the needs of her current client. I can just about imagine a client demanding “I want a statistician who is right at least 95% of the time.” Personally, though, I would advise a client against this, and favour instead a statistician who is concerned not with her career error rate, but rather with the client’s particular problem.

Продолжается эпос с улучшением качества сна. Новый матрас и новая подушка оказались удачным вложением, особенно матрас.
Теперь на очереди оценить различные наушники для сна, среди кандидатов:
Bose Sleepbuds II
QuietOn 3.1
Kokoon Nightbuds | Sleep Headphones
Bose QuietComfort Earbuds II

Видимо придется попробовать их все, затем грести в сторону контроля температуры, через что-то вроде этого

Если у вас есть опыт использования наушников для сна, с удовольствием послушаю

Не могу удержаться и не написать шутку для своих. Серия Твитов, которая рассказывает, кто помогает строить так называемый цифровой Гулаг. Первым в списке идет Константин Воронцов, человек, на лекции которого по МЛ в ШАДе в свое время ходили многие и я в том числе. Написано что он делал доклад о технологиях автоматической обработки текстов. наконец то нашлось применение BigARTM!

Кто BigARTM в проде пробовал тот знает, что цифровому Гулагу не быть