​​#разбор
Недавно я дал своим студентам задачу рекомендовать 5 товаров, оптимизируя такую метрику с ограничениями:

money_precision@5 = SUM(price_i * relevant_flag_i) / SUM(price_i * recommended_flag_i),

Рекомендуем хотя бы 1 дорогой товар (price_i > 7$)


При этом средняя цена товара в датасете ~2$. В общем, решил имитировать максимизацию выручки от рекомендации (метрика отражает выручку + ограничение заставляет рекомендовать хотя бы 1 дорогой товар) 💰💰

Интересно, что без ограничения метрика достаточно легко достигает 25%. Но как только применяем ограничение - падает до 10-12%

Как вы думаете, почему? И что такое падение может означать с точки зрения бизнеса? Напишите свои идеи в комментарии

А в следующих постах мы подробнее разберём этот кейс. Оказывается, на нем можно объяснить очень много о value рекомендательных систем для бизнеса

#разбор
Для начала давайте разберем метрику из поста выше:

money_precision@5 = SUM(price_i * relevant_flag_i) / SUM(price_i * recommended_flag_i),

Рекомендуем хотя бы 1 дорогой товар (price_i > 7$)


Пусть товар дороже 7$ стоит ровно 7$ и пусть его точно никто не купит

р - средняя цена рекомендованного товара

Х (от 0 до 5) - кол-во купленных среди рекомендованных, тогда

р*Х / (7 + р*4) > 0.2
Х > 0.8 + 1.4 / р
precision@5 = X/5 > 0.2 + 0.28/p

Как видите, зависимость от цены (р) НЕ линейная. Очень выгодно рекомендовать дорогие товары с точки зрения метрики

При p = 1 вам нужно угадать аж 2.2 товара из 5 (это соответствует precision@5 = 44%!. Что почти невозможно)

При р = 3 - около 1.26 из 5 (precision@5 =25%)
При р = 5 - около 1.1 из 5 (precision@5 = 22%)

Ситуация очень похожа на реальность: лучше продать 1 товар по цене 5$, чем 2 по цене 1$

Вывод
Всегда учитывайте деньги в метрике

Но как же оптимизировать money_precision@5?

На самом деле из поста выше можно получить, что:

money_precision@5 = precision@5 - 0.28/p

Если мы прогнозируем вероятность покупки товара (~precision@5), то нам просто нужно завысить вес ошибки для дорогих товаров пропорционально 0.28/р. Для этого можно взять вес ошибки, например как е^(alpha * p)

Кстати, в рекомендательных системах часто точно также взвешивают наблюдения по давности взаимодействия. Чтобы давнее взаимодействие юзера с товаром имело меньший вес, чем новое

Вывод
Приближение loss функции к реальности можно добиться за счёт взвешивания наблюдений (sample_weight)

Mind the weights 👍

В канале давно не было постов: предновогоднее выкатывание проектов в прод сказывается:) Исправляюсь

Рекомендательные системы
Грабли #4: А как оптимизировать нестандартные бизнес-метрики?

Иногда бизнес-метрика не является функцией от вероятности покупки/клика (что мы обычно прогнозируем). Условная соц сеть хочет увеличить среднюю длину сессии, ритейлер - частотность покупок, а логистическая компания - уменьшить время доставки. Что же делать в таких случаях?

Возможный ответ до ужаса очевиден: сделать бизнес метрику функцией от того, что вы предсказываете!

На эту тему есть прекрасное выступление про "умную ленту vk": попроще и посложнее с causal inference

Я расскажу про алгоритм попроще. В дальнейшем некоторые моменты я буду упрощать для наглядности. Например, заменю гауссовские процессы, на линейную регрессию

1. Представим, что вы можете предсказывать вероятность N действий пользователя p(x_i), x_i = {просмотр, покупка, лайк, выход из приложения,...} .

2. При этом ваша целевая метрика y_i = длина сессии.

3. Тогда можно построить линейную регрессию:
y_i = alpha_1*p(x_1) + alpha_2*p(x_2) +...

После оценки её параметров alpha_i, вы можете легко получать прогноз бизнес метрики, исходя из прогнозов вероятностей действий пользователя p(х_i)!

Вопрос только в том, как собрать обучающую выборку?

Вы можете разделить выших юзеров на условные 5 000 групп. Случайно насэмплировать 5 000 наборов alpha_i. И, ранжируя посты по y_i из формулы

y_i = alpha_1*p(x_1) + alpha_2*p(x_2) +...

Показать вашим юзерам 5 000 разных сортировок. В итоге, вы получите наборы y: {alpha_i}

И по ним вполне можно получить оптимальные параметры линейной регрессии

Вуаля, вы великолепны! Теперь у вас есть формула, превращающая предсказания кликов, лайков и прочего в длину сессии

Вывод
Иногда можно превратить то, что вы прогнозируете непосредственно в целевую метрику бизнеса

Используйте всю мощь функций! И превратит ваши ML-прогнозы в бизнес-метрики

На опрос выше ответы разделились примерно поровну между "с ROC-AUC = 85%" и "Нельзя однозначно выбрать". Давайте разбираться 😀

#metrics

Правильные ответ - нельзя однозначно выбрать. Исчерпывающее обьяснение можно найти в статье. И меня очень радует, что так много подписчиков канала ответили верно!)

TL;DR
Все зависит от:
1) Баланса классов
2) Стоимости ошибок False Positive (FP) и False Negative (FN)

Да, популярный миф про то, что ROC-AUC подходит для несбалансированных классов тоже ложь⚡️

С точки зрения бизнеса ошибки FP и FN стоят по-разному. Стоимость ошибок и вероятность их совершить (доли классов) формируют кривую безразличия - кривая, вдоль которой бизнесу все комбинации False Positive rate и True Positive rate одинаково ценны

Вся прелесть в том, что такие кривые можно нарисовать прямо на графике ROC-кривой!

P.S. Таких кривых бесконечное множество и они получаются сдвигом по вертикали относительно друг друга. Чем кривая выше, тем бизнес более счастлив

Возможная кривая безразличия для нашей задачи. Касание самой высокой кривой безразличия с ROC-кривой определяет оптимальный трешхолд с точки зрения баланса разных типов ошибок. На графике касание происходит в точке (1,1), что соответствует порогу 0%

То есть модель, которая всегда предсказывает класс 0 с точки зрения бизнеса лучше, чем текущая ML-модель с любым порогом принятия решения, кроме 0%

Теперь самое главное - как определить наклон этой кривой?

Есть формула:

s = r_n * c_n / r_p * c_p,

r_i - доля класса i
c_i - стоимость неверной классификации класса i

То есть на самом деле, решающее значение играет форма Roc-кривой, а не площадь под ней!

Модель с другой (зелёной) ROC-кривой имеет ROC-AUC меньше оранжевой, но с точки зрения бизнеса модель с зелёной кривой лучше!

#metrics

Как вам такое развенчание мифа?)

P.S. Расскажите про это на собеседовании, и пока ваш собеседник в шоке, просите свои 300к/сек 🔥

Сегодня последний день в году, и пора подводить итоги года 🌲

Канал ML4Value 💥
Я очень давно хотел начать публично писать про то, как ML может принести настоящую пользу бизнесу - и в этом году сделал это! Чему я несказанно рад

К сожалению, под конец года постов было совсем мало, потому что настала пора жарких выкаток моделей в прод на работе (и нанесения пользы бизнесу). Но в 2021 я буду писать посты регулярно как минимум 1 раз в неделю

А ещё в планах запуск полноценного курса по ML4Value - сначала мы его оттестим, а ближе к апрелю вы сможете его увидеть:)

Что я понял за этот год 🕵‍♂🧠
1. Самыми полезными курсами в СколТехе были курсы по soft skills (Product design, From idea to startup, negotiation)

Да-да, истории про короткие и быстрые итерации разработки продукта, важности писать краткие итоги встреч на работе и т.д. - действительно важны и "написаны кровью" неудавшихся ML проектов

2. Всегда нужно начинать проект с простой модели статистики "ручной" формулы

Прогнозируете спрос - попробуйте сначала выкатить в продакшн прогноз = факт прошлой недели. И вы удивитесь, сколько сложностей возникнет на вашем пути. А вот когда весь пайплайн выкатки в прод и принесения пользы бизнесу работает - можно и модель улучшить:)

3. Нетворкинг - мощь
В этом году я сходил на 8 встреч по Random Coffee от ODS. На них я узнал невероятно много нового и даже нашёл друга :)

Finally 🎅
Поздравляю всех с наступающим Новым Годом! Кайфуйте от новых знаний и проектов, развивайтеcь и будьте счастливы!)

Что такое персональные/релевантные рекомендации?

Именно этот вопрос у меня периодически возникает. И я часто задаю его менеджерам ☺️

Ведь если мы:
1. Знаем реальные оценки пользователя по каким-то товарам (товары в магазине/фильмы/..)
2. Умеем считать среднюю оценку товара

То из этих 2ух пунктов уже можно делать рекомендации товаров! Зачем тогда мы так сильно топим за матричное разложение (SVD, ALS) и другие модели рек систем?

Во-первых, персонально != только через ML

Если у вас бизнес, в котором юзер покупает один и тот же товар регулярно, то прекрасная персональная рекомендация - это рекомендовать то, что юзер уже покупал. Поверьте, такую "модель" рекомендаций очень сложно побить

Конечно же в бизнесе, где юзер покупает товар только 1 раз (фильмы, продажа бытовой техники и т.п.) это не сработает

Во-вторых, мы сильно недооцениваем модель "рекомендуй самое популярное". У которой есть ещё куча вариаций вроде "самое популярное в каждой категории"

На самом деле во многих сервисах (в том же Нетфликс!) есть разделы вроде "Популярное", "Смотрят сейчас", "Новинки", которые строятся безо всякой персонализации! Но при этом эти рекомендации релевантный очень многим пользователям просто потому что они популярны

Даже классическая модель ALS предполагает обучение формулы:
y = b_i + b_u + emb_i * emb_u

То есть да, предсказания получаются при перемножении эмбеддингов emb_i * emb_u, но почему-то все забывают про bias товара bi

А ведь может оказаться, что b_i >> emb_i * emb_u, и тогда по сути именно b_i будет влиять на рекомендации

Но все же модели рек систем (ALS, LightFM,...) позволяют:
- делать персональные рекомендации и повышать покрытие базы товаров. То есть рекомендуем не 0.01% самых популярных всем, а 30% товаров
- Позволяет учесть текущие интересы пользователя (условно через поиск ближайших соседей к последнему посту с лайком)
- Ранжировать те же популярные товары персонально

Поэтому они полезны :) Но они - не панацея

В общем, персональные/релеваньные рекомендации - это не всегда ML и не всегда персонально 🙃

Но ML модели тоже бывают нужны, причём не всегда только для релевантных рекомендаций. Зачастую они помогают повысить покрытие базы товаров: юзеры узнают о ранее неизвестных им товарах/новинках

В следующих постах поговорим про то, какие сложности возникают когда мы следуем стратегии "рекомендуем популярное"

И конечно обсудим, как с ними можно справиться!