Во многом моя концепция ML4Value сформировалась благодаря бакалавриату по мат методам в экономике. Путь из экономики в ML был довольно тернистым. До первой работы чисто в ML я прогнозировал временные ряды инфляции и ВВП в научной лабе, строил модельки риск-менеджмента на МосБирже и занимался sql-аналитикой в одном крупном банке. Когда-нибудь я обязательно рассказажу про этот путь в DS.

А пока рекомендую интервью о пути из бизнеса в DS известного каггл-грандмастера по ноутбукам Андрея Лукьяненко. Путь Андрея чем-то похож на мой, и здорово показывает, почему бизнес-бекграунд очень полезен в ML

Кстати, у интервьюера Ромы Васильева есть отличный канал про начало карьеры в DS: там есть другие занятные интервью и полезные материалы по ML

Ссылка на канал Ромы: https://news.1rj.ru/str/start_ds

Наткнулся на занятную статью от Uber по прогнозу времени прибытия авто (ETA). Интересна она тем, что годами решаемая бустингами задача регрессии, теперь более эффективно решается сетками! Кажется, это начало конца бустингов

Сюрпризом для меня стало то, что Uber смог обучать трансформеры на табличных данных быстрее, чем xgboost благодаря data-parallel SGD. И не только быстрее, но и с лучшим качеством.

Метрики улучшили за счет разделения непрерывных фичей на бины = квантили. И каждый бин кодировали эмбеддингом. Так что второй вывод - эмбеддинги потихоньку захватывают мир) Есть ощущение, что через 3-5 лет весь ML сведется к тому, чтобы получить каким-то образом эмбеддинги, а затем искать ближайших соседей / делать другие простые операции

Пара других интересных фактов из статьи:
- Комбинируют нейронку и классическую "физическую" модель. Делают базовый прогноз через маршрутизатор (граф дорог), а разницу между фактом и этим прогнозом оценивают нейронкой
- Используют несимметричный huber loss, чтобы прогнозировать квантили времени прибытия

Российские власти помогают ответить на любимый вопрос с собеседований:
"MAPE больше штрафует за недопрогноз или перепрогноз?"

Выясняется, что -80% = падение в 5 раз, а +80% = рост в 1.8 раз 😅

MAPE больше штрафует за недопрогноз или перепрогноз?

На первый взгляд, кажется, что одинаково штрафует = MAPE симметричен. Обычно это доказывают логикой из самой формулы
MAPE = |y_true - x| / |y_true|
= |y_true + x| / |y_true|,
т.к |y_true - x| = |y_true + x|

Но на практике все несколько сложнее. Обычно мы используем MAPE для прогноза продаж и цен. То есть кейсов, где таргет >= 0.
В таком случае для недопрогноза mape не может быть > 100%, потому что минимальный прогноз = 0 --> |y_true - 0| / y_true = 100%
А вот для перепрогноза mape может уходить в бесконечность. Например, |1 - 8| / 1 = 700%

Поэтому для большинства боевых задач MAPE больше штрафует за перепрогноз --> ML-модели оптимально недопрогнозировать

Забавный факт
Чтобы исправить проблему несимметричности MAPE придумали Symmetric MAPE (SMAPE) = |y_true - y_pred| / (y_true + y_pred) / 2
Забавно то, что Symmetric MAPE не симметричный!)

#metrics

Похоже, настали непростые времена. Многие бегут от "военной операции", неожиданно релоцируются или просто ищут работу в такое время. Все это ужасно, и мне крайне жаль, что такое происходит в 21 веке

Понимаю, что этого мало, но если вам нужен совет/помощь, то я могу бесплатно:
- Дать советы по улучшению резюме
- Провести пробный собес
- Поговорить за сложные и не очень переходы в карьере
- Посоветовать, где и что можно учить по DS

Пишите в личку @Ivan_maksimov

---------------
В канале много новых людей, поэтому вкратце напомню, кто я такой, и о чем можно со мной пообщаться

Сейчас я DS team lead в Delivery club. Занимаюсь продуктовым ML: recsys, churn, A/B и немного NLP. До этого прогнозировал временные ряды и строил оптимизации поверх этого: оптимальные скидки, закупки товаров и т д

Подробнее можете посмотреть в моем LinkedIn. Если вы еще не поставили VPN - сделайте это

По любым вопросам пишите, не стесняйтесь. Надеюсь, смогу быть для кого-то полезным

Через 15 минут соберемся с 3-емя интересными DS на ламповый стрим про жизнь и ML

Если интересно - присоединяйтесь)

🎬 Ламповый стрим уже завтра. Поболтаем за жизнь и за DS. Начало в 18:00 по Мск.

👨‍🎨 Пригласил на стрим 3-х любопытных ребят (Андрей, Виктория и Иван). Про каждого для затравки расскажу в комментариях. Тут же в комментариях можете продолжать задавать вопросы и предлагать темы для обсуждений. Я все читаю🥷.

🤪 Про то, как начать в DS можно уже не спрашивать, вопрос уже избитый донельзя.

📜 Примерная повестка:
- Как работать и развиваться эффективнее.
- Организация рабочего пространства
- Пет проекты и стартапы
- Способы зарабатывать выше среднего в своей сфере.

📎Ссылка на стрим. Запись стрима будет 😇

Поделись постом со своими =)

Долго ли, коротко ли, но мы в Delivery Club начали серию публикаций о развитии рекомендательных систем внутри компаний

Сегодня опубликовали первую часть на Хабр. Многие из этих моделей мне довелось писать самому или участвовать в их развитии как тим лид / ML product manager

В статье все, как я люблю - максимум ml4value. Необычные решения с несколькими моделями. В общем, мой рекомендасьон к прочтению - надеюсь, вам понравится)

#recsys

В канале уже почти месяц не было постов: это потому что я готовил нечто интересное для вас всех) Но обо всем по порядку: на этой неделе небольшие вводные истории, а все лакомое буду писать уже с понедельника


Итак, примерно полгода назад я выступал и рассказывал о способах ускорить А/В тесты. Даже тогда я много времени уделял процессам или "культуре экспериментов"

Можно бесконечно применять CUPED, CUPAC и другие методы, но что делать если:
- Менеджер говорит: "Фича супер важна, нужно выкатить ее еще вчера"?
- Ключевая метрика не красится и предлагается посчитать еще десяток других, которых не было в изначальном дизайне?
- Хотим запустить сразу 20 маркетинговых баннеров в тест?
- Аналитик дизайнит тест аж целый спринт?

Имхо, успешность фичей определяется ответами именно на эти вопросы в вашей "культуре экспериментов". Верхнеуровнево все довольно просто:

1. Появилась идея + ее побрейнштормили внутри команды = конкретное описание фичи
2. Посчитан ожидаемый импакт от фичи в конкретных 1-3 метриках
3. Оцениваем адекватность фичи на пользователях через UX
4. Делаем фичу и проверяем, что она технически работает
5. Смотрим на нескольких боевых пользователях и тестируем edge кейсы
6. Дизайним А/В = приемочные, барьерные и контрольные метрики, сроки и % пользователей
7. Запускаем тест
8. Принимаем решение в соответствии с дизайном

Звучит легко, но в реальности gap между аналитиком, продактом и разработчиком сильно усложняет процесс)
Забыли прокинуть событие в аналитику, не учли важную метрику соседней команды, покатили фичу в пятницу вечером - Узнаете ли свой опыт?)

Серия постов на этой неделе будет посвящена "культуре экспериментов" или "как избежать таких сложностей"

#ab

Вчера мы опубликовали вторую часть серии статей про рекомендации ресторанов в Delivery Club. Она уже более техническая - про модели, фичи и архитектуру в проде

Если вы не читали первую часть, то стоит начать с нее 😉

#recsys

Автор канала @ml4value запускает курс по А/В: "Дизайн А/В в реальной жизни и культура экспериментов"

❓О чем курс
- На базовых принципах А/В разбираем спорные ситуации в компаниях
- Дизайним сложные А/В-тесты
- Обсуждаем, как запускать неординарные фичи
- Учимся хорошим культуре и процессу экспериментов

Вы узнаете, как эффективнее проводить эксперименты с фичами - и получать кратно больше фичей с импактом на бизнес.
Курс закроет gap между сухим мат. статом и желанием бизнеса "выкатить фичу еще вчера"

👨Коротко о преподавателе - Иван Максимов @Ivan_maksimov
- Автор канала @ml4value про пользу бизнесу от миашинного обучения
- 6+ лет в DS
- Руководит клиентской аналитикой и ML в Delivery Club. Создавал там in-house платформу А/В тестирования
- Еще вы можете его знать по докладу про ускорение А/В или по статьям (раз, два) на Хабре про рекомендательные системы

🧠Особенности курса
- Минимум мат. статистики
- Без программирования
- Много погружения в реальные проблемы бизнеса при экспериментах

👨‍💻Для кого
- Для аналитиков, продактов, ds и разработчиков
- От уровня junior+
- Для всех, кто хотя бы раз испытавал сложности с запуском фичей в продакшен

🗓 Когда и как
- Старт 19 мая, курс длится 6 недель
- 6 вебинаров + доп текстовые статьи + д/з на дизайн АВ + ответы на вопросы в чате
- 6-8 часов в неделю на прохождение курса
- 25 человек максимум, чтобы успеть ответить на все каверзные вопросы

💰За сколько?
- 14 700 руб до 11 мая
- 19 700 руб - после

Ссылка на регистрацию

Да пребудет с вами культура экспериментов!

Всем привет!

Напоминаю, что сегодня последний день, когда можно записаться на курс по АВ тестированию по сниженной цене ↘️

Курс стартует уже 19 мая

Пару недель назад я вырос до руководителя клиентской аналитики и ML в Delivery Club 🚀

Если раньше я был тимлидом одной ML команды, то теперь тут целое направление: достаточно интересный челлендж!

Что, на мой взгляд, позволило это сделать

1. Окружение
В деливери все очень открыты новым идеям, даже довольно радикальным. Полностью переделать главную страницу приложения? Отказаться от готового вендорского решения по А/В и сделать свое? Легко!

В общем, я рад, что мои (и не только) идеи были поддержаны:)

2. Принципы ML4Value
Люди вокруг и особенно топ-менеджмент совсем по-разному воспринимают фразы "Давайте сделаем рек систему" и "Давайте повысим ARPU на 5%". Говорить в терминах business value от ML действительно работает

3. Soft skills
Да-да 😅
Сложно оценивать себя, но относительно других: я всего пару раз видел, когда data scientist'ам и аналитикам не хватает тех скиллов для роста. В подавляющем большинстве - это нехватка soft skills

Так что, помимо чтения статей про sota, не забывайте публично выступать, тренироваться в убеждении и других неожиданно ценных в DS навыках

4. "Душнила"
Возможно, это моя киллер фича. Если вижу, что что-то работает не так, я об этом скажу. Даже получил мини-награду за наибольшее число комментариев к рисерчам 💬

Почти 3 года назад, когда я был 6-ым аналитиком в чуть ли не стартапе Delivery Club, никто не знал, что такое случится. А теперь вперед к новым свершениям!)

Как выглядит "душнила":)

We are hiring!

Что ж, не могу не воспользоваться возможностью: раз уж я стал руководить отделом клиентской аналитики и ML, то приглашаю вас познакомиться и, если будет интересно, пособеседоваться на вакансии у нас:

А какие вакансии?
1. Middle/Senior аналитик в команду лояльности
Аналитики в этой команде знают все о метрике retention и драйвят ее:
- Анализируют подписку DC Pro и находят точки роста в ней
- Занимаются удержанием клиентов через скидки - в том числе через ML-модели оттока и аплифта
- Следят за качеством онбординга новых пользователей и их метриками

2. Middle аналитик в команду аналитики супераппа
Delivery club - суперапп еды. У нас есть десятки сценариев заказов. Нужно будет:
- уметь определять сценарии и обвешивать их полезными метриками
- находить точки роста частотности пользователей в старых / новых сценариях заказа
- думать о путях пользователя внутри приложения и улучшать их

Также все персональные ML-рекомендации ресторанов/блюд лежат в этой команде. Аналитики думают о том, как улучшать персонализацию в приложении

3. Junior аналитик в команду монетизации
Даже +1 руб на заказ в пересчете на >5 млн MAU деливери клаба превращается в очень солидную сумму. Аналитики в этой команде:
- Думают, как повысить прибыль на заказ, не роняя конверсию и другие метрики
- Знают все про юнит экономику
- Анализируют стоимость доставки, surge (повышенные цены в пиковую нагрузку), модели upsell товаров и многое другое

Что еще интересного предлагаем
- Аналитики существенно драйвят бизнес delivery club: многие фичи были уже придуманы ими, и новым сотрудникам также предстоит придумывать и внедрять свои идеи. Мы работаем напрямую с продактами и командами разработки - можем довольно существенно влиять на их беклог
- Аналитические команды состоят из аналитиков и data scientist-ов: если есть желание, то можно посмотреть/потрогать/почелленджить ML-модели
- У нас своя довольно интересная (с switch-back тестами, слоями, линеаризацией, ускорением расчетов) in-house платформа А/В тестирования - можно много чего интересного узнать про А/В и при желании поучаствовать в развитии плафтормы
- Про чай, кофе, печеньки, дмс и прочие радости не пишу - думаю, тут и так все понятно)

На что будем смотреть
Junior:
- Уверенный SQL и python - нужно будет много работать с данными
- Хорошая база А/В тестирования: Т-тест, p-value и тд
- Знание базовых продуктовых метрик: конверсия, ретеншен, arpu
- Желание глубоко погружаться в бизнес-процессы

Middle = junior + ...
- Достаточно оптимальный код на SQL и python
- Глубокое понимание А/В тестирования: умение провести тест от дизайна до выводов для бизнеса
- Отличное знание продуктовых метрик и умение придумывать специфичные показатели под бизнес-процессы
- Желательно уметь строить интерпретируемые ML-модели: линейную и логистическую регрессию

Senior = middle + ...
- Синьер - полноценный драйвер команды/метрики. Может сказать "все неправильно - надо переделать" и успешно переделывает!
- Может найти точки роста продукта out-of-scope
- Имеет большой опыт и прекрасно понимет бизнес-процессы


По вакансиям можете скидывать резюме напрямую мне @Ivan_maksimov

Сегодня пост про самый традиционный, но покрытый мифами инструмент - про скидки 😱

Представьте, что вы работаете в продуктовом ритейле и можете запустить абсолютно любую скидку: 10% на все, 20% на следующий заказ в течение недели после текущего, 5ый кофе в подарок, купил 2 пива - чипсы в подарок, ... .

Идей много, но как выбрать одну для эксперимента? Я много думал об этом, и вот какие базовые правила получились:

1. Помни про масштаб
Акция на 1 конкретный товар - это хорошо, но она покроет лишь малый процент аудитории. На уровне всей компании почти не заметна

2. Базовая безубыточность
Если у вас маржинальность 10%, то не стоит запускать скидку в 20% на все

3. Upsell - наше все
Уже прошло время популярности простых скидок вроде 2+1. Теперь хорошая акция увеличивает не только продажи товара со скидкой, но и что-то еще

- Продажи других товаров: купил дорогущий сыр по скидке - докупил к нему бутылку вина без скидки

- Будущие продажи
Топ пример - скидка 20% у Вкусвилла на любой товар в следующей покупке


В общем, сначала стоит учесть 3 этих базовых правила, а уже поверх прикручивать ML с прогнозом оттока, uplift и прочие прекрасные вещи 🚀