Похоже, настали непростые времена. Многие бегут от "военной операции", неожиданно релоцируются или просто ищут работу в такое время. Все это ужасно, и мне крайне жаль, что такое происходит в 21 веке

Понимаю, что этого мало, но если вам нужен совет/помощь, то я могу бесплатно:
- Дать советы по улучшению резюме
- Провести пробный собес
- Поговорить за сложные и не очень переходы в карьере
- Посоветовать, где и что можно учить по DS

Пишите в личку @Ivan_maksimov

---------------
В канале много новых людей, поэтому вкратце напомню, кто я такой, и о чем можно со мной пообщаться

Сейчас я DS team lead в Delivery club. Занимаюсь продуктовым ML: recsys, churn, A/B и немного NLP. До этого прогнозировал временные ряды и строил оптимизации поверх этого: оптимальные скидки, закупки товаров и т д

Подробнее можете посмотреть в моем LinkedIn. Если вы еще не поставили VPN - сделайте это

По любым вопросам пишите, не стесняйтесь. Надеюсь, смогу быть для кого-то полезным

Через 15 минут соберемся с 3-емя интересными DS на ламповый стрим про жизнь и ML

Если интересно - присоединяйтесь)

🎬 Ламповый стрим уже завтра. Поболтаем за жизнь и за DS. Начало в 18:00 по Мск.

👨‍🎨 Пригласил на стрим 3-х любопытных ребят (Андрей, Виктория и Иван). Про каждого для затравки расскажу в комментариях. Тут же в комментариях можете продолжать задавать вопросы и предлагать темы для обсуждений. Я все читаю🥷.

🤪 Про то, как начать в DS можно уже не спрашивать, вопрос уже избитый донельзя.

📜 Примерная повестка:
- Как работать и развиваться эффективнее.
- Организация рабочего пространства
- Пет проекты и стартапы
- Способы зарабатывать выше среднего в своей сфере.

📎Ссылка на стрим. Запись стрима будет 😇

Поделись постом со своими =)

Долго ли, коротко ли, но мы в Delivery Club начали серию публикаций о развитии рекомендательных систем внутри компаний

Сегодня опубликовали первую часть на Хабр. Многие из этих моделей мне довелось писать самому или участвовать в их развитии как тим лид / ML product manager

В статье все, как я люблю - максимум ml4value. Необычные решения с несколькими моделями. В общем, мой рекомендасьон к прочтению - надеюсь, вам понравится)

#recsys

В канале уже почти месяц не было постов: это потому что я готовил нечто интересное для вас всех) Но обо всем по порядку: на этой неделе небольшие вводные истории, а все лакомое буду писать уже с понедельника


Итак, примерно полгода назад я выступал и рассказывал о способах ускорить А/В тесты. Даже тогда я много времени уделял процессам или "культуре экспериментов"

Можно бесконечно применять CUPED, CUPAC и другие методы, но что делать если:
- Менеджер говорит: "Фича супер важна, нужно выкатить ее еще вчера"?
- Ключевая метрика не красится и предлагается посчитать еще десяток других, которых не было в изначальном дизайне?
- Хотим запустить сразу 20 маркетинговых баннеров в тест?
- Аналитик дизайнит тест аж целый спринт?

Имхо, успешность фичей определяется ответами именно на эти вопросы в вашей "культуре экспериментов". Верхнеуровнево все довольно просто:

1. Появилась идея + ее побрейнштормили внутри команды = конкретное описание фичи
2. Посчитан ожидаемый импакт от фичи в конкретных 1-3 метриках
3. Оцениваем адекватность фичи на пользователях через UX
4. Делаем фичу и проверяем, что она технически работает
5. Смотрим на нескольких боевых пользователях и тестируем edge кейсы
6. Дизайним А/В = приемочные, барьерные и контрольные метрики, сроки и % пользователей
7. Запускаем тест
8. Принимаем решение в соответствии с дизайном

Звучит легко, но в реальности gap между аналитиком, продактом и разработчиком сильно усложняет процесс)
Забыли прокинуть событие в аналитику, не учли важную метрику соседней команды, покатили фичу в пятницу вечером - Узнаете ли свой опыт?)

Серия постов на этой неделе будет посвящена "культуре экспериментов" или "как избежать таких сложностей"

#ab

Вчера мы опубликовали вторую часть серии статей про рекомендации ресторанов в Delivery Club. Она уже более техническая - про модели, фичи и архитектуру в проде

Если вы не читали первую часть, то стоит начать с нее 😉

#recsys

Автор канала @ml4value запускает курс по А/В: "Дизайн А/В в реальной жизни и культура экспериментов"

❓О чем курс
- На базовых принципах А/В разбираем спорные ситуации в компаниях
- Дизайним сложные А/В-тесты
- Обсуждаем, как запускать неординарные фичи
- Учимся хорошим культуре и процессу экспериментов

Вы узнаете, как эффективнее проводить эксперименты с фичами - и получать кратно больше фичей с импактом на бизнес.
Курс закроет gap между сухим мат. статом и желанием бизнеса "выкатить фичу еще вчера"

👨Коротко о преподавателе - Иван Максимов @Ivan_maksimov
- Автор канала @ml4value про пользу бизнесу от миашинного обучения
- 6+ лет в DS
- Руководит клиентской аналитикой и ML в Delivery Club. Создавал там in-house платформу А/В тестирования
- Еще вы можете его знать по докладу про ускорение А/В или по статьям (раз, два) на Хабре про рекомендательные системы

🧠Особенности курса
- Минимум мат. статистики
- Без программирования
- Много погружения в реальные проблемы бизнеса при экспериментах

👨‍💻Для кого
- Для аналитиков, продактов, ds и разработчиков
- От уровня junior+
- Для всех, кто хотя бы раз испытавал сложности с запуском фичей в продакшен

🗓 Когда и как
- Старт 19 мая, курс длится 6 недель
- 6 вебинаров + доп текстовые статьи + д/з на дизайн АВ + ответы на вопросы в чате
- 6-8 часов в неделю на прохождение курса
- 25 человек максимум, чтобы успеть ответить на все каверзные вопросы

💰За сколько?
- 14 700 руб до 11 мая
- 19 700 руб - после

Ссылка на регистрацию

Да пребудет с вами культура экспериментов!

Всем привет!

Напоминаю, что сегодня последний день, когда можно записаться на курс по АВ тестированию по сниженной цене ↘️

Курс стартует уже 19 мая

Пару недель назад я вырос до руководителя клиентской аналитики и ML в Delivery Club 🚀

Если раньше я был тимлидом одной ML команды, то теперь тут целое направление: достаточно интересный челлендж!

Что, на мой взгляд, позволило это сделать

1. Окружение
В деливери все очень открыты новым идеям, даже довольно радикальным. Полностью переделать главную страницу приложения? Отказаться от готового вендорского решения по А/В и сделать свое? Легко!

В общем, я рад, что мои (и не только) идеи были поддержаны:)

2. Принципы ML4Value
Люди вокруг и особенно топ-менеджмент совсем по-разному воспринимают фразы "Давайте сделаем рек систему" и "Давайте повысим ARPU на 5%". Говорить в терминах business value от ML действительно работает

3. Soft skills
Да-да 😅
Сложно оценивать себя, но относительно других: я всего пару раз видел, когда data scientist'ам и аналитикам не хватает тех скиллов для роста. В подавляющем большинстве - это нехватка soft skills

Так что, помимо чтения статей про sota, не забывайте публично выступать, тренироваться в убеждении и других неожиданно ценных в DS навыках

4. "Душнила"
Возможно, это моя киллер фича. Если вижу, что что-то работает не так, я об этом скажу. Даже получил мини-награду за наибольшее число комментариев к рисерчам 💬

Почти 3 года назад, когда я был 6-ым аналитиком в чуть ли не стартапе Delivery Club, никто не знал, что такое случится. А теперь вперед к новым свершениям!)

Как выглядит "душнила":)

We are hiring!

Что ж, не могу не воспользоваться возможностью: раз уж я стал руководить отделом клиентской аналитики и ML, то приглашаю вас познакомиться и, если будет интересно, пособеседоваться на вакансии у нас:

А какие вакансии?
1. Middle/Senior аналитик в команду лояльности
Аналитики в этой команде знают все о метрике retention и драйвят ее:
- Анализируют подписку DC Pro и находят точки роста в ней
- Занимаются удержанием клиентов через скидки - в том числе через ML-модели оттока и аплифта
- Следят за качеством онбординга новых пользователей и их метриками

2. Middle аналитик в команду аналитики супераппа
Delivery club - суперапп еды. У нас есть десятки сценариев заказов. Нужно будет:
- уметь определять сценарии и обвешивать их полезными метриками
- находить точки роста частотности пользователей в старых / новых сценариях заказа
- думать о путях пользователя внутри приложения и улучшать их

Также все персональные ML-рекомендации ресторанов/блюд лежат в этой команде. Аналитики думают о том, как улучшать персонализацию в приложении

3. Junior аналитик в команду монетизации
Даже +1 руб на заказ в пересчете на >5 млн MAU деливери клаба превращается в очень солидную сумму. Аналитики в этой команде:
- Думают, как повысить прибыль на заказ, не роняя конверсию и другие метрики
- Знают все про юнит экономику
- Анализируют стоимость доставки, surge (повышенные цены в пиковую нагрузку), модели upsell товаров и многое другое

Что еще интересного предлагаем
- Аналитики существенно драйвят бизнес delivery club: многие фичи были уже придуманы ими, и новым сотрудникам также предстоит придумывать и внедрять свои идеи. Мы работаем напрямую с продактами и командами разработки - можем довольно существенно влиять на их беклог
- Аналитические команды состоят из аналитиков и data scientist-ов: если есть желание, то можно посмотреть/потрогать/почелленджить ML-модели
- У нас своя довольно интересная (с switch-back тестами, слоями, линеаризацией, ускорением расчетов) in-house платформа А/В тестирования - можно много чего интересного узнать про А/В и при желании поучаствовать в развитии плафтормы
- Про чай, кофе, печеньки, дмс и прочие радости не пишу - думаю, тут и так все понятно)

На что будем смотреть
Junior:
- Уверенный SQL и python - нужно будет много работать с данными
- Хорошая база А/В тестирования: Т-тест, p-value и тд
- Знание базовых продуктовых метрик: конверсия, ретеншен, arpu
- Желание глубоко погружаться в бизнес-процессы

Middle = junior + ...
- Достаточно оптимальный код на SQL и python
- Глубокое понимание А/В тестирования: умение провести тест от дизайна до выводов для бизнеса
- Отличное знание продуктовых метрик и умение придумывать специфичные показатели под бизнес-процессы
- Желательно уметь строить интерпретируемые ML-модели: линейную и логистическую регрессию

Senior = middle + ...
- Синьер - полноценный драйвер команды/метрики. Может сказать "все неправильно - надо переделать" и успешно переделывает!
- Может найти точки роста продукта out-of-scope
- Имеет большой опыт и прекрасно понимет бизнес-процессы


По вакансиям можете скидывать резюме напрямую мне @Ivan_maksimov

Сегодня пост про самый традиционный, но покрытый мифами инструмент - про скидки 😱

Представьте, что вы работаете в продуктовом ритейле и можете запустить абсолютно любую скидку: 10% на все, 20% на следующий заказ в течение недели после текущего, 5ый кофе в подарок, купил 2 пива - чипсы в подарок, ... .

Идей много, но как выбрать одну для эксперимента? Я много думал об этом, и вот какие базовые правила получились:

1. Помни про масштаб
Акция на 1 конкретный товар - это хорошо, но она покроет лишь малый процент аудитории. На уровне всей компании почти не заметна

2. Базовая безубыточность
Если у вас маржинальность 10%, то не стоит запускать скидку в 20% на все

3. Upsell - наше все
Уже прошло время популярности простых скидок вроде 2+1. Теперь хорошая акция увеличивает не только продажи товара со скидкой, но и что-то еще

- Продажи других товаров: купил дорогущий сыр по скидке - докупил к нему бутылку вина без скидки

- Будущие продажи
Топ пример - скидка 20% у Вкусвилла на любой товар в следующей покупке


В общем, сначала стоит учесть 3 этих базовых правила, а уже поверх прикручивать ML с прогнозом оттока, uplift и прочие прекрасные вещи 🚀

Продолжение про скидки

Если вы тоже любите ML и персонализацию, то наверняка задумывались про персонализацию скидок = оптимальный размер скидки для каждого клиента

Глобально есть 3 варианта это сделать:
- Классические прогноз churn + даем скидку тем, кто наиболее вероятно уйдет
- Uplift
- Контекстуальные многорукие бандиты + RL

На конференциях вы скорее всего услышите про успехи Uplift и бандитов. Сегодня я расскажу про то, почему они в моей практике не заводились, и почему старый-добрый churn все еще весьма хорош

Uplift
- Для построения модели аплифта нужна рассылка скидок со случайным размером номинала. Это дорого!
- Нужно регулярно такую рассылку повторять - иначе данные устаревают
- Если у вас вводится новый тип оффера, то случайную рассылку придется повторить

В целом, история с рассылками может быть и технически сложной (разослать, проверить что все долшло, аггрегировать дланные), долгой и дорогой

Также крайне проблематично интерпретировать uplift бизнесу и тем более построить дашборды для бизнеса по uplift модели

Бандиты и RL
- Для персонализации нужны как минимум контекстуальные бандиты. Придется здорово постараться, чтобы они начали сходиться к оптимуму за разумное число итераций. Нужно будет применить много трюков, чтобы оно в принципе работало
- Сложно конструировать долгосрочный reward
- Сложно построить дашборды поверх и отвечать на вопросы "Почему мы даем этому человеку такую скидку?"

Churn
- Крайне прост. Уже знаком бизнесу = можно легко интерпретировать, строить дашборды. Любому человеку в компании понятно верхнеуровнево, что это за модель и зачем она нужна
- Явно влияет на долгосрочные метрики (снижает churn)
- Относительно легко считать юнит экономику модели
- Есть накопленный опыт ml-сообщества с best practices

В общем, я бы предложил вам начать оптимизацию маркетинга точно с модели churn. А уже потом 7 раз подумать, стоит ли внедрять uplift/бандитов/rl 😉
#marketing@ml4value

ML helicopter view

Есть такое интересное выражение "helicopter view" - взгляд сверху, чтобы понять, а что вообще нужно делать в вашей ситуации

Кажется, в ML не хватает helicopter view. Сегодня попробую рассказать на примере, зачем это нужно и как работает

Ситуация
У вас есть модель, которая рекомендует пользователю товары в продуктовом магазине. Пользователи жалуются, что им "нерелевантно"

Что делают обычно
Тюнят модель, улучшают ml- метрики и запускают А/В

Helicopter view
А что вообще нужно пользователям? Так ли плохо, что части из них рекомендации "нерелевантны"?

Возможно, "релевантно" для пользователя - рекомендовать товары, которые он уже покупал. Тогда вы можете безо всякого ML сделать категорию "Вы покупали". А ML-ем рекомендовать что-то новое

Иногда "нерелевентность" - не так уж и плохо. Допустим, вы хотите повышать маржинальность бизнеса и продавать товары собственной торговой марки (СТМ), потому что у них выше маржа. Даже если они релевантны 15% пользователей (высокая вероятность заказа), то продвигать их в рекомендациях может быть все еще выгодно с точки зрения ожидаемой прибыли = вероятность заказа * прибыль

Так что иногда бывает полезно применять ML helicopter view 🚁

Вдруг осознал, что не написал ни строчки кода за 2 мес в роли хэда клиентской аналитики 😅

Мне всегда было интересно, чем же, если не кодом, занимаются такие люди, и вот чем:

1. Формулируют цели
Точнее, разделают верхнеуровневые цели компании на OKR команд и крупные фичи

Путь от "увеличить выручку компании на Х" до условно "сделать садджесты в поиске, чтобы повысить конверсию поиска на Y%", как оказалось, очень непрост, но интересен 🔎

2. Сетапят новые проекты
Никогда раньше мне не приходилось питчить и защищать столько идей

Узнал про такие штуки как amazon 6-pager, пресс-релиз идеи и другое

3. Строят процессы
Да-да, это я тот человек, который ставит стендапы, регулярный встречи по проектам и т.п. 😅

А еще помогаю найти лидеров в проектах, общаюсь со смежными отделами, получаю бюджеты и делаю прочие "неплпулярные" активности

4. Еще 1000 и 1 дело
Но об этом уже будет скучновато рассказывать)

------------
P.S. Мне все же хочется повышать уровень кода и ML, поэтому буду очень благодарен, если вы сможете мне в комментариях посоветовать годный курс по трансформерам в nlp/recsys на торче) Чтобы прям advanced, с кодом и домашками!

Зачем учить менеджеров и разработчиков аналитике?

Даным-давно на ранних этапах развития компании существовали 2 занятных метода провеления экспериментов: "метод ступеньки" и "города-близнецы"

Как вы могли догадаться, это сравнение неделя-к-неделе и город-к-городу. Если планомерно не обучать бизнес аналитической культуре, то все будут придумывать такие эксперименты 🙃

Как это исправить?

1. Провести единое обучение для всех менеджеров. Желательно позвать туда всех, вплоть до директоров. И предварительно до этого пообщаться с директорами про культуру экспериментов в их отделе

2. Онбординг бот для новичков. Пишет про АВ в их первый день. Просто, эффективно, надежно

3. Приходить на все запуски фичей и рассказывать, почему конкретно для этой фичи А/В тоже важен

Спойлер: это поначалу крайне сложно. Но настрйчивость и последовательность вам помогут. Раньше мы приходили под каждый пост с запуском фичи без А/В и просвещали людей. За это и стикер 🚨 нас даже прозвали А/В police