Про цели на уровне всего бизнеса в конкретных метриках
Супер важно до старта любых проектов договориться, чего вы хотите на уровне всего бизнеса. Из-за целей может меняться набор проектов (ратсите заказы - нужны проекты с промо, растите маржинальность - нужно что-то совем иное) или их настройки (повышать / понижать цены в динамическом прайсинге)
Обычно все метрики крутятся вокруг заказов в шт, выручки в руб, маржи в руб и маржинальности в %. Я определяю, хороша ли целевая метрика тем, насколько легко ее “хакнуть”. Пара спорных примеров целей бизнеса (легко хакнуть)
1) Максимизируем заказы
Спорно, потому что скорее всего это приведет к сильному падению маржи и маржинальности
Как хакаем: Даем скидку 90% на все - перевыполняем любые мыслимые KPI, получаем кучу бонусов (если после такого маневра у компании останутся хоть какие-то деньги)
Иногда рабочая стратегия, если сейчас вы захватываете долю рынка, а потом резко сможете стать прибыльными - выиграете за счет масштаба
2) Максимизируем выручку
Лучше, но хакается почти также: даем не такую агрессивную скидку, чтобы рост заказов был > падения цены (выручка растет)
3) Максимизируем маржу
Пам-пам, тоже не очень хорошая метрика
Хакнуть сложнее. Но представьте, что у вас был бизнес с маржинальностью 20% и маржой в рублях = 1 млрд. Можно сделать маржинальность 1% и маржой в рублях 1.1 млрд. Номинально маржа в руб выросла, но бизнес стал сильно менее выгодным по маржинальности в %. +любое внешнее колебание (выросли ставки по кредиту бизнесу, зп рабочих, закупочные цены) и выши +1.1 млрд стремительно превратятся в условно -3 млрд
4) Максимизируем маржу/выручку с ограничением на маржинальность
Вот это уже годится!
Но тоже есть пара нюансов (опрос ниже)
И можно еще лучше (следующий пост)
Супер важно до старта любых проектов договориться, чего вы хотите на уровне всего бизнеса. Из-за целей может меняться набор проектов (ратсите заказы - нужны проекты с промо, растите маржинальность - нужно что-то совем иное) или их настройки (повышать / понижать цены в динамическом прайсинге)
Обычно все метрики крутятся вокруг заказов в шт, выручки в руб, маржи в руб и маржинальности в %. Я определяю, хороша ли целевая метрика тем, насколько легко ее “хакнуть”. Пара спорных примеров целей бизнеса (легко хакнуть)
1) Максимизируем заказы
Спорно, потому что скорее всего это приведет к сильному падению маржи и маржинальности
Как хакаем: Даем скидку 90% на все - перевыполняем любые мыслимые KPI
Иногда рабочая стратегия, если сейчас вы захватываете долю рынка, а потом резко сможете стать прибыльными - выиграете за счет масштаба
2) Максимизируем выручку
Лучше, но хакается почти также: даем не такую агрессивную скидку, чтобы рост заказов был > падения цены (выручка растет)
3) Максимизируем маржу
Пам-пам, тоже не очень хорошая метрика
Хакнуть сложнее. Но представьте, что у вас был бизнес с маржинальностью 20% и маржой в рублях = 1 млрд. Можно сделать маржинальность 1% и маржой в рублях 1.1 млрд. Номинально маржа в руб выросла, но бизнес стал сильно менее выгодным по маржинальности в %. +любое внешнее колебание (выросли ставки по кредиту бизнесу, зп рабочих, закупочные цены) и выши +1.1 млрд стремительно превратятся в условно -3 млрд
4) Максимизируем маржу/выручку с ограничением на маржинальность
Вот это уже годится!
Но тоже есть пара нюансов (опрос ниже)
И можно еще лучше (следующий пост)
👍11🥴5🗿4🔥3
Какая из точек (1, 2, 3) соответствует:
а) максимум маржи в руб
б) максимум маржинальности в % (=маржа/выручка) в) максимум выручки при ограничении, что маржа в % не падает г) максимум выручки при ограничении, что маржа на заказ (=маржа / заказы) не падет
а) максимум маржи в руб
б) максимум маржинальности в % (=маржа/выручка) в) максимум выручки при ограничении, что маржа в % не падает г) максимум выручки при ограничении, что маржа на заказ (=маржа / заказы) не падет
Anonymous Poll
30%
1 - а, 2 - б, 3 - в, г
16%
1 - б, 2 - б, в 3 - г
35%
1 - а, б 2- г 3 - в
15%
1 - а, б 2 - г 3 - в
4%
1 - а, в 2 - в 3 - г
Верный ответ на опрос выше - 3ий и 4ый
1) Точка 1 - а, б
В ней маржа +15%, выручка +0%
поэтому это точка максимума как маржи в руб, так и маржи в %
(!) Прелесть в том, что это кажется идеальным вариантом, но график вам немножко привирает 😈
Надо посмотреть на то, какой будет прирост заказов в этой точке. А он будет сильно отрицательным (пересечение продолжения оранжевой кривой и горизонтали от точки 3 где-то в отрицательной области оси Х)!
Возможно вы вырастите маржу на 15%, но снизите заказы условно в 2 раза (~потеряете кучу клиентов)
2) Точка 3 - в
Изменение маржи, % = маржа * (1 + delta_margin) / (выручка *(1 + delta_revenue)) = (маржа / выручка) * (1 + delta_margin) / (1 + delta_revenue)
чтобы маржа в % не менялось надо имет delta_margin = delta_revenue (как раз верно на диагонали)
Максимизация выручки - движение вправо вдоль оси Х. Максимальный сдвиг вправо, но не ниже диагонали дает нам точку
3 - в: максимум выручки при ограничении, что маржа в % не падает
3) Точка 2 - г
Вот тут интереснее
Ограничение, что маржа в руб не падает соответствует пересечению диагонали и оранжевой кривой (точка 4)
Чтобы его сохранить, но мыслить в размене маржа-выручка, нужно провести огранчение по горизонтали - мы не можем падать ниже горизонтали, двигаясь по синей кривой - это нам дает точку 2
Обратите внимание, и в точке 2, и в точке 3 мы максимизируем выручку при огрничении на маржинальность. Но оказывается, маржинальность = маржа / заказ накладывает сильно более жесткое ограничение (получаем прирост маржи в руб около 5% вместо 10%), чем маржа = маржа / выручка
1) Точка 1 - а, б
В ней маржа +15%, выручка +0%
поэтому это точка максимума как маржи в руб, так и маржи в %
(!) Прелесть в том, что это кажется идеальным вариантом, но график вам немножко привирает 😈
Надо посмотреть на то, какой будет прирост заказов в этой точке. А он будет сильно отрицательным (пересечение продолжения оранжевой кривой и горизонтали от точки 3 где-то в отрицательной области оси Х)!
Возможно вы вырастите маржу на 15%, но снизите заказы условно в 2 раза (~потеряете кучу клиентов)
2) Точка 3 - в
Изменение маржи, % = маржа * (1 + delta_margin) / (выручка *(1 + delta_revenue)) = (маржа / выручка) * (1 + delta_margin) / (1 + delta_revenue)
чтобы маржа в % не менялось надо имет delta_margin = delta_revenue (как раз верно на диагонали)
Максимизация выручки - движение вправо вдоль оси Х. Максимальный сдвиг вправо, но не ниже диагонали дает нам точку
3 - в: максимум выручки при ограничении, что маржа в % не падает
3) Точка 2 - г
Вот тут интереснее
Ограничение, что маржа в руб не падает соответствует пересечению диагонали и оранжевой кривой (точка 4)
Чтобы его сохранить, но мыслить в размене маржа-выручка, нужно провести огранчение по горизонтали - мы не можем падать ниже горизонтали, двигаясь по синей кривой - это нам дает точку 2
Обратите внимание, и в точке 2, и в точке 3 мы максимизируем выручку при огрничении на маржинальность. Но оказывается, маржинальность = маржа / заказ накладывает сильно более жесткое ограничение (получаем прирост маржи в руб около 5% вместо 10%), чем маржа = маржа / выручка
🔥10🤔3👍2🤯2🥴1
Последний душный пост в серии или лучшая Цель = размен метрик
Какие минусы max выручка, маржинальность >= Х%:
1) Не позволит вам сильно вырастить выручку
max выручка = двигаемся вправо по синей кривой;
маржинальность >= Х% = не ниже диагонали
—> мы должны выбирать точку на пересечении диагонали и синей кривой 🤔
Единственный способ дальше улучшать выручку - растить маржу в руб сильнее, чем выручку. Просто скидками / маркетингом / минорными улучшениями продукта не обойтись. Нужно делать качественные улучшения (новый алгоритм прайсинга условно) и сдвигать синюю кривую вверх
2) Переход из точки А в точку В дает увеличение прироста маржи 5 —> 10% (+5 пп), а падение выручки всего c 5 до 4% (-1 пп) 📈
То есть мы размениваем 1 пп выручки на 5 пп маржи - неплохо, да? Но с текущими целевыми метриками этого сделать нельзя
Цель = допустимый размен метрик
Поэтому в идеале ставить цель в допустимых разменах метрик. Например: готовы менять -1 пп выручки на +3 пп маржи
Это дает касательную к графику с наклоном 1/3 —> выбираем точку В
Можно эту цель дополнительно ограничить условием ”маржинальность в % не падает”
Космические плюсы этого подхода:
- Легко балансировать метрики. Причем сколько угодно штук
- Не уходите в крайность вроде max Маржа, руб (помните кейс в посте выше, где маржа в руб растет на 10%, а маржинальность падет с 20% до 1%?)
- Просто аккуратно задаете вопросы бизнесу “На сколько % выручки мы готовы поменять 1% маржи”? Поначалу никто не будет хотеть вам отвечать (потому что именно это в итоге определяет цель компании, а определить ее сложно), но если вы будете настойчивыми, то оно того стоит!
Бонус для тех, кто еще не устал от душности в постах:
- Видео с теорией про то, как строятся кривые и находятся точки оптимума. Много формул, графиков, но тема разбирается от и до
P.S. Удивительно, но я не смог найти ни одного короткого и простого обьяснения кривых размена маржа-выручка или маржа-заказы 👀
Видимо, буду сам писать пост на Хабр про них
Какие минусы max выручка, маржинальность >= Х%:
1) Не позволит вам сильно вырастить выручку
max выручка = двигаемся вправо по синей кривой;
маржинальность >= Х% = не ниже диагонали
—> мы должны выбирать точку на пересечении диагонали и синей кривой 🤔
Единственный способ дальше улучшать выручку - растить маржу в руб сильнее, чем выручку. Просто скидками / маркетингом / минорными улучшениями продукта не обойтись. Нужно делать качественные улучшения (новый алгоритм прайсинга условно) и сдвигать синюю кривую вверх
2) Переход из точки А в точку В дает увеличение прироста маржи 5 —> 10% (+5 пп), а падение выручки всего c 5 до 4% (-1 пп) 📈
То есть мы размениваем 1 пп выручки на 5 пп маржи - неплохо, да? Но с текущими целевыми метриками этого сделать нельзя
Цель = допустимый размен метрик
Поэтому в идеале ставить цель в допустимых разменах метрик. Например: готовы менять -1 пп выручки на +3 пп маржи
Это дает касательную к графику с наклоном 1/3 —> выбираем точку В
Можно эту цель дополнительно ограничить условием ”маржинальность в % не падает”
Космические плюсы этого подхода:
- Легко балансировать метрики. Причем сколько угодно штук
- Не уходите в крайность вроде max Маржа, руб (помните кейс в посте выше, где маржа в руб растет на 10%, а маржинальность падет с 20% до 1%?)
- Просто аккуратно задаете вопросы бизнесу “На сколько % выручки мы готовы поменять 1% маржи”? Поначалу никто не будет хотеть вам отвечать (потому что именно это в итоге определяет цель компании, а определить ее сложно), но если вы будете настойчивыми, то оно того стоит!
Бонус для тех, кто еще не устал от душности в постах:
- Видео с теорией про то, как строятся кривые и находятся точки оптимума. Много формул, графиков, но тема разбирается от и до
P.S. Удивительно, но я не смог найти ни одного короткого и простого обьяснения кривых размена маржа-выручка или маржа-заказы 👀
Видимо, буду сам писать пост на Хабр про них
🤔11👍9🔥1🥴1
Недавно во Вьетнаме встретил человека, который не умеет читать на родном языке - шок
Но еще больший шок, когда data-people плохо знают свой родной язык - метрики 😱
Поэтому с понедельника начнём разбирать, как выглядят в реальном мире разные концепции метрик: воронка конверсий, юнит экономика и PnL
Но еще больший шок, когда data-people плохо знают свой родной язык - метрики 😱
Поэтому с понедельника начнём разбирать, как выглядят в реальном мире разные концепции метрик: воронка конверсий, юнит экономика и PnL
👍36🔥18
Воронка конверсий - идея
К нам на сайт / в приложение приходят X пользователей в неделю
30% из них кликают на карточку товара = 0.3Х
Из этих 30% аж половина (50%) жмет “добавить в корзину” = 0.3 * 0.5X
Ну а реально оплачивают из нажавших всего 10% = 0.3 * 0.5 * 0.1X = 0.015 Х
💡 Базовых идей в воронке конверсий 3
1. Заказы = Трафик * конверсия из захода в приложение в заказ
2. Конверсия из захода в приложение в заказ (CR appstart-order) раскладывается на произведение поэтапных конверсий:
CR appstart-order = CR appstart-item click * CR item click - add to cart * CR add to cart - order
3. Мы можем работать над отдельными этапами воронки. Если улучшаем конверсию на одном этапе и не снижаем конверсию на других этапах + не влияем на трафик, то мы растим заказы. Вот про эту идею часто забывают 🥲. Разберем ее детальнее завтра
Зачем такая концепция нужна?
1. Определить, на каком этапе пути пользователя есть проблемы
В кейсе выше CR appstart-order = 1.5% (0.015 Х)
Кажется, можно лучше (спойлер: не всегда). Тут выглядит проблемной конверсия из добавления в корзину в оплату (CR add to cart - order = 10%)
Тут уже можно дальше закапываться и смотреть, что не так: оплата картой не работает? Юзер добавил товар в корзину, а при оплате видит, что его нет в наличии? Доставка стоит 100500 руб?
2. Упростить понимание бизнеса:
Сравните запрос: “Что-то у нас мало заказов - что делать?” и “Давайте посмотрим, какой этап воронки конверсий у нас проседает”
3. Ускорить ваши А/В 😇
Дисперсия поэтапных конверсий (того же CR add to cart - order) обычно кратно ниже дисперсии общей конверсии (CR appstart-order) и тем более заказов
Поэтому для роста условно “CR add to cart - order” на 1 пп нужно в разы меньше наблюдений, чем для роста на 1 пп “CR appstart-order”. На есть нюансы из-за базовой идеи №3
К нам на сайт / в приложение приходят X пользователей в неделю
30% из них кликают на карточку товара = 0.3Х
Из этих 30% аж половина (50%) жмет “добавить в корзину” = 0.3 * 0.5X
Ну а реально оплачивают из нажавших всего 10% = 0.3 * 0.5 * 0.1X = 0.015 Х
💡 Базовых идей в воронке конверсий 3
1. Заказы = Трафик * конверсия из захода в приложение в заказ
2. Конверсия из захода в приложение в заказ (CR appstart-order) раскладывается на произведение поэтапных конверсий:
CR appstart-order = CR appstart-item click * CR item click - add to cart * CR add to cart - order
3. Мы можем работать над отдельными этапами воронки. Если улучшаем конверсию на одном этапе и не снижаем конверсию на других этапах + не влияем на трафик, то мы растим заказы. Вот про эту идею часто забывают 🥲. Разберем ее детальнее завтра
Зачем такая концепция нужна?
1. Определить, на каком этапе пути пользователя есть проблемы
В кейсе выше CR appstart-order = 1.5% (0.015 Х)
Кажется, можно лучше (спойлер: не всегда). Тут выглядит проблемной конверсия из добавления в корзину в оплату (CR add to cart - order = 10%)
Тут уже можно дальше закапываться и смотреть, что не так: оплата картой не работает? Юзер добавил товар в корзину, а при оплате видит, что его нет в наличии? Доставка стоит 100500 руб?
2. Упростить понимание бизнеса:
Сравните запрос: “Что-то у нас мало заказов - что делать?” и “Давайте посмотрим, какой этап воронки конверсий у нас проседает”
3. Ускорить ваши А/В 😇
Дисперсия поэтапных конверсий (того же CR add to cart - order) обычно кратно ниже дисперсии общей конверсии (CR appstart-order) и тем более заказов
Поэтому для роста условно “CR add to cart - order” на 1 пп нужно в разы меньше наблюдений, чем для роста на 1 пп “CR appstart-order”. На есть нюансы из-за базовой идеи №3
👍11🫡6🔥5
Нюансы воронки конверсий
Как и писал выше,
Мы можем работать над отдельными этапами воронки. Если улучшаем конверсию на одном этапе и не снижаем конверсию на других этапах + не влияем на трафик, то мы растим заказы
Представьте, что вы решили добавить на главной странице огромный баннер “Скидка 90% на все по промокоду DISCO”. Клиенты радостно выбирают товары, добавляют в корзину, собираются оплатить и тут.. не видят поля, куда ввести промокод. Что происходит с точки зрения метрик:
- CR app start - item click — растет
- СR item click - add to cart — растет
- СR add to cart - order — падает
- Общая конверсия CR appstart-order — скорее всего не меняется
По идее баннер размещен на главной странице, поэтому влияет в первую очередь на CR app start - item click. Если аналитик не подумал посмотреть в А/В остальные метрики, то он мог бы решить, что фича отличная, а это не так!
———————
Пример выше немного вымышленный, …хотя посмотрите на главные страницы некоторых приложений 😅
Но вот вам менее очевидные кейсы из реальной жизни:
- Убрали принудительную регистрацию при старте приложения. Нужно регистрироваться только при оформлении заказа
- Стали показывать стоимость доставки не только на корзине, но на каждом этапе воронки
- Добавляем раздел “Избранное” на маркетплейсе машин
- Добавляем фичу “Подписаться на скидки на данный товар”
Можете подумать, как себя поведут разные конверсии в этих кейсах. Ну а разбор будет уже завтра 👀
Как и писал выше,
Мы можем работать над отдельными этапами воронки. Если улучшаем конверсию на одном этапе и не снижаем конверсию на других этапах + не влияем на трафик, то мы растим заказы
Представьте, что вы решили добавить на главной странице огромный баннер “Скидка 90% на все по промокоду DISCO”. Клиенты радостно выбирают товары, добавляют в корзину, собираются оплатить и тут.. не видят поля, куда ввести промокод. Что происходит с точки зрения метрик:
- CR app start - item click — растет
- СR item click - add to cart — растет
- СR add to cart - order — падает
- Общая конверсия CR appstart-order — скорее всего не меняется
По идее баннер размещен на главной странице, поэтому влияет в первую очередь на CR app start - item click. Если аналитик не подумал посмотреть в А/В остальные метрики, то он мог бы решить, что фича отличная, а это не так!
———————
Пример выше немного вымышленный, …хотя посмотрите на главные страницы некоторых приложений 😅
Но вот вам менее очевидные кейсы из реальной жизни:
- Убрали принудительную регистрацию при старте приложения. Нужно регистрироваться только при оформлении заказа
- Стали показывать стоимость доставки не только на корзине, но на каждом этапе воронки
- Добавляем раздел “Избранное” на маркетплейсе машин
- Добавляем фичу “Подписаться на скидки на данный товар”
Можете подумать, как себя поведут разные конверсии в этих кейсах. Ну а разбор будет уже завтра 👀
👍9🔥6🤡2💘1
Разбор кейсов с конверсиями случился не вчера, а сегодня)
Про влияние на другие этапы конвесрий, как эти конверсии считать и влияние на траффик
1. Убрали принудительную регистрацию при старте приложения. Нужно регистрироваться только при оформлении заказа
- Растим CR app start - item click, тк убрали барьер новичкам на первом шаге
- Почти наверняка роняем CR add to cart - order, тк новичкам теперь придется тут проходить регистрацию - не все захотят и отвалятся
- CR item click - add to cart неочевидно, но возможно немножко уроним 🥲 Тк на этом этапе стало больше новичков, котоыре еще не особо знакомы с приложением и вообще не особо уверены, нужо ли оно им
В итоге, надо конечно же смореть на общую конверсию CR app start - order
Но ее очень сложно прокрасить. Тут кейс с регистрацией (актуально только для новичка). Поэтому можно смотреть CR app start - order по новичкам. Она будет скорее всего более чувствительной в АВ 👍
Второй кейс очень похож на первый
Call-to-action: когда можете повлиять на другие этапы воронки, то смотрите в первую очередь на общую конверсию!
Про влияние на другие этапы конвесрий, как эти конверсии считать и влияние на траффик
1. Убрали принудительную регистрацию при старте приложения. Нужно регистрироваться только при оформлении заказа
- Растим CR app start - item click, тк убрали барьер новичкам на первом шаге
- Почти наверняка роняем CR add to cart - order, тк новичкам теперь придется тут проходить регистрацию - не все захотят и отвалятся
- CR item click - add to cart неочевидно, но возможно немножко уроним 🥲 Тк на этом этапе стало больше новичков, котоыре еще не особо знакомы с приложением и вообще не особо уверены, нужо ли оно им
В итоге, надо конечно же смореть на общую конверсию CR app start - order
Но ее очень сложно прокрасить. Тут кейс с регистрацией (актуально только для новичка). Поэтому можно смотреть CR app start - order по новичкам. Она будет скорее всего более чувствительной в АВ 👍
Второй кейс очень похож на первый
Call-to-action: когда можете повлиять на другие этапы воронки, то смотрите в первую очередь на общую конверсию!
👍9😁1🤡1💘1
2. Добавляем раздел “Избранное” на маркетплейсе машин
Покупка машины - дело довольно редкое для обычного пользователя. Поэтому тут я бы считал конверсию не по сессиям (у юзера 10 сессий, в 3 совершил покупку, CR = 3/10), а бинарно с окном, скажем, в месяц. То есть 0/1, купил ли машину чере змесяц после первого App-start
Если будете использовать не бинарную общую конверсию, а другую - скорее всего могут получиться странноватые выводы 🥶
При этом для пошаговых конверсий, например CR app start - item click конверсию по сессиям использовать вполне ОК
В этом кейсе, при использовании удачных конверсий
- CR app start - item click (по сессиям) вероятно немножко вырастет или не изменится. Потому что юзер может чуть чаще возвращаться в приложение, чтобы сравнить условно новинки со своим избранным
- CR item click - add to cart (0/1) вероятно, вырастет. Пользователь, долго выбирая на сайте, теперь не забывают свои старые выборы, а добавляет их в ”Избранное”
Важный момент: CR item click - add to cart (по сессиям) может упасть. Если число item-click вырастет, а число add to cart - нет (или вырастет меньше)
Call-to-action: Будьте акуратны в выборе конверсий. В случае редких событий лучше считать бинарную конверсию 0/1, а не по сессиям (купил в 3 сессиях из 10)
3. Добавляем фичу “Подписаться на скидки на данный товар”
Вероятнее всего это увеличит трафик (кол-во сессий, app start). И возможно даже и вырастит, но слабее кол-во item click и order
Поэтому на сессиянных конверсиях вы можете увидеть падение всех этапов воронки и даже общей CR app start - order
но тк траффик растет, то кол-во заказов растет!
orders = кол-во App start * CR app start - order
Call-to-action: Думайте, не влияете ли вы экспериментом на траффик
Note: в кейсе со сидками не забудьте и про денежные метрики) О них - в следующих постах о юнит экономике и PnL
Покупка машины - дело довольно редкое для обычного пользователя. Поэтому тут я бы считал конверсию не по сессиям (у юзера 10 сессий, в 3 совершил покупку, CR = 3/10), а бинарно с окном, скажем, в месяц. То есть 0/1, купил ли машину чере змесяц после первого App-start
Если будете использовать не бинарную общую конверсию, а другую - скорее всего могут получиться странноватые выводы 🥶
При этом для пошаговых конверсий, например CR app start - item click конверсию по сессиям использовать вполне ОК
В этом кейсе, при использовании удачных конверсий
- CR app start - item click (по сессиям) вероятно немножко вырастет или не изменится. Потому что юзер может чуть чаще возвращаться в приложение, чтобы сравнить условно новинки со своим избранным
- CR item click - add to cart (0/1) вероятно, вырастет. Пользователь, долго выбирая на сайте, теперь не забывают свои старые выборы, а добавляет их в ”Избранное”
Важный момент: CR item click - add to cart (по сессиям) может упасть. Если число item-click вырастет, а число add to cart - нет (или вырастет меньше)
Call-to-action: Будьте акуратны в выборе конверсий. В случае редких событий лучше считать бинарную конверсию 0/1, а не по сессиям (купил в 3 сессиях из 10)
3. Добавляем фичу “Подписаться на скидки на данный товар”
Вероятнее всего это увеличит трафик (кол-во сессий, app start). И возможно даже и вырастит, но слабее кол-во item click и order
Поэтому на сессиянных конверсиях вы можете увидеть падение всех этапов воронки и даже общей CR app start - order
но тк траффик растет, то кол-во заказов растет!
orders = кол-во App start * CR app start - order
Call-to-action: Думайте, не влияете ли вы экспериментом на траффик
Note: в кейсе со сидками не забудьте и про денежные метрики) О них - в следующих постах о юнит экономике и PnL
👍12🔥3❤1🤡1💘1
Нас уже почти 2к 🚀
Кажется, пора еще раз всем представиться и завести наконец хорошую навигацию по каналу
Кажется, пора еще раз всем представиться и завести наконец хорошую навигацию по каналу
🔥17👍5💘2
➡️ Навигация по каналу
На связи Ваня Максимов @Ivan_maksimov - ML team lead в Яндекс.Лавке, 7+ лет в DS
Забустить канал, чтобы я публиковал больше сторис, можно по ссылке 😄
Пишу алгоритмы, чтобы ваш любимый миндальный круассан всегда был в наличии и по хорошей цене 😇
Если чуть серьезнее, то делаю автозаказ товаров и ценообразование в Лавке
А еще увлекаюсь Recsys и А/В. Построил с нуля перс рекомендации и АВ платформу в Delivery Club
На канале пишу о том, как преодолеть путь от ML модели до реального Value для бизнеса. И какие грабли я собрал на этом пути
👍 Самые залайканные / обсуждаемые посты
- Серия про оптимизацию цен на товары
- Что тебя ждет при переходе team lead —> head of ML
- 13 способов ускорить АВ тест или “не CUPED-ом единым”
- Лучше модель с ROC AUC 50% или 85%? Все не так очевидно
- Серия постов о метриках регрессии: от RMSE до WAPE и SMAPE
- Отсортируй товары “по популярности” - делов на 30 минут! Стой, а почему 3 спринта?
- Какая трансформация фичи влияет на перформанс CatBoost? Спойлер: log(x) - влияет!
Популярные хэштеги
#ab, #metrics, #recsys, #timeseries, #pricing
💡Написать мне: @Ivan_maksimov
Например, вы можете обсудить свой DS-кейс, позвать рассказать что-то интересное на конференции или в вашей компании, записаться на консультацию по data science
На связи Ваня Максимов @Ivan_maksimov - ML team lead в Яндекс.Лавке, 7+ лет в DS
Забустить канал, чтобы я публиковал больше сторис, можно по ссылке 😄
Пишу алгоритмы, чтобы ваш любимый миндальный круассан всегда был в наличии и по хорошей цене 😇
Если чуть серьезнее, то делаю автозаказ товаров и ценообразование в Лавке
А еще увлекаюсь Recsys и А/В. Построил с нуля перс рекомендации и АВ платформу в Delivery Club
На канале пишу о том, как преодолеть путь от ML модели до реального Value для бизнеса. И какие грабли я собрал на этом пути
👍 Самые залайканные / обсуждаемые посты
- Серия про оптимизацию цен на товары
- Что тебя ждет при переходе team lead —> head of ML
- 13 способов ускорить АВ тест или “не CUPED-ом единым”
- Лучше модель с ROC AUC 50% или 85%? Все не так очевидно
- Серия постов о метриках регрессии: от RMSE до WAPE и SMAPE
- Отсортируй товары “по популярности” - делов на 30 минут! Стой, а почему 3 спринта?
- Какая трансформация фичи влияет на перформанс CatBoost? Спойлер: log(x) - влияет!
Популярные хэштеги
#ab, #metrics, #recsys, #timeseries, #pricing
💡Написать мне: @Ivan_maksimov
Например, вы можете обсудить свой DS-кейс, позвать рассказать что-то интересное на конференции или в вашей компании, записаться на консультацию по data science
👍39🔥24🤯4❤3🗿3
Топ-5 граблей Юнит Экономики
…и при чем тут воронка конверсий
Юзер за время пользования приложением должен приносить больше денег (LTV - LifeTime Value), чем потратили на его привлечение (CAC - Customer Acquisition Cost)
UE = LTV - CAC > 0
Если так, то мы часть избыточно заработанных денег (UE > 0) тратим на привлечение новых пользователей —> Они тоже приносят UE > 0 —> повторяем этот цикл и получаем стабильный рост компании
Ну а дальше начинаем детализировать нашу формулу
UE = ARPU * LifeTime - CAC
➡️ UE = (ARPPU * Conversion) * Lifetime - CAC
ARPU - Average Revenue Per User за какой-то период. Обычно 1 или 3 мес
ARPPU - Average Revenue Per _Paying_ User за какой-то период. Обычно 1 или 3 мес
Conversion - конверсия из захода в приложение в первую покупку
LifeTime - среднее время жизни пользователя в мес
CAC - Customer Acquisition Cost
Вокруг улучшения этих 4 составляющих крутится вся продуктовая работа и куча мифов. Развеять которые поможет иногда не такая уж простая аналитика (интегралы для кривой ретеншена, ML-модели LTV и оттока и тп)
Ну хоть с первой составляющей, Conversion, уже все понятно по прошлому посту …или нет?🙃
…и при чем тут воронка конверсий
Юзер за время пользования приложением должен приносить больше денег (LTV - LifeTime Value), чем потратили на его привлечение (CAC - Customer Acquisition Cost)
UE = LTV - CAC > 0
Если так, то мы часть избыточно заработанных денег (UE > 0) тратим на привлечение новых пользователей —> Они тоже приносят UE > 0 —> повторяем этот цикл и получаем стабильный рост компании
Ну а дальше начинаем детализировать нашу формулу
UE = ARPU * LifeTime - CAC
➡️ UE = (ARPPU * Conversion) * Lifetime - CAC
ARPU - Average Revenue Per User за какой-то период. Обычно 1 или 3 мес
ARPPU - Average Revenue Per _Paying_ User за какой-то период. Обычно 1 или 3 мес
Conversion - конверсия из захода в приложение в первую покупку
LifeTime - среднее время жизни пользователя в мес
CAC - Customer Acquisition Cost
Вокруг улучшения этих 4 составляющих крутится вся продуктовая работа и куча мифов. Развеять которые поможет иногда не такая уж простая аналитика (интегралы для кривой ретеншена, ML-модели LTV и оттока и тп)
Ну хоть с первой составляющей, Conversion, уже все понятно по прошлому посту …или нет?🙃
👍33🔥8🗿2💘1
Иконостас и доставка еды
Пару лет назад мы тестили фичу с маленьким виджетом топ-3 популярных фастфудов (он же иконостас). Занимает в ~9 раз меньше длины экрана 😱
Идея была в том, что эти топ-3 фастфуда и так у всех в топе ленты рекомендаций - давайте сделаем так, чтобы они все ещё были в топе, но занимали меньше места. Тогда юзеры чаще видят новые для них рестораны - рост discovery сценария
(!) А ещё она блочила развитие перс рекомендаций, т к юзеры просто не долистывали до них
➡️ UE = ARPPU * Conversion * Lifetime - CAC
Базово хотели не уронить конверсию в покупку (составляющая ARPPU), и освободилось место на главной странице под перс рекомендации
Но в последний момент добавили барьерную метрику: не уронить конверсию новичка (Conversion)
Дизайн сделали, разработали фичу, запустили А/В и..
Конверсия в покупку не меняется, а конверсия новичка драматически падает. Без барьерной метрики на конверсию новичка мы бы выкатили фичу
Оказалось, забыли добавить на иконку ресторана плашку с конкретной скидкой новичку (-20%, бесплатная доставка), которая была в основой ленте 😣
➡️ Не забывайте, что конверсии бывают как минимум 2ух типов:
Посессионная конверсия в заказ (float, часть ARPPU) = кол-во заказов / кол-во сессий
Конверсия новичка (0/1) = был ли заказ в течений N недель после первого App-start пользователя
И меняться они могут в разные стороны
Пару лет назад мы тестили фичу с маленьким виджетом топ-3 популярных фастфудов (он же иконостас). Занимает в ~9 раз меньше длины экрана 😱
Идея была в том, что эти топ-3 фастфуда и так у всех в топе ленты рекомендаций - давайте сделаем так, чтобы они все ещё были в топе, но занимали меньше места. Тогда юзеры чаще видят новые для них рестораны - рост discovery сценария
(!) А ещё она блочила развитие перс рекомендаций, т к юзеры просто не долистывали до них
➡️ UE = ARPPU * Conversion * Lifetime - CAC
Базово хотели не уронить конверсию в покупку (составляющая ARPPU), и освободилось место на главной странице под перс рекомендации
Но в последний момент добавили барьерную метрику: не уронить конверсию новичка (Conversion)
Дизайн сделали, разработали фичу, запустили А/В и..
Конверсия в покупку не меняется, а конверсия новичка драматически падает. Без барьерной метрики на конверсию новичка мы бы выкатили фичу
Оказалось, забыли добавить на иконку ресторана плашку с конкретной скидкой новичку (-20%, бесплатная доставка), которая была в основой ленте 😣
➡️ Не забывайте, что конверсии бывают как минимум 2ух типов:
Посессионная конверсия в заказ (float, часть ARPPU) = кол-во заказов / кол-во сессий
Конверсия новичка (0/1) = был ли заказ в течений N недель после первого App-start пользователя
И меняться они могут в разные стороны
🔥55👍20❤3🙏3😁1
Курсы по АВ
Я думал в этом году перезапустить свой курс по АВ в формате симулятора. Уже даже сделал 1/5 уроков
Но тут обнаружил, что сразу 2 очень мощных ребят запустили свои курсы-симуляторы по А/В
- Симулятор АВ от Karpov.courses. Есть пакет для продуктов (в Google sheet) и аналитиков (python)
- Симулятор АВ от ProductDo, заточенный именно под продактов
Не реклама: за каналами слежу уже давно, некоторые курсы от ребят сам проходил 👍
Кажется, не имеет смысла жестко конкурировать именно в А/В - я подумаю про другие ниши
Кстати, на какую тему вы бы хотели увидеть курс-симулятор от меня? Напишите в комментарии ⬇️
Я думал в этом году перезапустить свой курс по АВ в формате симулятора. Уже даже сделал 1/5 уроков
Но тут обнаружил, что сразу 2 очень мощных ребят запустили свои курсы-симуляторы по А/В
- Симулятор АВ от Karpov.courses. Есть пакет для продуктов (в Google sheet) и аналитиков (python)
- Симулятор АВ от ProductDo, заточенный именно под продактов
Не реклама: за каналами слежу уже давно, некоторые курсы от ребят сам проходил 👍
Кажется, не имеет смысла жестко конкурировать именно в А/В - я подумаю про другие ниши
Кстати, на какую тему вы бы хотели увидеть курс-симулятор от меня? Напишите в комментарии ⬇️
Telegram
Дашич, беги🚀
Как определить, какая версия сайта работает лучше? Что изменилось после рефакторинга бэкенда, и удалось ли отделу логистики ускорить доставку?
Точные ответы на эти вопросы позволяют получить A/B-тесты. На симуляторе от karpovꓸcourses вы поработаете с нетривиальными…
Точные ответы на эти вопросы позволяют получить A/B-тесты. На симуляторе от karpovꓸcourses вы поработаете с нетривиальными…
👍16🔥5
Затравочка про цены
Большиство людей в комментариях писали, что хотят курс про оптимизацию цен и промо. Что ж, давайте начнем с небольших куллстори, а дальше как пойдет 😉
Еще лет 6 назад я пробовал оптимизировать цены в одной сети магазинов. Юный и доверчивый, я конечно же прикрутил сюда нейронки, чтобы найти связь спроса и цен… и это был фейл 😅
- Рост цен на некоторые товары х3 (может, это и неплохо иногда, но пугает людей)
- Околонулевые цены на некоторые позиции
- По “важным” позициям цены дороже, чем у конкурентов
- и много других интересностей
Я выучил этот урок и еще через несколько граблей начал делать совсем другие решения. Нет, про нейронки забывать не надо - да и как, если ChatGPT и StableDiffusion гремят уже который месяц? Но в моих кейсах почти всегда хорошо заходил бленд классических методов (if-else / эвристики / простые линейные регрессии) и мощные алгоритмы поверх них
Как пример, вместо прайсинга каждого товара или персональных цен очень хорошо работает гео-прайсинг.
Цена = базовая цена * гео-коэффициент
В качестве базовой цены обычно берут тащательно отобранную эвристику: условно среднюю цену конкурента, цена закупки + х%, текущую цену или что-то еще. Главное, чтобы ее уже можно было и без коэффициентов запкускать в продакшен - и получать приемлемые результаты
А вот гео-коэффициент можно оценивать уже довольно сложными методами с ML, нейронками, бандитами и всем, что мы любим.
Так, например, работает самый известный прайсинг - сурдж в такси и доставке еды. И надо сказать, весьма успешно
➡️ Современный прайсинг = блендинг классики и крутых ML-методов
Перед тем, как заводить нейронку, хорошо подумай про базовые цены - это 70% успеха ⚡️
Большиство людей в комментариях писали, что хотят курс про оптимизацию цен и промо. Что ж, давайте начнем с небольших куллстори, а дальше как пойдет 😉
Еще лет 6 назад я пробовал оптимизировать цены в одной сети магазинов. Юный и доверчивый, я конечно же прикрутил сюда нейронки, чтобы найти связь спроса и цен… и это был фейл 😅
- Рост цен на некоторые товары х3 (может, это и неплохо иногда, но пугает людей)
- Околонулевые цены на некоторые позиции
- По “важным” позициям цены дороже, чем у конкурентов
- и много других интересностей
Я выучил этот урок и еще через несколько граблей начал делать совсем другие решения. Нет, про нейронки забывать не надо - да и как, если ChatGPT и StableDiffusion гремят уже который месяц? Но в моих кейсах почти всегда хорошо заходил бленд классических методов (if-else / эвристики / простые линейные регрессии) и мощные алгоритмы поверх них
Как пример, вместо прайсинга каждого товара или персональных цен очень хорошо работает гео-прайсинг.
Цена = базовая цена * гео-коэффициент
В качестве базовой цены обычно берут тащательно отобранную эвристику: условно среднюю цену конкурента, цена закупки + х%, текущую цену или что-то еще. Главное, чтобы ее уже можно было и без коэффициентов запкускать в продакшен - и получать приемлемые результаты
А вот гео-коэффициент можно оценивать уже довольно сложными методами с ML, нейронками, бандитами и всем, что мы любим.
Так, например, работает самый известный прайсинг - сурдж в такси и доставке еды. И надо сказать, весьма успешно
➡️ Современный прайсинг = блендинг классики и крутых ML-методов
Перед тем, как заводить нейронку, хорошо подумай про базовые цены - это 70% успеха ⚡️
🔥27👍8
Гуси и цены на такси
Wild goose chase paradox
Продолжаем тему коэффициентов к базовой цене. Вы не задумывались, почему в дождь цены на такси просто космические?
Всему виной surge pricing, который предсказывает тот самый коэффициент к базовой цене. Обычно, в surge pricing таргетируют целевой уровень сервиса. Скажем, время подачи машины не более 5 минут в среднем
Что происходит в дождь? ☔️
Время подачи машины ~ желающие уехать / (кол-во машин * среднее время в пути)
А в дождь просходит настоящая катастрофа
1. Число желающих уехать резко растёт
2. Сильно снижается эффективность 1 машины = время в пути растет
Это происходит из-за пробок и снижения плотности свободных такси на км^2
Иногда это приводит к тому, что время ожидания такси критически растет - люди начинают отменять поездки
И вот таксист долго едет к первому клиенту - заказ отменен. Ему назначают второй далёкий заказ (далёкий, тк он условно единственный свободный таксист на все Химки), он опять долго едет - заказ отменен. И так по кругу
В итоге, таксист ездит к клиентам, но не успевает - заказы отменяются. Это похоже на погоню за "дикими гусями" (wild goose chase). Они улетают до того, как их схватят 🦆
Открыла парадокс компания Uber, почитать подробнее можно тут
Единственное решение - очень сильно поднять цену поездки, чтобы спрос на них опять же очень сильно упал. Так что такси не наживается на клиентах в дождь, а скорее пытаетсяпоймать гусей сохранить приемлемый сервис
Wild goose chase paradox
Продолжаем тему коэффициентов к базовой цене. Вы не задумывались, почему в дождь цены на такси просто космические?
Всему виной surge pricing, который предсказывает тот самый коэффициент к базовой цене. Обычно, в surge pricing таргетируют целевой уровень сервиса. Скажем, время подачи машины не более 5 минут в среднем
Что происходит в дождь? ☔️
Время подачи машины ~ желающие уехать / (кол-во машин * среднее время в пути)
А в дождь просходит настоящая катастрофа
1. Число желающих уехать резко растёт
2. Сильно снижается эффективность 1 машины = время в пути растет
Это происходит из-за пробок и снижения плотности свободных такси на км^2
Иногда это приводит к тому, что время ожидания такси критически растет - люди начинают отменять поездки
И вот таксист долго едет к первому клиенту - заказ отменен. Ему назначают второй далёкий заказ (далёкий, тк он условно единственный свободный таксист на все Химки), он опять долго едет - заказ отменен. И так по кругу
В итоге, таксист ездит к клиентам, но не успевает - заказы отменяются. Это похоже на погоню за "дикими гусями" (wild goose chase). Они улетают до того, как их схватят 🦆
Открыла парадокс компания Uber, почитать подробнее можно тут
Единственное решение - очень сильно поднять цену поездки, чтобы спрос на них опять же очень сильно упал. Так что такси не наживается на клиентах в дождь, а скорее пытается
👍39🔥19💩3🤔1
Х^2 или log(Х) для CatBoost?
Многие говорят, что нет смысла трансформировать отдельно взятую фичу Х для градиентного бустинга (того же CatBoost). Но, как всегда, не все так просто:) Какие трансформации фичи Х теоретически влияют на перформанс CatBoost?
Многие говорят, что нет смысла трансформировать отдельно взятую фичу Х для градиентного бустинга (того же CatBoost). Но, как всегда, не все так просто:) Какие трансформации фичи Х теоретически влияют на перформанс CatBoost?
Anonymous Poll
47%
log(x)
42%
(x - mean(x))^2
47%
round(x, some_step)
💩8👍7🔥4👎3🤔1