​​LTV —НЕ продуктовая метрика. Retention — тоже НЕ продуктовая. Это бизнес-показатели, которые становятся значимыми, когда у бизнеса развивается продуктовый подход. «Продуктовый подход» можно развивать даже в консалтинге, где с экономической точки зрения «продукта» нет.

☝️Почему LTV и Retention — не продуктовые показатели? Продуктовые метрики — те, при росте которых выигрывает пользователь. Бизнес метрики — те, при росте которых выигрывает бизнес.

Популярная ментальная ловушка превращает рутинные задачи в аналитике трудно решаемыми. В итоге нанимают не соразмерный нуждам штат и зовут консультантов вроде автора этого блога.

🔥Что обычно возражают про LTV и Retention? Если пользователю в продукте нравится, то LTV и Retention будут расти. Признавайтесь в комментариях, уже успели так подумать? Я это слышала больше тысячи раз. И всегда отвечала: что ценный и качественный продукт -- это одна из миллионов причин того следствия, которые детектируется по росту LTV и Retention. На них влияет рынок, сезонность, пуши и другие накрутки. Критическая опасность путаницы между причиной и следствием то, что это колыбель "плохих метрик" (bad metrics), которые легко "накрутить". Подчас люди неосознанно накручивают метрики.

"Продукт-Бизнес-Пользователь" — это экономическая игра. И рост LTV и Retention — одно из предполагаемых нами следствий роста ценности продукта. Однако, у психолога, который быстро лечит травмы клиента, LTV будет поменьше, чем у искусного шарлатана.

🔥🔥🔥Главный вопрос к любой метрике:

-Кто выиграет, если эта метрика вырастет?

Для каждой фичи полезно создавать 2-3 метрики: со стороны бизнеса, продукта и пользователя. Продукт закрывает стратегические цели бизнеса, проблемы пользователя и тактические цели бизнеса, на которые влияет продукт.

😎Разберем конкретный кейс! Бизнес на уровне стратегии растит Net Profit. Пользователи продукта хотят получать ценность. А бизнес на уровне тактических продуктовых целей хочет роста Retention для привлечения инвестиций. Так как Retention возглавляет топ интересных инвесторам метрик. На какие метрики должна смотреть продуктовая команда в этом кейсе?

Грандиозная ошибка большинства компаний -- есть слона целиком.Они выбирают топорно. Net Profit и Retention. Плакать хочется, когда натыкаюсь на такие кейсы. Сотрудники таких компаний тоже плачут.

Любую цель и метрику можно приблизить к продукту простым фокусом. Разделите эту метрику или её производную (например не маржу, а доход) на аудиторию. По физическому смыслу получится "активность на пользователя". Примеры таких метрики: сколько в среднем пользователь оставляет в продукте денег за месяц -- ARPU, какое число целевых кликов и просмотров делает - Кликабельность на пользователя, сколько багов встречает - Число багов на пользователя.

✅Вопрос: так на на какие же метрики должна смотреть продуктовая команда в этом кейсе? Пишите ответы в комментариях.

✅Мой ответ будет в следующих постах. Первому угадавшему сделаю подарок.

Если тяжело мыслить в парадигме экономической игры, делайте проще. Я начинаю работать с продуктовыми командами и людьми в менторстве через парадигму: посмотреть со стороны пользователя (User Side) и со стороны бизнеса (Business Side). При формировании списка метрик будь то дашборд или фича, гипотеза, действуйте по стандартной схеме фреймворка «Пирамида метрик»:

1️⃣ Брейнсторм: рождаем хаотичный список метрик, как это привыкли делать в компаниях и на этом успокаиваться;
2️⃣ А мы не успокаиваемся и делаем аудит этого списка: Ревью метрик. По факту спрашиваем себя «Кто выиграет, если вырастет эта метрика: пользователи или наш бизнес?»
3️⃣ Пора озарений и сожалений; люди случается настолько по-новому видят мир, что меняют жизни на 180 градусов. Но так вштырило буквально трёх человек, а 99% дополнило старые кривые метрики адекватным набором и получили список того, что в Lean Analytics называют термином «хорошие метрики» («good metrics»)

☘️🦄 Любите аналитику в себе, а не себя в аналитике. Приходите на (анти)митап айтишников, покупайте мои курсы и записывайтесь на консалтинг. Намасте. То есть Data-driven!

•‎ Статья «Что такое А/В-тестирование»

Разбираемся, зачем бизнесу нужны А/В-тесты и рассматриваем их работу на реальных примерах.

•‎ Интервью Анатолия Карпова с Никитой Маршалкиным

Как проводятся А/В-тесты ВКонтакте? В чём состоят особенности проведения тестов в социальных сетях? Работает ли тестирование на больших данных? На эти вопросы отвечает Никита Маршалкин в интервью. В описании к видео вы найдёте список материалов, которые помогут освоить тему А/В-тестов.

• Вебинар Анатолия Карпова «Как и зачем оценивать размер выборки для А/В-теста?»

Чтобы грамотно провести А/В-тестирование, необходим чёткий план. В него входит в том числе определение размера выборки. Подробнее о том, как это сделать, рассказываем в записи вебинара.

•‎ Статья «Бутстреп и А/Б тестирование»

Преподаватель курса Hard ML Александр Сахнов рассказывает, как использовать бутстреп для решения разных задач, когда его применение необходимо и в чём его недостатки.