Новое эссе на GoPractice!

“Расчет LTV. Как надо и не надо считать Lifetime Value”

При расчете LTV часто допускают ошибки. Причем ошибки допускают даже авторы статей с первой страницы результатов Google про то, как посчитать LTV.

Самые распространенные ошибки при расчете LTV:
- Расчет LTV на основе выручки (Revenue), а не прибыли (contribution margin).
- Расчет LTV через Lifetime пользователей, полученный через 1/churn или другими способами.
- Расчет LTV через среднее количество покупок пользователей.

В этом эссе обсудим, как надо и не надо считать LTV (Lifetime Value).

https://gopractice.ru/how-to-calculate-ltv/

Обсудить прочитанное можно в чате Ask Kevin! https://news.1rj.ru/str/askkevin

Только сейчас посмотрел доклад Павла Левчука с ММ 2018 по ретеншету и черну. Ну прямо очень крутой доклад с подробным разбором работы с данными сущностями. https://www.youtube.com/watch?v=JNgzuZuepV0

​​Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий.

https://bit.ly/37uVUc6

via @WebAnalyst

Бытует мнение, что аналитик в наше время может обойтись без уверенной математической базы (об этом гласят многие программы подготовки аналитиков). С моей же точки зрения тяжело рассуждать о вероятности оттока, не понимая теории вероятностей, сложно говорить о медиане и нормальности распределения, не зная математическую статистику, и точно не рассчитать градиент функции, не понимая математического анализа: список можно продолжать долго.

Но есть спасение — море бесплатных курсов от ведущих американских вузов! Собрал подборку по всему курсу математики и приложил дополнительный курс по R для анализа данных. Внутри курсы от Harvard, MIT и Georgia Tech. Даже если вы, как и я, уже изучили всё это 15 лет назад — повторение пройденного материала крайне полезно.

https://leftjoin.ru/all/free-education-for-analysts/

Эмели Драль и Лена Самуйлова опубликовали на Github легковесную библиотеку для генерации интерактивных отчетов по анализу датасетов для ML моделей. Это полноценный MVP, который сегодня умеет оценивать только Data Drift, а совсем скоро научится делать ещё массу всего полезного, например, ассеcсмент ML модели, а дальше полноценный мониторинг

https://evidentlyai.com/blog/evidently-001-open-source-tool-to-analyze-data-drift

Ссылка на github

Новая статья на GoPractice!

“Проверка гипотез спроса и ценности для новых продуктов без разработки”

Многие считают, что для их продукта или функциональности проверить востребованность или ценность до разработки – невозможно. Скорее всего, это не так.

Несколько недель назад я попросил поделиться примерами, как люди проверяли ценность новых продуктов или фичей без разработки. В комментариях оставили много интересных кейсов, которые Денис Мартынцев в сотрудничестве с GoPractice категоризовал и подробно описал в этой статье. Используйте их как источник идей для проверки ключевых гипотез в ваших продуктах.

https://gopractice.ru/testing_hypotheses_without_development/ 

Обсудить прочитанное можно в чате Ask Kevin! https://news.1rj.ru/str/askkevin
Канал Дениса – https://news.1rj.ru/str/growhorse

Продолжаем традицию еженедельных переводов и сегодня две статьи про особенности использования groupby в (🐼)

1) Объяснение функций Grouper и Agg в Pandas

2) Понимание функции transform в Pandas

Кейсы по анализу данных и переводы доступны по ссылке 🐍

Интересный аналог Яндекс Вебвизора от Microsoft: https://clarity.microsoft.com/. Записи сессий, тепловые карты, куча сегментов и фильтров, хранение записей до 12 месяцев. Сейчас на тесте, более подробно позже.

Считается, что при проведении AB тестов лучше всего придерживаться распределения трафика поровну, например, 50/50, так как чем больше распределение неравномерно, тем больше вероятность влияния на результат разного рода случайностей: выбросов, рекламных акций, иных девиаций. Если у нас много трафика, это частично нивелирует проблему, но решить полностью ее не сможет. И растет риск ошибки при анализе теста.
В реальности нам часто приходится сталкиваться с невозможностью распределить трафик поровну, и нередко приходится работать с распределением и 90% / 10%, из них 90% на тестовый вариант.
Ребята из ExperimentFest сделали разбор таких случаев в своей статье http://bit.ly/3aQLRkY.
И вот из недавнего.

Трафик был распределен в соотношении, близком к 90% в тестовом варианте и 10% в контрольном варианте. Uplift по CR из пользователя в покупателя составил 22% с pvalue 0.000, но шампанское осталось неоткрытым - уж больно хорош отказался результат, чтобы его принять. Искал ошибки у себя, искал девиации в распределении трафика по полу/возрасту, тех. параметрам, гео, и проч.
И, когда разложил на графике количество пользователей, заказов, уровень стат. значимости по дням, все сошлось.
На графике трафика можно увидеть убывание, так как продаваемые товары подвержены сезонности. И в контрольную группу в какой-то момент попадали 100-120 пользователей.
В определенный период началась акция с большими скидками на сайте, в этот период количество заказов выросло в 1.5 - 2 раза по сравнению с предыдущими периодами.
И на графике заказов в тестовой группе эта акция сказалась - заметен значительный прирост. В контрольной группе этого роста нет. Ведь в тестовой группе в день было 1200 - 1500, а в контрольной группе 90 - 100. И откуда же взяться всплеску заказов в этой несчастной группке.
И реальное соотношение трафика было не 90/10, а от 16/1 к 9/1.
На графиках также можно увидеть, что стат. значимость перевалила за 0.95 именно в тот момент, когда этот всплеск начался. Выходит, что результат теста был определен именно за счет этой акции. А если мы остановили бы тест за день до этой акции, результаты не были стат. значимы.
Так что результаты теста с приростом на 22% в топку, запускаем в следующем году, когда начнется сезон, с распределением трафика 50/50.
Такие вот интересные приключения могут нас ожидать, когда мы делим трафик сильно неравномерно.