Как использовать суррогатные метрики, чтобы не ждать долго?

Попался под руки пейпер от 2019 года от LinkdeIn, где они рассказывают подход по поиску суррогатных (прокси) метрик для более быстрого проведения экспериментов, если целевая метрика – north star. Как заверяют авторы, зная что прокрасилась суррогатная метрика, значит прокрасится и north star (например, north star – ltv, суррогатная – retention).

В статье куча интересных формул для расчета ошибки, дисперсии, статистики и т.п., чтобы отвалидировать суррогат. Если коротко, то TLDR такой:

1. Определите свою north star. Метрики определяют успех/неудача эксперимента (можно считать, что это OEC)

2. Разработайте суррогатную метрику, предсказав north star. Фичи предсказанной north star должны быть уловимыми в течение всего эксперимента.

3. Используйте суррогатную метрику в эксперименте. Обратите внимание, что при расчете статистической значимости мы должны скорректировать дисперсию, чтобы учесть ошибку прогноза в модели. Формулы там даны

Читать здесь

И код есть!)
https://anonymous.4open.science/r/b25ed0d0-5759-4a13-a65a-a02c80cbcb8a/simulation4_1.R

Мой близкий друг Саша Сахнов - человек который на мой взгляд лучше всех разбирается в а/б тестах

Еще в далеком 2018 году мы с ним и рядом других людей начали писать на Хабр про А/Б.
Сейчас он запустил цикл статей про А/Б, где каждая статья будет сложнее предыдущей - первая довольно базовая статья про Бутстрап (Обратите внимание на центральный доверительный интервал)

Также интересен небольшой разбор стратификации для повышения чувствительности тестов
Еще можно посмотреть это видео

Есть два стула. На какой сам сядешь, а какой кандидату предложишь?

На эти и другие принципиальные вопросы про HR мы с Лесей Набока будем отвечать в нашем подкасте "Два стула"

Спешите смотреть дебютный выпуск. Разбираем самые основные концепты:
- Когда начинать искать работу?
- Почему вас не берут?
- Что должно быть в хорошем сопроводительном?

И так далее.

Если понравилось и не впадлу - чирканите плз комментируй на ютубе о том, какой бы выпуск бы хотели видеть следующим (только именно под видео, тамошним алгоритмам это нравится 🙂)

https://www.youtube.com/watch?v=YKSLV4dedGM

Креативный датавиз для начинающих

Новый датавиз курс на доместике! 😍
(это теперь моя любимая платформа по сливу денег)

Великолепная датавиз хулиганка Gabrielle Merite учит правильно нарушать правила в её стиле!

Эх, хочу хочу, но я пока три купленных курса ещё не прошла, так что пока просто в избранное 😌☝️

https://www.domestika.org/en/courses/3705-creative-data-visualization-for-beginners

Учимся? 😍

SQL Mindmap

Для лучшего понимания UX, а также чтобы лучше познакомиться с требованиями к интерфейсам и дизайну

https://cantunsee.space/

Списки метрик

10 полезных статей, которые рекомендуют участники продуктового комьюнити

В декабре мы провели исследование о развитии специалистов продуктовых компаний — сейчас обрабатываем данные и готовим подробный отчет.

А пока решили подсветить несколько полезных материалов, которые рекомендовали участники исследования. На самом деле их было гораздо больше — и полный список всех полезностей будет в приложении к отчету.

1. Как я несколько лет боролся с прокрастинацией и победил: полное практическое руководство
2. Цикл статей от GoPractice по активации пользователей
3. 21 метод UX-исследований: какой выбрать
4. Серия статей о ментальном здоровье от сервисов БУДУ и Ясно
5. Как стать продакт менеджером, если ты сантехник?
6. Microservice Architecture — Explore UBER’s Microservice Architecture
7. Product Discovery Basics: Everything You Need to Know
8. Примеры онбординга популярных приложений
9. Design System: Step-by-Step Interactive Handbook
10. Осознанность — это навык: его можно измерить и развить

@productsense

Гут Шабес.
Как всегда на шаббат, скромный подгон моим любимым🥰🥰 подписчикам: добавил и подредактил кратенькую шпору по основным метрикам и юнит-экономике.
Это точно спросят на собесе. Главное помнить про нормирование — суммарные метрики сосать😎😎
Пишите, что бы ещё добавить в комменты.

Если будет много лайков и шэров, запилю How_to_заботать собес на продакт-аналитика🥰🥰
(Паблик держится только на нарциссическом расстройстве админа)

Разные вопросы и ответы на про SQL

Общие вопросы и отдельно на CASE, JOINS, CTE/Подзапросы, Оконные функции. Нашла тут.