​​📏 Продуктовые метрики, ч. 2

Метрика Полярной звезды (метрика роста) - ключевой показатель успеха для продуктовой команды в компании. Она связывает клиентские боли, которые пытается решить команда разработчиков, и прибыль, которую бизнес стремится получить за счет этого.

🤔 Что из себя представляет хорошая метрика Полярной звезды?
- Она позволяет продуктовой команде понять, на каких моментах стоит сосредоточиться, а какие стоит опустить
- Заставляет команду продукта нести ответственность за результаты
- Измеряет долгосрочный рост компании
- Улучшает пользовательский опыт
- Поддерживает финансовые показатели компании

🤨 Как выявить метрику Полярной звезды?
Вам поможет чек-лист вопросов:
Ценность: Отражает ли эта метрика опыт пользователя в отношении основной ценности продукта?
Aha-Момент: Отражает ли она тот момент, когда пользователи впервые ощущают основную ценность продукта?
Бизнес: Это единственное, что показывает, что бизнес движется в правильном направлении?
Аналитика: Метрика показывает уровень фактического взаимодействия и активности?
Стратегия: Связана ли метрика с долгосрочной ценностью вашего продукта?

Важно!
Недостаточно смотреть только на метрику Полярной звезды, параллельно с ней нужно мониторить ещё и остальные метрики:
Например, основная метрика Спотифай - время прослушивания музыки; если мы уберём рекламу из бесплатной версии, скорее всего, метрика Полярной звезды вырастет, но уменьшится прибыль

Вот вы узнали, что такое метрика Полярной звезды, а теперь попробуйте решить задачку: подумайте и выявите метрику Полярной звезды Google Drive.
(Ответ на задачу можно найти вот в этой статье 🙂)

Давайте наберём 100 огонёчков 🔥 на этом посте, и мы расскажем про фреймворки для выявления метрик 🙂

📑 Классная линейка курсов по прикладной статистике от Филиппа Ульянкина

Если вы не знаете, где изучать матстат – эти курсы точно будут вам полезны 🙂
На ютубе вы можете смотреть лекции и разборы задачек в Jupyter Notebook
А в репозитории курса можно найти материалы к лекциям и ссылочки на задачи для самостоятельного решения

– недели 1-5 относятся к курсу «Сбор и анализ данных в Python»
– недели 6-11 к курсу “Математическая статистика и AB-тестирование”
– недели 12-16 к курсу «Статистические методы анализа данных»

Давайте наберём 180 огоньков 🔥 на этом посте, и мы сделаем большую подборку курсов по статистике :)

​​🅰️🅱️ Топовая книжка про А/B тесты

Про многие аспекты А/B тестов обычно не пишут в учебниках, и один из лучших способов обучения - читать кучу статей по экспериментам.

Но вместо пласта статей можно прочитать книжку, которую сильно рекомендовал Никита Маршалкин в интервью на тему A/B тестов для karpov.courses. (кстати, очень советуем посмотреть)

В ней рассказывают:
— Как выстраивать культуру А/В тестов
— Как их проводить
— Про нетворк-эффекты
— Как оценивать long-term
— В каких случаях какую статистику стоит применять
… и еще кучу полезного

Вот ссылочка на диск с книгой:
читайте и тыкайте огни 🔥 на этот пост (давайте набьем 150?)

​​🏆 Плюсы и минусы участия в соревнованиях на Kaggle

Есть много платформ, на которых вы можете поучаствовать в таких соревнованиях, решая задачки от компаний. Например, Boosters, Numer.ai, Driven Data и другие
Одна из самых известных платформ - Kaggle

➕ Какие плюсы участия в таких соревнованиях?
+ Возможность пощупать данные и порешать реальные задачи
+ Зачастую на соревнованиях разыгрываются довольно большие гонорары
+ Работодатели высоко оценивают чуваков с достижениями на kaggle
+ Соревнуясь с другими людьми, решать задачки становится ещё интересней
+ Можно обрасти классными знакомствами, получить респект в DS коммьюнити

➖ А какие минусы?
– Так как там большие гонорары, есть люди, которые зарабатывают, занимаясь этим профессионально. Это может демотивировать новичка, который выкладывается в соревнованиях на полную, но при этом не получает крутых результатов
– Присутствует момент рандома: в соревнованиях есть две тестовые выборки, и ты делаешь предсказания по обеим, но scores на лидерборде видны только по части выборки. И в момент, когда открывается скрытая часть и становятся видны результаты по всей выборке, если ты был в топе, тебя может выкинуть из него. Это тоже может задизморалить

Есть ребята, которые сильно вкладываются, но имеют небольшие результаты. Но вместе с ними есть ребята, которые нашли себя в соревнованиях на kaggle и получают медальку чуть ли не в каждом соревновании. Наверное, для этого нужен какой-то талант 🙂

Кому стоит участвовать в соревнованиях?
1. Тем, кто начинает свой путь в DS и хочет попрактиковаться на интересных задачках. Но при этом надо понимать, что быстрых побед ждать не стоит
2. Тем, кто готов сильно вкладываться, уделять этому много времени и других ресурсов
3. Тем, кто хочет найти новые знакомства в Data Science сообществе и получить в нём признание

Если тебе понравился этот пост, ставь на него огонёк 🔥 Давайте попробуем набрать 150? (будет круто, если наберётся 200 😊)

📑 Большая подборка курсов по статистике

На посте с курсами по статистике от Филиппа набралось много огонёчков, а это значит, что мы, как и обещали, делимся списком классных курсов по статистике:

1. Основы статистики от Анатолия Карпова – легендарный курс, который закладывает хорошую базу. Если вы ещё не соприкасались со статистикой – вам сюда.
«Рассматриваются подходы к описанию получаемых в исследованиях данных, основные методы и принципы статистического анализа, интерпретация и визуализация получаемых результатов. Слушатели познакомятся с такими методами статистического анализа как дисперсионный, регрессионный и кластерный анализ…»
2. Линейка курсов от Филиппа Ульянкина – про неё мы писали вот в этом посте. Она состоит из трёх курсов:
1)«Сбор и анализ данных в Python»
2)«Математическая статистика и AB-тестирование»
3)«Статистические методы анализа данных»

3. Вероятность и статистика с Глебом Михайловым – позволяет прочуствовать статистику, для начинающих самое то. Глеб показывает на практике в ноутбуке, как работает метод Монте-Карло, ЗБЧ, ЦПТ, что такое p-value и как проводятся A/B тесты
4. Введение в математическую статистику и математическая статистика от Computer Science Club – тут уже нужно знать тервер, матан и линал в объёмах стандартного вузовского курса, если вы новичок, будет сложновато. Но лекции классные, CSC плохого не сделает)

1) Введение в математическую статистику - хоть в описании курса сказано, что он более прикладной, всё равно теории тут тоже немало.
2) Математическая статистика - логическое продолжение вышеупомянутого курса. В описании сказано, что первый курс проходить необязательно, но, конечно, будет проще, если пройти

5. Курс от CSC на Stepic - сложный, но классный курс, нужно знать тервер, матан и Python/R. Научит визуализировать данные; строить оценки неизвестных параметров распределения; проверять гипотезы о законе распределения и параметрах распределения; сравнивать параметры распределений и т. д.
6. Лекции по статистике от МФТИ – классический академический курс статистики от Райгородского

+ Можно поискать курсы от лекторов МГУ
+ Обязательно стоит посмотреть этот очень красивый курс, часто, благодаря визуализациям, полностью осознаёшь, как работает та или иная теорема
+ Если не напрягает английский, гляньте легендарный канал StatQuest

Пишите в комментариях, какие еще курсы стоит включить в эту подборку, и давайте наберём 200 огоньков🔥 под этим постом?)

📏 Продуктовые метрики, ч. 3

В первой части мы рассмотрели несколько самых важных метрик продукта на примере Tinder, во второй части поговорили о том, что такое метрика Полярной звезды. Сегодня рассмотрим один из популярных фреймворков метрик.

Фреймворки – это, по сути, готовые наборы метрик, которые подходят проектам разных типов. Можно использовать их, либо выдумать свои (в конце концов, фреймворки тоже кто-то когда-то разработал).

1. Фреймворк Pirate Metrics (AARRR)
Этот фреймворк основан на маркетинговой воронке основных этапов взаимодействия клиента с продуктом. Она нужна, чтобы разделить работу с пользователем на этапы и отслеживать показатели на каждом из них.

Acquisition – привлечение, клиенту стало интересно, и он оставил свои контакты.
📏 Одна из метрик на этом этапе - процент регистрации посетителей на пробную версию
🧮 (Количество подписок / количество посетителей на странице регистрации) *100

Activation – активация, пользователь осознал ценность продукта и начал им пользоваться
📏 Пример метрики - коэффициент активации
🧮(Количество активированных пользователей / общее количество новых пользователей за период )*100

Retention – удержание, клиент постоянно пользуется продуктом.
📏 Метрика - Churn rate (коэффициент оттока)
🧮 (Кол-во отвалившихся пользователей) / (кол-во пользователей, которые были активны в выбранный день)

Referral – желание рекомендовать.
📏 Пример: NPS – индекс потребительской лояльности
🧮 %«сторонников» - %«критиков»

Revenue – выручка.
📏 Пример: LTV – прибыль от клиента за всё время работы с ним
🧮 (Средняя прибыль от клиента за определенный период) * (Средняя продолжительность сотрудничества)

2. HEART
Этот фреймворк создан в Google, он позволяет отслеживать опыт пользователя (UX, User Experience) по определенным категориям.

Happiness – счастье, отношение пользователя к продукту.
📏 Пример метрики: лёгкость использования продукта

Engagement – вовлечённость, уровень заинтересованности в продукте.
📏 Пример: частота визитов пользователя

Adoption – принятие, использование продукта становится привычкой.
📏 Пример: количество новых подписок

Retention – удержание, пользователь возвращается к продукту.
📏 Пример: количество повторных покупок

Task Success – успех ключевых задач.
📏 Пример: успешный поиск информации

Читайте предыдущие посты на тему метрик (раз и два) и ставьте огонёк под этим постом – сможем набрать 150? 🔥

​​📋 Подборка задачек на теорию вероятностей для подготовки к собеседованию

Обычно на собеседованиях задают не особо сложные задачки на идею, в которых скорее всего не будет объёмных вычислений. Вот подборка из материалов, в которых можно такие задачки найти:

1. Теория вероятностей: культурный код - сборник очень интересных задачек, на большую часть имеются ответы

2. 50 занимательных вероятностных задач с решениями - название говорит само за себя 🙂

3. Листочки с семинаров исследовательского потока факультета экономики ВШЭ, к собеседованиям стоит порешать задачки из начала. Если повезет, то к задаче найдете и решение

4. Книжка для экономистов - для подготовки к собесу стоит порешать задачи из первых глав, а так вся книжка очень годная

5. Севастьянов, сборник задач по теории вероятностей – аналогично, решаем задачи из первых глав, предварительно посмотрев примеры решений

Оставляйте в комментариях свои любимые материалы и ставьте огонёчки на этот пост – давайте наберём 250 🔥 для следующей подборки по терверу?)

🏭 Прокачай своё продуктовое мышление

Часто в требованиях к кандидату-аналитику указывают наличие продуктового мышления. Действительно, чтобы сделать хороший продукт, им должны обладать не только менеджеры продуктов, но и вся команда.

В каких направления нужно развиваться, чтобы прокачать продуктовое мышление?
– Бизнес. Понимать, как работает рынок и ваш бизнес, какая миссия у компании.
– Продукт. Управлять продуктом, понимать особенности/ограничения вашего рынка, изучать потребителей, управлять командой.
– Дизайн. Быть эмпатичным, внедрять дизайн с фокусом на пользователя.
– Технологии. Отслеживать технологические тренды, находить компромисс между дизайном и технологиями.
– Коммуникации. Освоить сторителлинг, уметь презентовать и слушать.

Это всё можно найти в суперских лекциях от Школы менеджеров Яндекса.
Вот некоторые из лучших:
– Behavioral Engineering
– Принятие решений на основе данных
– Аналитика
– Продуктовая аналитика
– Как создавать полезные продукты

Ставьте огоньки 🔥 на этот пост (давайте наберём 150 😁) и обязательно гляньте лекции, они смотрятся на одном дыхании