​​💼 Куда идти работать – в большую корпорацию или в компанию поменьше?

Если вы стоите в начале своей карьеры в Data Science, можете почитать статью Филиппа о «сценариях вкатывания в DS», которой мы делились с вами. В ней был пункт о том, какими бывают компании - от «технологических» до «коробочных».
В этом посте мы хотим рассказать немного плюсов и минусов работы в крупных корпорациях и маленьких компаниях на опыте создателя этого канала 🙂

Крупные компании - это компании с очень хорошо выстроенными процессами (например Яндекс, Сбер, Альфа, x5, VK)
Компаниии меньше - это, как правило, консалтинг/ребята, которые занимаются рекламой, небольшие ритейлеры и т.д.

🦏🏢 Большие компании:
+ Выстроенные процессы (разработки, аналитики, взаимодействия с другими отделами)
+ Коммьюнити из крутых специалистов, от которых можно многое почерпнуть
- Нужно учиться работать с местной инфраструктурой и библиотеками
- Нужно встраиваться в политику крупной корпорации – не всегда понятно к кому с чем можно идти

🤪🏢 Маленькие компании:
+ Много свободы. Как правило, огромное количество незакрытых болей, которые нужно лечить
+ Можно вырасти в большого босса (проще, чем в корпорации), беря на себя больше обязанностей и грамотно их разгребая
+ Если у твоей команды в маленькой компании крутой руководитель, то ты будешь быстро расти вместе с ним
- Бывает такое, что ожидания не оправдываются. Обещают интересные задачи и много ML, а в итоге перекладываешь эксельки
- Невыстроенные процессы. Порой бывают совсем размыты границы отвественности
- Невыстроенная инфраструктура. Часто бывает такое, что даже модельки учат просто на локальных компьютерах

Думаем, что на старте карьеры всё-таки лучше попасть в большую компанию, чтобы нахвататься опыта крутых специалистов, научиться делать красиво, понять, как должны выглядеть хорошие процессы. И, может быть, после этого с полученным опытом стоит пойти в маленькую компанию, чтобы самим делать крутые проекты и внедрять их в бизнес

Но, если у вас по каким-то причинам не получается попасть в большую компанию – не расстраивайтесь, мы лично знаем людей, которые стали мощными синьорами-помидорами, начиная карьеру в маленькой компании. Главное – не бояться брать на себя ответственность и дополнительные обязанности.

Если вам зашёл пост, ставьте палец вверх 👍
И обязательно пишите в комментариях, о чём хотите услышать в следующих постах 🙂

📐 Метрики продукта, роста, эффективности и добавочной ценности

Продолжаем рассказывать про метрики! Напоминаю, что при разработке новых подходов/моделей очень важно задумываться о том, на какие конкретно метрики вы хотите повлиять.

Метрики продукта отвечают на вопросы о самом продукте. Они позволяют понять, как продукт превращает новых пользователей в другие материи — активных пользователей, платящих пользователей, прибыль, заказы, обращения в поддержку.
Например: Retention, LTV, Конверсия

Метрики роста отвечают на вопросы о бизнесе, построенном вокруг продукта. Это производная от метрик продукта и количества новых пользователей, основных рычагов влияния на общий рост бизнеса.
Например: DAU, Прибыль, Количество новых подписчиков

Но выделяют ещё два типа метрик: метрики эффективности решения задачи пользователя и метрики добавочной ценности

В этой публикации на классных примерах рассказывается, что это за метрики, для чего они необходимы и почему на них должна концентрироваться продуктовая команда.
Читайте статью и ставьте сюда огонёчки)🔥

📏 Продуктовые метрики, ч. 1

"Если вы не можете это измерить, вы не сможете это улучшить" - Питер Друкер.

Питер Друкер, основатель современного менеджмента, прав: бизнесу нужны показатели, чтобы понять, движется ли он к успеху или катится в пропасть. Даже если вы только разрабатываете модели, очень важно понимать на какие показатели вы в конечном итоге хотите повлиять. От этого, в частности, может зависеть таргет вашей модели и сетапы дальнейших АВ-тестов.

Давайте рассмотрим несколько важных метрик, которые помогут оценить эффективность бизнеса. Для интереса в пример приведём недавно ушедший из России Tinder 🙂

1️⃣ CAC (Customer Acquisition Cost) - Стоимость привлечения пользователя
❔"Сколько денег требуется, чтобы привлечь нового клиента?"
💡 Зачем нужна: CAC позволяет оценить эффективность маркетинговых затрат по привлечению новых пользователей в приложение.
🔢 Как рассчитать: CAC = (Общая стоимость маркетинговых затрат / Количество привлеченных клиентов)
🌟 Пример: Если Tinder потратил $100 000 на маркетинг и привлек 10 000 новых пользователей, то CAC равен $10.

2️⃣ DAU/MAU (Daily Active Users/Monthly Active Users) - Количество активных пользователей в день/месяц
❔ "Сколько пользователей использует приложение ежедневно/ежемесячно?"
💡 Зачем нужна: DAU/MAU помогает оценить активность пользователей в приложении каждый день/месяц.
🔢 Как рассчитать: Просуммируйте количество уникальных активных пользователей за один день/месяц.
🌟 Пример: Если в приложении Tinder есть 50 000 активных пользователей в день и 500 000 активных пользователей в месяц, то DAU равно 50 000, а MAU равно 500 000.

3️⃣ Retention - Удержание пользователей
❔"Сколько пользователей продолжает использовать приложение со временем?"
💡 Зачем нужна: Retention помогает оценить, насколько успешно приложение удерживает пользователей и сохраняет их активность.
🔢 Как рассчитать: Retention = (Количество пользователей, зашедших в продукт в определенный день / Количество пользователей N дней назад) * 100%
🌟 Пример: Если у Tinder было 1 000 000 пользователей в прошлом месяце, а в текущем - 800 000, то Retention месяца равен 80%.

4️⃣ Churn Rate - Коэффициент оттока
❔"Как быстро приложение теряет своих пользователей?"
💡 Зачем нужна: Churn Rate показывает, какая часть пользователей прекратила использовать приложение за определенный период.
🔢 Как рассчитать: Churn Rate = (Количество пользователей, покинувших приложение за период / Общее количество пользователей за период) * 100%
🌟 Пример: Если у Tinder было 1 000 000 пользователей в начале месяца, а 100 000 из них ушли, то Churn Rate этого месяца равен 10%.

5️⃣ Конверсия - Процент пользователей, совершивших целевое действие
❔Например, "Как хорошо приложение превращает пользователей в клиентов?"
💡 Зачем нужна: Конверсия показывает, насколько эффективно приложение привлекает и удерживает клиентов.
🔢 Как рассчитать: Конверсия = (Количество пользователей, совершивших целевое действие/ Общее количество пользователей) * 100%
🌟 Пример: Если из 1000 пользователей Tinder покупку совершили 100 юзеров, то конверсия в покупку равна 10%.

6️⃣ LTV (Lifetime Value) - Жизненная ценность клиента
❔»Сколько денег принесёт клиент в течение всего времени?»
💡 Зачем нужна: LTV показывает, сколько денег в среднем приносит продукт от одного клиента за всё время сотрудничества.
🔢 Как рассчитать: LTV = (Средняя прибыль от клиента за определенный период) * (Средняя продолжительность сотрудничества)
🌟 Пример: Если в среднем клиент использует Tinder в течение 2 лет, и в этот период он генерирует $200 прибыли, то LTV равно $200.

Кстати, если хотите узнать про метрики подробнее, можно посмотреть классные ролики на эту тему (раз и два)

Давайте набьём 100 сердечек ❤️ под этим постом, и мы сделаем следующую часть продуктовых метрик, в которой расскажем о том, что такое метрика полярной звезды и как её можно найти

Академия Data Science от Тинькофф

Ребята из Тинькофф решили сделать свой университет. И позвали в качестве академического руководителя аж самого Александра Дьяконова, что априори делает программу весьма достойной :)

В университете будут преподавать практикующие специалисты из Тинькофф и не только. Кампус - в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.

Пока что запускается только магистратура. Обучение там платное, но по результатам вступительных можно получить хорошую скидку

Подробнее здесь: https://l.tinkoff.ru/ds_master

​​🏋️‍♀️ Упражнения для продвинутого использования NumPy

В этой подборке вы найдёте 25 упражнений по библиотеке Numpy. Желательно иметь средний уровень знаний Python и NumPy (numpy.dtype, numpy.ndarray.strides и numpy.ndarray.itemsize)

В каждом упражнении есть:
– Вопрос, показанный в виде диаграммы с вводом массива NumPy
– Ответ
– Объяснение
– Код

На картинке пример задачки на пропуск элементов, можно попытаться решить в комментариях 😉

Заглядывайте сюда, чтобы сверить ответ, и оставляйте сердечки под этим постом ❤️

👨‍🏫 Что ботать, чтобы пройти на стажировку аналитиком в Яндекс?

Вообще, на страничке young&&yandex есть полезные ссылки на годные материалы для бота. Давайте дополним их, пройдёмся по каждой теме, которую надо будет выучить, и накидаем полезных материалов:
SQL:
– тренажёр на stepik, дальше первых двух блоков можно не решать, а приступать к пункту ниже
– sql-ex - нарешиваем задачки отсюда
– читаем документацию PostgreSQL
+ можно почитать классную статью с топом прикладных задач

Алгоритмы:
– читаем «Грокаем алгоритмы»
– решаем задачки отсюда, у каждой есть видеоразбор
– решаем алго-задачки с реальных собесов в Яндекс (правда не факт, что на должность аналитика) из этой таблички
– смотрим лекции от Яндекса по тренировкам 2.0 и 3.0

Теорвер:
– курс на stepik от CSC, скорее всего всё отсюда не понадобится, но закладывает хорошую базу
– ищем и решаем задачки на problems.ru
– смотрим посты(раз и два) от Поступашек, материалы под ними и выборочно решаем задачки оттуда
+ любуемся красотой курса с этого поста

Статистика и A/B тесты:
– читаем «Статистику и котиков»
– курс по статистике от CSC на stepik
– очень полезный пост с материалами
– ещё один пост про А/Б тесты с материалами
+ 40-минутный понятный видос про A/B тестирование
+ легендарный канал StatQuest

Ещё:
– можно порешать задачки с coderun
– посмотреть посты с разборами Яндекс Контестов (раз и два)

Давайте наберём 150 огоньков 🔥 под этим постом?)

​​🗄 SQL для аналитики — рейтинг прикладных задач с решениями

«SQL is intergalactic data speak. SQL - это межгалактический язык данных»
- Michael Stonebraker

В этой публикации автор собрал топ прикладных задач для их решения через SQL. Для каждого пункта есть свой кусочек данных и код, в котором автор показывает свой подход к решению той или иной задачи. При желании с кодом можно поиграться на SQL Fiddle

Вот пример задачи: Выбрать самую актуальную запись с учетом статуса (успешная / отмененная транзакция) и временнОй метки
Входные данные на картинке 🖼

Почитайте статью и сравните своё решение с решением автора 🙂

​​Полтора месяца назад я выступал на DataFest - большой конференции от ODS
Вот запись моего выступления с конфы, тут я рассказал:
1. Про аналитику Фудтеха Яндекса и роли в наших командах
2. Про наши аналитические инструменты
3. Про то, как устроен найм и на что мы смотрим при отборе
4. Дал несколько лайфхаков про то, на что обратить внимание при подготовке

Тыкайте огонечек под этим постом и смотрите видос) 🔥

🅰️🅱️ Улучшаем A/B тесты, ч.1

Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас

📍В ней аналитик из команды ценообразования Авито рассказывает:

> Как сделать результаты A/B тестов более интерпретируемыми
(Строить доверительные интервалы и использовать относительные метрики: не +10М руб, pvalue = 0.01, а +20±10% (10М руб.))

> Как провалидировать, что вы можете использовать критерий на ваших данных
(Генерируем большое количество А/А тестов и прогоняем на них наш критерий)

> Как вытаскивать инсайты из серых метрик

> Как работать с выбросами в А/В тестах
(не стоит использовать критерий Манна-Уитни, логарифмирование метрики и удаление топ n% пользователей с максимальной метрикой в тесте и контроле)

🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python

Наберем 50 (100?) пальцев вверх на этом посте? 👍

​​🅰️🅱️ Улучшаем A/B тесты, ч.2

A/B тест состоит из трёх основных этапов:
1. Разделение пользователей на тест и контроль.
2.Активная стадия теста. Пользователи совершают действия, которые мы потом будем анализировать.
3. Анализ результатов. Здесь применяются статистические критерии для подведения итогов теста.

И каждый из этих этапов можно улучшить!

👈 В прошлой части автор рассказывал о том, как провалидировать, можно использовать ли критерий на ваших данных, что можно узнать по серым метрикам и как работать с выбросами в А/В тестах

👉 Во второй части он расскажет:
– Сколько надо держать тест
– Что такое CUPED и как его использовать
– Как вам поможет бутстрап
– Как улучшить статистический критерий с помощью парной стратификации

Если вы прошли курс тервера и матстата и немного дружите с А/В тестами – статья вам понравится, хоть и местами присутствуют страшноватые выкладки🙂

Читаем, и не забываем оставить огонёк под этим постом) 🔥

🎣 Что такое z-score и p-value?

Об этом на примере рыбалки (😁) классно рассказывается вот в этой статье, время прочтения ~20 минут

Главный герой, Антон, решил затестить две удочки; на обе он поймал по 300 экземпляров рыб. Кроме того, для каждой рыбы Антон записывал её вес. Теперь он хочет определить, какая из этих удочек эффективнее…

В статье автор:
– Немного рассказывает о нормальном распределении
– Буквально на рыбах , используя SciPy, показывает, как выглядит центральная предельная теорема в действии
– Рассказывает про z-score и p-value и высчитывает их для приведённого выше примера
– Это всё подкрепляется графиками, построенными с помощью seaborn и кодом к ним. Причем код имхо будет понятен даже новичкам)

Ставим огонечек 🔥 на этот пост (давайте наберём 70?) и отправляемся читать статью🙂

​​📏 Продуктовые метрики, ч. 2

Метрика Полярной звезды (метрика роста) - ключевой показатель успеха для продуктовой команды в компании. Она связывает клиентские боли, которые пытается решить команда разработчиков, и прибыль, которую бизнес стремится получить за счет этого.

🤔 Что из себя представляет хорошая метрика Полярной звезды?
- Она позволяет продуктовой команде понять, на каких моментах стоит сосредоточиться, а какие стоит опустить
- Заставляет команду продукта нести ответственность за результаты
- Измеряет долгосрочный рост компании
- Улучшает пользовательский опыт
- Поддерживает финансовые показатели компании

🤨 Как выявить метрику Полярной звезды?
Вам поможет чек-лист вопросов:
Ценность: Отражает ли эта метрика опыт пользователя в отношении основной ценности продукта?
Aha-Момент: Отражает ли она тот момент, когда пользователи впервые ощущают основную ценность продукта?
Бизнес: Это единственное, что показывает, что бизнес движется в правильном направлении?
Аналитика: Метрика показывает уровень фактического взаимодействия и активности?
Стратегия: Связана ли метрика с долгосрочной ценностью вашего продукта?

Важно!
Недостаточно смотреть только на метрику Полярной звезды, параллельно с ней нужно мониторить ещё и остальные метрики:
Например, основная метрика Спотифай - время прослушивания музыки; если мы уберём рекламу из бесплатной версии, скорее всего, метрика Полярной звезды вырастет, но уменьшится прибыль

Вот вы узнали, что такое метрика Полярной звезды, а теперь попробуйте решить задачку: подумайте и выявите метрику Полярной звезды Google Drive.
(Ответ на задачу можно найти вот в этой статье 🙂)

Давайте наберём 100 огонёчков 🔥 на этом посте, и мы расскажем про фреймворки для выявления метрик 🙂

📑 Классная линейка курсов по прикладной статистике от Филиппа Ульянкина

Если вы не знаете, где изучать матстат – эти курсы точно будут вам полезны 🙂
На ютубе вы можете смотреть лекции и разборы задачек в Jupyter Notebook
А в репозитории курса можно найти материалы к лекциям и ссылочки на задачи для самостоятельного решения

– недели 1-5 относятся к курсу «Сбор и анализ данных в Python»
– недели 6-11 к курсу “Математическая статистика и AB-тестирование”
– недели 12-16 к курсу «Статистические методы анализа данных»

Давайте наберём 180 огоньков 🔥 на этом посте, и мы сделаем большую подборку курсов по статистике :)

​​🅰️🅱️ Топовая книжка про А/B тесты

Про многие аспекты А/B тестов обычно не пишут в учебниках, и один из лучших способов обучения - читать кучу статей по экспериментам.

Но вместо пласта статей можно прочитать книжку, которую сильно рекомендовал Никита Маршалкин в интервью на тему A/B тестов для karpov.courses. (кстати, очень советуем посмотреть)

В ней рассказывают:
— Как выстраивать культуру А/В тестов
— Как их проводить
— Про нетворк-эффекты
— Как оценивать long-term
— В каких случаях какую статистику стоит применять
… и еще кучу полезного

Вот ссылочка на диск с книгой:
читайте и тыкайте огни 🔥 на этот пост (давайте набьем 150?)

​​🏆 Плюсы и минусы участия в соревнованиях на Kaggle

Есть много платформ, на которых вы можете поучаствовать в таких соревнованиях, решая задачки от компаний. Например, Boosters, Numer.ai, Driven Data и другие
Одна из самых известных платформ - Kaggle

➕ Какие плюсы участия в таких соревнованиях?
+ Возможность пощупать данные и порешать реальные задачи
+ Зачастую на соревнованиях разыгрываются довольно большие гонорары
+ Работодатели высоко оценивают чуваков с достижениями на kaggle
+ Соревнуясь с другими людьми, решать задачки становится ещё интересней
+ Можно обрасти классными знакомствами, получить респект в DS коммьюнити

➖ А какие минусы?
– Так как там большие гонорары, есть люди, которые зарабатывают, занимаясь этим профессионально. Это может демотивировать новичка, который выкладывается в соревнованиях на полную, но при этом не получает крутых результатов
– Присутствует момент рандома: в соревнованиях есть две тестовые выборки, и ты делаешь предсказания по обеим, но scores на лидерборде видны только по части выборки. И в момент, когда открывается скрытая часть и становятся видны результаты по всей выборке, если ты был в топе, тебя может выкинуть из него. Это тоже может задизморалить

Есть ребята, которые сильно вкладываются, но имеют небольшие результаты. Но вместе с ними есть ребята, которые нашли себя в соревнованиях на kaggle и получают медальку чуть ли не в каждом соревновании. Наверное, для этого нужен какой-то талант 🙂

Кому стоит участвовать в соревнованиях?
1. Тем, кто начинает свой путь в DS и хочет попрактиковаться на интересных задачках. Но при этом надо понимать, что быстрых побед ждать не стоит
2. Тем, кто готов сильно вкладываться, уделять этому много времени и других ресурсов
3. Тем, кто хочет найти новые знакомства в Data Science сообществе и получить в нём признание

Если тебе понравился этот пост, ставь на него огонёк 🔥 Давайте попробуем набрать 150? (будет круто, если наберётся 200 😊)