Академия Data Science от Тинькофф

Ребята из Тинькофф решили сделать свой университет. И позвали в качестве академического руководителя аж самого Александра Дьяконова, что априори делает программу весьма достойной :)

В университете будут преподавать практикующие специалисты из Тинькофф и не только. Кампус - в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.

Пока что запускается только магистратура. Обучение там платное, но по результатам вступительных можно получить хорошую скидку

Подробнее здесь: https://l.tinkoff.ru/ds_master

​​🏋️‍♀️ Упражнения для продвинутого использования NumPy

В этой подборке вы найдёте 25 упражнений по библиотеке Numpy. Желательно иметь средний уровень знаний Python и NumPy (numpy.dtype, numpy.ndarray.strides и numpy.ndarray.itemsize)

В каждом упражнении есть:
– Вопрос, показанный в виде диаграммы с вводом массива NumPy
– Ответ
– Объяснение
– Код

На картинке пример задачки на пропуск элементов, можно попытаться решить в комментариях 😉

Заглядывайте сюда, чтобы сверить ответ, и оставляйте сердечки под этим постом ❤️

👨‍🏫 Что ботать, чтобы пройти на стажировку аналитиком в Яндекс?

Вообще, на страничке young&&yandex есть полезные ссылки на годные материалы для бота. Давайте дополним их, пройдёмся по каждой теме, которую надо будет выучить, и накидаем полезных материалов:
SQL:
– тренажёр на stepik, дальше первых двух блоков можно не решать, а приступать к пункту ниже
– sql-ex - нарешиваем задачки отсюда
– читаем документацию PostgreSQL
+ можно почитать классную статью с топом прикладных задач

Алгоритмы:
– читаем «Грокаем алгоритмы»
– решаем задачки отсюда, у каждой есть видеоразбор
– решаем алго-задачки с реальных собесов в Яндекс (правда не факт, что на должность аналитика) из этой таблички
– смотрим лекции от Яндекса по тренировкам 2.0 и 3.0

Теорвер:
– курс на stepik от CSC, скорее всего всё отсюда не понадобится, но закладывает хорошую базу
– ищем и решаем задачки на problems.ru
– смотрим посты(раз и два) от Поступашек, материалы под ними и выборочно решаем задачки оттуда
+ любуемся красотой курса с этого поста

Статистика и A/B тесты:
– читаем «Статистику и котиков»
– курс по статистике от CSC на stepik
– очень полезный пост с материалами
– ещё один пост про А/Б тесты с материалами
+ 40-минутный понятный видос про A/B тестирование
+ легендарный канал StatQuest

Ещё:
– можно порешать задачки с coderun
– посмотреть посты с разборами Яндекс Контестов (раз и два)

Давайте наберём 150 огоньков 🔥 под этим постом?)

​​🗄 SQL для аналитики — рейтинг прикладных задач с решениями

«SQL is intergalactic data speak. SQL - это межгалактический язык данных»
- Michael Stonebraker

В этой публикации автор собрал топ прикладных задач для их решения через SQL. Для каждого пункта есть свой кусочек данных и код, в котором автор показывает свой подход к решению той или иной задачи. При желании с кодом можно поиграться на SQL Fiddle

Вот пример задачи: Выбрать самую актуальную запись с учетом статуса (успешная / отмененная транзакция) и временнОй метки
Входные данные на картинке 🖼

Почитайте статью и сравните своё решение с решением автора 🙂

​​Полтора месяца назад я выступал на DataFest - большой конференции от ODS
Вот запись моего выступления с конфы, тут я рассказал:
1. Про аналитику Фудтеха Яндекса и роли в наших командах
2. Про наши аналитические инструменты
3. Про то, как устроен найм и на что мы смотрим при отборе
4. Дал несколько лайфхаков про то, на что обратить внимание при подготовке

Тыкайте огонечек под этим постом и смотрите видос) 🔥

🅰️🅱️ Улучшаем A/B тесты, ч.1

Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас

📍В ней аналитик из команды ценообразования Авито рассказывает:

> Как сделать результаты A/B тестов более интерпретируемыми
(Строить доверительные интервалы и использовать относительные метрики: не +10М руб, pvalue = 0.01, а +20±10% (10М руб.))

> Как провалидировать, что вы можете использовать критерий на ваших данных
(Генерируем большое количество А/А тестов и прогоняем на них наш критерий)

> Как вытаскивать инсайты из серых метрик

> Как работать с выбросами в А/В тестах
(не стоит использовать критерий Манна-Уитни, логарифмирование метрики и удаление топ n% пользователей с максимальной метрикой в тесте и контроле)

🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python

Наберем 50 (100?) пальцев вверх на этом посте? 👍

​​🅰️🅱️ Улучшаем A/B тесты, ч.2

A/B тест состоит из трёх основных этапов:
1. Разделение пользователей на тест и контроль.
2.Активная стадия теста. Пользователи совершают действия, которые мы потом будем анализировать.
3. Анализ результатов. Здесь применяются статистические критерии для подведения итогов теста.

И каждый из этих этапов можно улучшить!

👈 В прошлой части автор рассказывал о том, как провалидировать, можно использовать ли критерий на ваших данных, что можно узнать по серым метрикам и как работать с выбросами в А/В тестах

👉 Во второй части он расскажет:
– Сколько надо держать тест
– Что такое CUPED и как его использовать
– Как вам поможет бутстрап
– Как улучшить статистический критерий с помощью парной стратификации

Если вы прошли курс тервера и матстата и немного дружите с А/В тестами – статья вам понравится, хоть и местами присутствуют страшноватые выкладки🙂

Читаем, и не забываем оставить огонёк под этим постом) 🔥

🎣 Что такое z-score и p-value?

Об этом на примере рыбалки (😁) классно рассказывается вот в этой статье, время прочтения ~20 минут

Главный герой, Антон, решил затестить две удочки; на обе он поймал по 300 экземпляров рыб. Кроме того, для каждой рыбы Антон записывал её вес. Теперь он хочет определить, какая из этих удочек эффективнее…

В статье автор:
– Немного рассказывает о нормальном распределении
– Буквально на рыбах , используя SciPy, показывает, как выглядит центральная предельная теорема в действии
– Рассказывает про z-score и p-value и высчитывает их для приведённого выше примера
– Это всё подкрепляется графиками, построенными с помощью seaborn и кодом к ним. Причем код имхо будет понятен даже новичкам)

Ставим огонечек 🔥 на этот пост (давайте наберём 70?) и отправляемся читать статью🙂

​​📏 Продуктовые метрики, ч. 2

Метрика Полярной звезды (метрика роста) - ключевой показатель успеха для продуктовой команды в компании. Она связывает клиентские боли, которые пытается решить команда разработчиков, и прибыль, которую бизнес стремится получить за счет этого.

🤔 Что из себя представляет хорошая метрика Полярной звезды?
- Она позволяет продуктовой команде понять, на каких моментах стоит сосредоточиться, а какие стоит опустить
- Заставляет команду продукта нести ответственность за результаты
- Измеряет долгосрочный рост компании
- Улучшает пользовательский опыт
- Поддерживает финансовые показатели компании

🤨 Как выявить метрику Полярной звезды?
Вам поможет чек-лист вопросов:
Ценность: Отражает ли эта метрика опыт пользователя в отношении основной ценности продукта?
Aha-Момент: Отражает ли она тот момент, когда пользователи впервые ощущают основную ценность продукта?
Бизнес: Это единственное, что показывает, что бизнес движется в правильном направлении?
Аналитика: Метрика показывает уровень фактического взаимодействия и активности?
Стратегия: Связана ли метрика с долгосрочной ценностью вашего продукта?

Важно!
Недостаточно смотреть только на метрику Полярной звезды, параллельно с ней нужно мониторить ещё и остальные метрики:
Например, основная метрика Спотифай - время прослушивания музыки; если мы уберём рекламу из бесплатной версии, скорее всего, метрика Полярной звезды вырастет, но уменьшится прибыль

Вот вы узнали, что такое метрика Полярной звезды, а теперь попробуйте решить задачку: подумайте и выявите метрику Полярной звезды Google Drive.
(Ответ на задачу можно найти вот в этой статье 🙂)

Давайте наберём 100 огонёчков 🔥 на этом посте, и мы расскажем про фреймворки для выявления метрик 🙂

📑 Классная линейка курсов по прикладной статистике от Филиппа Ульянкина

Если вы не знаете, где изучать матстат – эти курсы точно будут вам полезны 🙂
На ютубе вы можете смотреть лекции и разборы задачек в Jupyter Notebook
А в репозитории курса можно найти материалы к лекциям и ссылочки на задачи для самостоятельного решения

– недели 1-5 относятся к курсу «Сбор и анализ данных в Python»
– недели 6-11 к курсу “Математическая статистика и AB-тестирование”
– недели 12-16 к курсу «Статистические методы анализа данных»

Давайте наберём 180 огоньков 🔥 на этом посте, и мы сделаем большую подборку курсов по статистике :)

​​🅰️🅱️ Топовая книжка про А/B тесты

Про многие аспекты А/B тестов обычно не пишут в учебниках, и один из лучших способов обучения - читать кучу статей по экспериментам.

Но вместо пласта статей можно прочитать книжку, которую сильно рекомендовал Никита Маршалкин в интервью на тему A/B тестов для karpov.courses. (кстати, очень советуем посмотреть)

В ней рассказывают:
— Как выстраивать культуру А/В тестов
— Как их проводить
— Про нетворк-эффекты
— Как оценивать long-term
— В каких случаях какую статистику стоит применять
… и еще кучу полезного

Вот ссылочка на диск с книгой:
читайте и тыкайте огни 🔥 на этот пост (давайте набьем 150?)

​​🏆 Плюсы и минусы участия в соревнованиях на Kaggle

Есть много платформ, на которых вы можете поучаствовать в таких соревнованиях, решая задачки от компаний. Например, Boosters, Numer.ai, Driven Data и другие
Одна из самых известных платформ - Kaggle

➕ Какие плюсы участия в таких соревнованиях?
+ Возможность пощупать данные и порешать реальные задачи
+ Зачастую на соревнованиях разыгрываются довольно большие гонорары
+ Работодатели высоко оценивают чуваков с достижениями на kaggle
+ Соревнуясь с другими людьми, решать задачки становится ещё интересней
+ Можно обрасти классными знакомствами, получить респект в DS коммьюнити

➖ А какие минусы?
– Так как там большие гонорары, есть люди, которые зарабатывают, занимаясь этим профессионально. Это может демотивировать новичка, который выкладывается в соревнованиях на полную, но при этом не получает крутых результатов
– Присутствует момент рандома: в соревнованиях есть две тестовые выборки, и ты делаешь предсказания по обеим, но scores на лидерборде видны только по части выборки. И в момент, когда открывается скрытая часть и становятся видны результаты по всей выборке, если ты был в топе, тебя может выкинуть из него. Это тоже может задизморалить

Есть ребята, которые сильно вкладываются, но имеют небольшие результаты. Но вместе с ними есть ребята, которые нашли себя в соревнованиях на kaggle и получают медальку чуть ли не в каждом соревновании. Наверное, для этого нужен какой-то талант 🙂

Кому стоит участвовать в соревнованиях?
1. Тем, кто начинает свой путь в DS и хочет попрактиковаться на интересных задачках. Но при этом надо понимать, что быстрых побед ждать не стоит
2. Тем, кто готов сильно вкладываться, уделять этому много времени и других ресурсов
3. Тем, кто хочет найти новые знакомства в Data Science сообществе и получить в нём признание

Если тебе понравился этот пост, ставь на него огонёк 🔥 Давайте попробуем набрать 150? (будет круто, если наберётся 200 😊)