​​👨‍🎓 Как изучить SQL самостоятельно?

В этом вам может помочь крутая статья с «дорожной картой» и источниками информации. А чтобы побольше заинтересовать вас, вот первые 10 пунктов оттуда, которые автор советует изучать последовательно, от 1-го к 10-му:
1. Основы реляционных баз данных
2. Основы SQL
3. Сложные SQL-запросы
4. Базовые операции изменения данных
5. Работа с индексами
6. DDL, DML и TCL
7. Настройка производительности
8. Управление правами доступа
9. Процедуры, триггеры и функции
10. Интерфейсы для работы с базой данных

В статье к каждому пункту есть подробное описание и ссылки на материалы – всё, чтобы самостоятельно изучить SQL 😊

🔥Очень по-горчему: прямо сейчас проходит DataFest!
Если кто не слышал, это большая конфа от ODS - крупнейшего ML/DS сообщества в Восточной Европе!
Вот здесь можно посмотреть про все доклады, которые там проходят

А вот здесь сегодня в 16:45 я буду выступать с докладом ‘Кто такие аналитики в Фудтехе Яндекса и как мы их нанимаем’. Приходите послушать, инсайты точно будут 🙂

​​🐼 Клёвая статья про неэффективные паттерны работы в Pandas
Часто у юзеров pandas при использовании библиотеки возникают «плохие привычки» - неэффективные способы работы. В этой статье автор описывает четыре неэффективных паттерна pandas и показывает более эффективные подходы к решению рабочих задач.

Вот паттерны и их лучшие аналоги:
1.❌Использование мутаций (пошаговых изменений объектов DataFrame)
✅ Использование цепочек методов

2. ❌ Применение циклов for и встроенных методов-генераторов при работе с объектами DataFrame
✅ Использование метода .apply / векторизованных операций

3. ❌ Неоправданное использование .apply при работе с большим объемом данных
✅ Использование np.select, np.where и .isin

4. Использование неподходящих типов данных (например, использование строк, а не pandas.Categorical для описания категориальных признаков)

Чтобы понять, почему такие паттерны эффективнее, лучше прочитать саму статью. И оставляйте огоньки под постом, это всегда приятно!🔥

​📄 Как сделать продающее CV
Этим вопросом часто задаются DS’ы/аналитики/разработчики. Секретов и советов повсюду очень много. Но как конкретно это делать всё равно не все понимают.

Мы с ребятами сделали бота на основе ChatGPT, который поможет вам преобразовать основные блоки вашего резюме в более понятные и чёткие.

В бота можно потыкаться тут: @cv_coach_bot
Самое эффективное - присылать ему текущий опыт работы, бот будет его преобразовывать. Примеры - на скринах. Если будет фидбэк (и позитивный, и негативный) - приходите с ним в личку.

Подробнее про проект написали на vc.ru

UPD: запросы обрабатываются чуть дольше обычного из-за пиковых нагрузок

📈 «Корреляция не подразумевает причинно-следственную связь»

Для машинного обучения становятся все более актуальными вопросы причинно-следственного анализа (causal inference) - когда главной целью моделирования является не прогноз и его качество, а то, как мы можем принимать решения на основе нашего алгоритма.

Недавно нашли клёвую статью, в которой рассказывается о причинно-следственном анализе, его методах и применении в машинном обучении. Её классная особенность в том, что практически для каждого утверждения автор приводит хороший пример. Советуем почитать, займёт около 15 минут 🙂

​​🚕 Как в Ситимобил тестируются гипотезы?

Бывает так, что обычные способы A/B тестирования не подходят. Например, из-за несоблюдения главного условия валидности A/B теста – stable unit treatment value assumption, которое говорит, что измененные условия воздействуют только на группу, к которой они были применены, и не воздействуют на пользователей из других групп.

Ребята из Ситимобил 2 года назад написали классную статью о подходе к A/B тестированию, который называется switchback. В ней вы узнаете, в чем заключается суть этого подхода и какие у него преимущества 🙂

Читайте статью и ставьте пальцы вверх, это заряжает на новые посты! 👍

​​☕️ Random-coffee боты для нетворкинга в data science

Концепция random-coffee бота заключается в том, что каждый понедельник он подбирает вам случайную пару из людей, которые так же, как и вы, зарегистрированы в нём. И за неделю надо списаться с человеком и договориться на онлайн-созвон или живую встречу за чашечкой кофе

Какой профит? На встрече вы можете обнаружить общие интересы, поделиться ценными инсайтами и опытом друг с другом. Кто знает, возможно, вы даже найдете партнера для совместной работы над проектом или исследованиями.

Важно писать партнёру первым, потому что чаще всего люди не начинают диалог сами.

🤖 Вот некоторые random-coffee боты:
– @ODS_RCbot - бот сообщества Open Data Science
– @RandomCoffee_Habr_bot, @RHRandomCoffeeBot - кофе-боты для программистов

Ставь огонёчек, если до этого не знал о существовании такой штуки) 🔥

​​🤔 Интуитивное понимание нормального распределения

«Обычный курс теории вероятностей проходит следующим образом. Сначала вам даются понятные и относительно простые концепции. Все легко объясняется "на пальцах": подбрасывание монеток, красные и белые шары в урнах, кролики в клетках и так далее.

Но в следующей теме вас бросают в яму к монстру в виде формулы нормального распределения»

У Бориса есть классная статья, в которой он препарирует нормальное распределение, показывая, что даже такую, на первый взгляд сложную формулу, можно понять интуитивно.

За ~10 минут статья даст понять, какая часть формулы за что отвечает, что связывает её с формулой биномиального распределения, и как можно вывести нормальное распределение самим 🙂

Если было полезно, не забывайте ставить пальцы вверх) 👍

​​💻 Валидация моделей машинного обучения

«Иногда термин «валидация» ассоциируется с вычислением одной точечной статистической метрики (например, ROC AUC) на отложенной выборке данных. Однако такой подход может привести к ряду ошибок.»

Вот в этой статье ребята на примере моделей из финансового сектора рассказывают:
– минусы валидации как вычисления одной точечной статистической метрики на отложенной выборке данных
– на каком этапе жизненного цикла модели проводится валидация
– какие метрики применяются при валидации и с какой целью
– почему необходимо использовать не только количественные, но и качественные метрики

Время прочтения - около 20 минут
Читайте и оставляйте огонёчки под этим постом) 🔥

🏷 Оптимизация цен в Яндекс. Маркете

«Большая часть бизнесов думают о прибыли, и поэтому для достижения той или иной бизнес-цели задача формулируется как:
Зная кривые спроса для всех товаров, найти такие цены, которые максимизируют совокупную прибыль.»

Нашли классную статью, в которой рассказывается про задачу вычисления оптимальных цен и то, как её решали в Яндекс Маркете.

За 30-40 минут вам расскажут:
🧐 Как интерпретировать кривые спроса:
– Что такое эластичность
– Что называют товарами-паровозами, товарами-магнитами и т. д.
📈 Как получить получить кривую спроса с помощью машинного обучения:
– Как готовить данные для обучения
– Какие фичи использовать
– Какие метрики качества использовать
👨‍💻Как использовать кривую спроса:
– В решении задачи максимизации прибыли
– В решении задачи баланса оборота и прибыли

Несмотря на местами сложноватые выкладки, статья будет интересна как новичкам, так и более опытным дата-сайентистам 🙂

​​💼 Куда идти работать – в большую корпорацию или в компанию поменьше?

Если вы стоите в начале своей карьеры в Data Science, можете почитать статью Филиппа о «сценариях вкатывания в DS», которой мы делились с вами. В ней был пункт о том, какими бывают компании - от «технологических» до «коробочных».
В этом посте мы хотим рассказать немного плюсов и минусов работы в крупных корпорациях и маленьких компаниях на опыте создателя этого канала 🙂

Крупные компании - это компании с очень хорошо выстроенными процессами (например Яндекс, Сбер, Альфа, x5, VK)
Компаниии меньше - это, как правило, консалтинг/ребята, которые занимаются рекламой, небольшие ритейлеры и т.д.

🦏🏢 Большие компании:
+ Выстроенные процессы (разработки, аналитики, взаимодействия с другими отделами)
+ Коммьюнити из крутых специалистов, от которых можно многое почерпнуть
- Нужно учиться работать с местной инфраструктурой и библиотеками
- Нужно встраиваться в политику крупной корпорации – не всегда понятно к кому с чем можно идти

🤪🏢 Маленькие компании:
+ Много свободы. Как правило, огромное количество незакрытых болей, которые нужно лечить
+ Можно вырасти в большого босса (проще, чем в корпорации), беря на себя больше обязанностей и грамотно их разгребая
+ Если у твоей команды в маленькой компании крутой руководитель, то ты будешь быстро расти вместе с ним
- Бывает такое, что ожидания не оправдываются. Обещают интересные задачи и много ML, а в итоге перекладываешь эксельки
- Невыстроенные процессы. Порой бывают совсем размыты границы отвественности
- Невыстроенная инфраструктура. Часто бывает такое, что даже модельки учат просто на локальных компьютерах

Думаем, что на старте карьеры всё-таки лучше попасть в большую компанию, чтобы нахвататься опыта крутых специалистов, научиться делать красиво, понять, как должны выглядеть хорошие процессы. И, может быть, после этого с полученным опытом стоит пойти в маленькую компанию, чтобы самим делать крутые проекты и внедрять их в бизнес

Но, если у вас по каким-то причинам не получается попасть в большую компанию – не расстраивайтесь, мы лично знаем людей, которые стали мощными синьорами-помидорами, начиная карьеру в маленькой компании. Главное – не бояться брать на себя ответственность и дополнительные обязанности.

Если вам зашёл пост, ставьте палец вверх 👍
И обязательно пишите в комментариях, о чём хотите услышать в следующих постах 🙂

📐 Метрики продукта, роста, эффективности и добавочной ценности

Продолжаем рассказывать про метрики! Напоминаю, что при разработке новых подходов/моделей очень важно задумываться о том, на какие конкретно метрики вы хотите повлиять.

Метрики продукта отвечают на вопросы о самом продукте. Они позволяют понять, как продукт превращает новых пользователей в другие материи — активных пользователей, платящих пользователей, прибыль, заказы, обращения в поддержку.
Например: Retention, LTV, Конверсия

Метрики роста отвечают на вопросы о бизнесе, построенном вокруг продукта. Это производная от метрик продукта и количества новых пользователей, основных рычагов влияния на общий рост бизнеса.
Например: DAU, Прибыль, Количество новых подписчиков

Но выделяют ещё два типа метрик: метрики эффективности решения задачи пользователя и метрики добавочной ценности

В этой публикации на классных примерах рассказывается, что это за метрики, для чего они необходимы и почему на них должна концентрироваться продуктовая команда.
Читайте статью и ставьте сюда огонёчки)🔥

📏 Продуктовые метрики, ч. 1

"Если вы не можете это измерить, вы не сможете это улучшить" - Питер Друкер.

Питер Друкер, основатель современного менеджмента, прав: бизнесу нужны показатели, чтобы понять, движется ли он к успеху или катится в пропасть. Даже если вы только разрабатываете модели, очень важно понимать на какие показатели вы в конечном итоге хотите повлиять. От этого, в частности, может зависеть таргет вашей модели и сетапы дальнейших АВ-тестов.

Давайте рассмотрим несколько важных метрик, которые помогут оценить эффективность бизнеса. Для интереса в пример приведём недавно ушедший из России Tinder 🙂

1️⃣ CAC (Customer Acquisition Cost) - Стоимость привлечения пользователя
❔"Сколько денег требуется, чтобы привлечь нового клиента?"
💡 Зачем нужна: CAC позволяет оценить эффективность маркетинговых затрат по привлечению новых пользователей в приложение.
🔢 Как рассчитать: CAC = (Общая стоимость маркетинговых затрат / Количество привлеченных клиентов)
🌟 Пример: Если Tinder потратил $100 000 на маркетинг и привлек 10 000 новых пользователей, то CAC равен $10.

2️⃣ DAU/MAU (Daily Active Users/Monthly Active Users) - Количество активных пользователей в день/месяц
❔ "Сколько пользователей использует приложение ежедневно/ежемесячно?"
💡 Зачем нужна: DAU/MAU помогает оценить активность пользователей в приложении каждый день/месяц.
🔢 Как рассчитать: Просуммируйте количество уникальных активных пользователей за один день/месяц.
🌟 Пример: Если в приложении Tinder есть 50 000 активных пользователей в день и 500 000 активных пользователей в месяц, то DAU равно 50 000, а MAU равно 500 000.

3️⃣ Retention - Удержание пользователей
❔"Сколько пользователей продолжает использовать приложение со временем?"
💡 Зачем нужна: Retention помогает оценить, насколько успешно приложение удерживает пользователей и сохраняет их активность.
🔢 Как рассчитать: Retention = (Количество пользователей, зашедших в продукт в определенный день / Количество пользователей N дней назад) * 100%
🌟 Пример: Если у Tinder было 1 000 000 пользователей в прошлом месяце, а в текущем - 800 000, то Retention месяца равен 80%.

4️⃣ Churn Rate - Коэффициент оттока
❔"Как быстро приложение теряет своих пользователей?"
💡 Зачем нужна: Churn Rate показывает, какая часть пользователей прекратила использовать приложение за определенный период.
🔢 Как рассчитать: Churn Rate = (Количество пользователей, покинувших приложение за период / Общее количество пользователей за период) * 100%
🌟 Пример: Если у Tinder было 1 000 000 пользователей в начале месяца, а 100 000 из них ушли, то Churn Rate этого месяца равен 10%.

5️⃣ Конверсия - Процент пользователей, совершивших целевое действие
❔Например, "Как хорошо приложение превращает пользователей в клиентов?"
💡 Зачем нужна: Конверсия показывает, насколько эффективно приложение привлекает и удерживает клиентов.
🔢 Как рассчитать: Конверсия = (Количество пользователей, совершивших целевое действие/ Общее количество пользователей) * 100%
🌟 Пример: Если из 1000 пользователей Tinder покупку совершили 100 юзеров, то конверсия в покупку равна 10%.

6️⃣ LTV (Lifetime Value) - Жизненная ценность клиента
❔»Сколько денег принесёт клиент в течение всего времени?»
💡 Зачем нужна: LTV показывает, сколько денег в среднем приносит продукт от одного клиента за всё время сотрудничества.
🔢 Как рассчитать: LTV = (Средняя прибыль от клиента за определенный период) * (Средняя продолжительность сотрудничества)
🌟 Пример: Если в среднем клиент использует Tinder в течение 2 лет, и в этот период он генерирует $200 прибыли, то LTV равно $200.

Кстати, если хотите узнать про метрики подробнее, можно посмотреть классные ролики на эту тему (раз и два)

Давайте набьём 100 сердечек ❤️ под этим постом, и мы сделаем следующую часть продуктовых метрик, в которой расскажем о том, что такое метрика полярной звезды и как её можно найти

Академия Data Science от Тинькофф

Ребята из Тинькофф решили сделать свой университет. И позвали в качестве академического руководителя аж самого Александра Дьяконова, что априори делает программу весьма достойной :)

В университете будут преподавать практикующие специалисты из Тинькофф и не только. Кампус - в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.

Пока что запускается только магистратура. Обучение там платное, но по результатам вступительных можно получить хорошую скидку

Подробнее здесь: https://l.tinkoff.ru/ds_master

​​🏋️‍♀️ Упражнения для продвинутого использования NumPy

В этой подборке вы найдёте 25 упражнений по библиотеке Numpy. Желательно иметь средний уровень знаний Python и NumPy (numpy.dtype, numpy.ndarray.strides и numpy.ndarray.itemsize)

В каждом упражнении есть:
– Вопрос, показанный в виде диаграммы с вводом массива NumPy
– Ответ
– Объяснение
– Код

На картинке пример задачки на пропуск элементов, можно попытаться решить в комментариях 😉

Заглядывайте сюда, чтобы сверить ответ, и оставляйте сердечки под этим постом ❤️

👨‍🏫 Что ботать, чтобы пройти на стажировку аналитиком в Яндекс?

Вообще, на страничке young&&yandex есть полезные ссылки на годные материалы для бота. Давайте дополним их, пройдёмся по каждой теме, которую надо будет выучить, и накидаем полезных материалов:
SQL:
– тренажёр на stepik, дальше первых двух блоков можно не решать, а приступать к пункту ниже
– sql-ex - нарешиваем задачки отсюда
– читаем документацию PostgreSQL
+ можно почитать классную статью с топом прикладных задач

Алгоритмы:
– читаем «Грокаем алгоритмы»
– решаем задачки отсюда, у каждой есть видеоразбор
– решаем алго-задачки с реальных собесов в Яндекс (правда не факт, что на должность аналитика) из этой таблички
– смотрим лекции от Яндекса по тренировкам 2.0 и 3.0

Теорвер:
– курс на stepik от CSC, скорее всего всё отсюда не понадобится, но закладывает хорошую базу
– ищем и решаем задачки на problems.ru
– смотрим посты(раз и два) от Поступашек, материалы под ними и выборочно решаем задачки оттуда
+ любуемся красотой курса с этого поста

Статистика и A/B тесты:
– читаем «Статистику и котиков»
– курс по статистике от CSC на stepik
– очень полезный пост с материалами
– ещё один пост про А/Б тесты с материалами
+ 40-минутный понятный видос про A/B тестирование
+ легендарный канал StatQuest

Ещё:
– можно порешать задачки с coderun
– посмотреть посты с разборами Яндекс Контестов (раз и два)

Давайте наберём 150 огоньков 🔥 под этим постом?)

​​🗄 SQL для аналитики — рейтинг прикладных задач с решениями

«SQL is intergalactic data speak. SQL - это межгалактический язык данных»
- Michael Stonebraker

В этой публикации автор собрал топ прикладных задач для их решения через SQL. Для каждого пункта есть свой кусочек данных и код, в котором автор показывает свой подход к решению той или иной задачи. При желании с кодом можно поиграться на SQL Fiddle

Вот пример задачи: Выбрать самую актуальную запись с учетом статуса (успешная / отмененная транзакция) и временнОй метки
Входные данные на картинке 🖼

Почитайте статью и сравните своё решение с решением автора 🙂

​​Полтора месяца назад я выступал на DataFest - большой конференции от ODS
Вот запись моего выступления с конфы, тут я рассказал:
1. Про аналитику Фудтеха Яндекса и роли в наших командах
2. Про наши аналитические инструменты
3. Про то, как устроен найм и на что мы смотрим при отборе
4. Дал несколько лайфхаков про то, на что обратить внимание при подготовке

Тыкайте огонечек под этим постом и смотрите видос) 🔥

🅰️🅱️ Улучшаем A/B тесты, ч.1

Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас

📍В ней аналитик из команды ценообразования Авито рассказывает:

> Как сделать результаты A/B тестов более интерпретируемыми
(Строить доверительные интервалы и использовать относительные метрики: не +10М руб, pvalue = 0.01, а +20±10% (10М руб.))

> Как провалидировать, что вы можете использовать критерий на ваших данных
(Генерируем большое количество А/А тестов и прогоняем на них наш критерий)

> Как вытаскивать инсайты из серых метрик

> Как работать с выбросами в А/В тестах
(не стоит использовать критерий Манна-Уитни, логарифмирование метрики и удаление топ n% пользователей с максимальной метрикой в тесте и контроле)

🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python

Наберем 50 (100?) пальцев вверх на этом посте? 👍

​​🅰️🅱️ Улучшаем A/B тесты, ч.2

A/B тест состоит из трёх основных этапов:
1. Разделение пользователей на тест и контроль.
2.Активная стадия теста. Пользователи совершают действия, которые мы потом будем анализировать.
3. Анализ результатов. Здесь применяются статистические критерии для подведения итогов теста.

И каждый из этих этапов можно улучшить!

👈 В прошлой части автор рассказывал о том, как провалидировать, можно использовать ли критерий на ваших данных, что можно узнать по серым метрикам и как работать с выбросами в А/В тестах

👉 Во второй части он расскажет:
– Сколько надо держать тест
– Что такое CUPED и как его использовать
– Как вам поможет бутстрап
– Как улучшить статистический критерий с помощью парной стратификации

Если вы прошли курс тервера и матстата и немного дружите с А/В тестами – статья вам понравится, хоть и местами присутствуют страшноватые выкладки🙂

Читаем, и не забываем оставить огонёк под этим постом) 🔥

🎣 Что такое z-score и p-value?

Об этом на примере рыбалки (😁) классно рассказывается вот в этой статье, время прочтения ~20 минут

Главный герой, Антон, решил затестить две удочки; на обе он поймал по 300 экземпляров рыб. Кроме того, для каждой рыбы Антон записывал её вес. Теперь он хочет определить, какая из этих удочек эффективнее…

В статье автор:
– Немного рассказывает о нормальном распределении
– Буквально на рыбах , используя SciPy, показывает, как выглядит центральная предельная теорема в действии
– Рассказывает про z-score и p-value и высчитывает их для приведённого выше примера
– Это всё подкрепляется графиками, построенными с помощью seaborn и кодом к ним. Причем код имхо будет понятен даже новичкам)

Ставим огонечек 🔥 на этот пост (давайте наберём 70?) и отправляемся читать статью🙂