Exploratory Data Analysis - часто самая загадочная и непонятная часть в анализе данных. Всем рекомендую посмотреть видео Александра Дьяконова, в которых он делает EDA для нескольких датасетов:
Хакатон МКБ: https://youtu.be/LDSMqYSE1vI
Google Brain - Ventilator Pressure Prediction: https://youtu.be/3Ri0l9hhlmM

P.S. Если кто не знает - у Александра есть канал, там много полезностей можно найти 🙂

Статья про то, почему быть крутым специалистом и хорошо проходить собеседования - не одно и то же:

https://habr.com/ru/company/itsumma/blog/597561/

Продолжаем серию постов про специфику задач в различных областях.
Меня тут очень занесло и я зачитался про то, как под капотом работает Я.Такси.
Многие статьи старые (2018-2019), но ключевые задачи у ребят наверняка сохранились.

Что происходит, когда вы делаете заказ: https://vc.ru/yandex.go/40971-pod-kapotom-yandeks-taksi
[Eng] Machine Learning for the Win: https://medium.com/@underthehood21/machine-learning-for-the-win-7fad19f0e358
[ENG] How Yandex.Taxi Algorithms Steer Drivers To Higher Earnings: https://medium.com/swlh/how-yandex-taxi-algorithms-steer-drivers-to-higher-earnings-e683c3feb3eb
Динамическое ценообразование: https://habr.com/ru/company/yandex/blog/429226/
Прогноз времени подачи авто: https://habr.com/ru/company/yandex/blog/431196/
Доставка через такси: https://vc.ru/yandex.go/127822-vash-zakaz-dostavit-yandeks-taksi
Про историю приложения: https://vc.ru/yandex.go/312161-ot-spiska-taksoparkov-do-superappa

🔥🔥🔥 Летим дальше: Advanced Career in DS.

За последнее время я познакомился с крутыми ребятами, которые ведут свои блоги: Время Валеры, Data Feeling, Нескучный Data Science, Модель для сборки

Блоги (как и их авторы) очень крутые, их объединяет одно: они пишут про жизнь, свои реальные задачи, проблемы и способы их решения. Мне тоже есть что рассказать :)
Решил оставить SCIDS супер-сборником материалов по всем ключевым аспектам DS и сделать его продолжение.
Там будет больше замёток из жизни и мыслей относительно менеджмента, развития команд, больше серьёзных технических тем, да и просто жизни :)
Уже написал пару постов: Про теорию Жоп и про то, почему важно периодически сваливать куда-нибудь подальше.

Подписывайтесь, будет круто: https://news.1rj.ru/str/advanced_ds

Что делать если вы накосячили при работе с гитом?
Вот тут есть ответы на ряд вопросов, которые обычно задают в полуистерике:
- ****, я накосячил, где у git волшебная машина времени!?!
- ****, я закоммитил и вспомнил, что кое-что забыл!
- ****, мне нужно изменить сообщение моего последнего коммита!
- ****, я случайно закоммитил что-то в мастер, хотя это должно быть в новой ветке!
- ****, я случайно закоммитил не в ту ветку!
- ****, я пытаюсь открыть diff, но ничего не происходит?!
- ****, мне нужно отменить коммит, который был 5 коммитов назад!
- ****, мне нужно отменить изменения в файле!
- В **** всё, я сдаюсь.

У ребят есть дипломатичная версия: https://dangitgit.com/ru
И не очень дипломатичная: https://ohshitgit.com/ru

​Бесплатные (официально бесплатные!!!) курсы Я.Практикума

​Для тех, кто в начале пути:
1. https://practicum.yandex.ru/career-advisor/ - Курс по выбору профессии в IT. Тут вам наконец расскажут чем отличается аналитик данных от Data Scientist'а, зачем нужны продакты и какие вообще профессии есть
2. https://practicum.yandex.ru/math-foundations/ - Основы математики для цифровых профессий. Бесплатный тренажёр

Прокачать текущие навыки, подготовиться к собеседованиям:
1. https://practicum.yandex.ru/algorithms-interview/ - Подготовка к алго-интервью. Этот курс выделяю жирным, т.к. я его сам прошёл, мне очень зашло.
2. https://practicum.yandex.ru/ycloud - Курс «Инженер облачных сервисов», заточен на Яндексовые сервисы: Yandex.Cloud, Yandex DataLens
3. https://practicum.yandex.ru/excel-for-work/ - Excel для работы. от самой базы до заморочных ВПРов и хитрых функций. Excel многие очень не любят, но делать быстрые расчёты на коленке и крутить данные (если их объём позволяет) очень удобно.
4. https://practicum.yandex.ru/visual-presentation/ - Создание красивых презентаций. курс относительно короткий, по основам грамотного донесения информации. Примечательно, что его автор - Максим Ильяхов, автор достаточно известных книжек "Пиши, сокращай" и "Новые правила деловой переписки".

Естественно там везде есть реклама платных курсов Практикума внутри, но на мой взгляд не слишком навязчивая.
И курсы реально полноценные. То есть на курсе по выбору IT-профессии реально подробно рассказывают про ключевые профессии. А после курса по подготовке к алго-интервью можно идти и вполне осознанно нарешивать литкод. Это звучит очевидно, но есть куча курсов, цель у которых просто затащить вас заплатить денег. Тут не так

Про навыки аналитиков на разных уровнях

В этой статье рассказывается про роль аналитика данных и грейды в Яндексе.
Мне очень понравилось что в ней есть и собранные в табличку ключевые навыки (см. файл), и подробно расписанные скиллы как для аналитиков, так и для руководителей.

По ней можно:
1. Понять чем занимаются аналитики
2. Понять стандартную структуру грейдов

#SQL и #Pandas очень похожи. Настолько, что если вы знаете одно, то научиться писать на другом сможете буквально за день 🙂

К слову, если вы работаете бизнес-аналитиком/аналитиком (который использует Excel/SQL), то научиться работать на Pandas - самое первое что вам стоит сделать. Потому что это во-первых будет просто для вас, а во вторых - вы сможете быстро понять, почему крутить данные в питоне сильно быстрее и удобнее.

Классная статья, в которой проводятся аналогии между SQL и Pandas запросами (своего рода словарик):
https://tproger.ru/translations/rewrite-sql-queries-in-pandas/

Про прогноз спроса в ритейле 🛒

Одна из самых важных и денежных задач в ритейле - предсказание спроса. Именно проекты связанные со спросом часто бывают ключевыми в работе DS команд крупнейших игроков рынка.
Причём спрос как таковой можно прогнозировать как для первостепенной цели - автопополнения распределительных центров/торговых точек, так и для косвенных. К примеру, можно построить зависимость спроса от цен (фактически, усложнённую эластичность) и таким образом управлять ценообразованием, чтобы максимизировать ожидаемую выручку. Либо же строить зависимость спроса от ассортимента и формировать ассортимент, который будет максимизировать спрос.

Подборка материалов, которые помогут разобраться в теме:
1. Прогноз спроса для промо акций в Магните: часть 1 (более бизнесовая) и часть 2 (более техническая). Ребята выиграли несколько премий в этом году, так что знают о чём говорят 🙂
2. Доклад про предсказание спроса от ребят из Rubbles и х5. Есть ещё один от Саши Фонарёва, более подробный. Оба скорее бизнесовые.
3. #кудажебезвалеры Валерий Бабушкин про предсказание спроса в х5 (но обратите внимание что видео от 2020 года, часть инфы устарела). Тут есть.и про признаки, и про построение непосредственно моделей.
4. Евгений Бурнаев: Топологический анализ временных рядов для прогнозирования спроса
5. Топовый вебинар Богдана Печёнкина по ценообразованию (тут есть модели спроса и целый блок про признаки)
6. Доклад Максима Гончарова про управление ассортиментом на основе моделей спроса
7. Учебное соревнование по прогнозу продаж на Kaggle. А ещё есть соренование от Walmart и от Favorita.
Здесь в ноутбуках можно найти примеры применения различных подходов.

За помощь в создании подборки большое спасибо Максиму

🔥🔥🔥 Интервью с Александром Дьяконовым!

Обсудили в нём ряд интересных вопросов, в частности:
- Что было в первых требования к Data Scientist’у в России?
- Зачем учить то, что не используется в проде (теорию)?
- Как отличить качественные курсы от не очень качественных?
- Что ждёт аналитику и глубокое обучение в будущем?

https://youtu.be/0sa8XT0oC9o

​Подборка ресурсов по математике для Data Science:

Уровни:
⭐️ - закончил универ сто лет назад, ничего не помню
⭐️⭐️ - знаю и помню базу (матан, линал, тервер, матстат)
⭐️⭐️⭐️ - хорошо разбираюсь в высшей математике, хочу поднатаскать специфические для DS темы

⭐️Наглядный разбор теории в серии «X для чайников»: что такое вектор, как считать производную, матричные уравнения и т.д.
⭐️Материалы с лекций и семинаров ВМК МГУ от «Ёжика в матане»: VK, YouTube. Тут можете спокойно начинать с лекций и семинаров Никитина по математическому анализу, их читают в самом начале

⭐️⭐️ Хорошие задачки с подробным разбором решений на Матбюро: линейная алгебра, теория вероятностей, математическая статистика.
⭐️⭐️Курс Райгородского «Основы теории вероятностей». Тут наглядно и на пальцах объясняются базовые аспекты
⭐️⭐️ [Eng] Курс «Matrix Methods in Data Analysis, Signal Processing, and Machine Learning», в нём есть вся ключевая математика для DS

⭐️⭐️⭐️[Eng] Сборник задач и теории по базовой математике (линейная алгебра, оптимизация, графы) и машинному обучению:
Pen and Paper Exercises in Machine Learning
⭐️⭐️⭐️[Eng] Книга «Математика для Data Science»: https://mml-book.github.io/

Если кто не слышал, у Глеба Михайлова есть классный видос по всему базовому питону и инструментам анализа данных: https://youtu.be/dd3RcafdOQk

Глеб делает крутой контент, например у него есть марафон по LeetCode, разборы тестовых заданий, гайд по гиту и много чего ещё 🙂

Канал в tg, канал на Youtube

​🐍 Python для анализа данных.
Я тут понял, что в канале не было материалов по изучению питона для новичков.
После ухода курсеры стало совсем печально (раньше часто ссылались на курс от Яндекса и МФТИ).

Перерыл кучу материалов, кажется, вот этот ресурс один из лучших: https://dfedorov.spb.ru/python3/
Тут и базовый Python, и азы библиотек для анализа данных. На скрине приведён скрин части лекций из него :)

А по чему вы изучали/изучаете Python?

🎓Ребята из DL School стартуют осенний поток!
Школа очень хорошая тем, что:
1. Подходит новичкам. Всё начинается с основ Python и базовой математики;
2. Разгояется достаточно быстро. К концу первого курса вы уже зарешаете несколько соревнований на Kaggle (с картинками!);
3. Преподаватели супер-бодрые, их очень приятно слушать;
4. Фактически, это вполне годная бесплатная альтернатива платным курсам.

Я в своё время проходил, всем очень рекомендую 🙂
https://news.1rj.ru/str/dl_stories/574

📊 Гайд по #Matplotlib.
Не знаю как вы, но я первое время очень страдал при работе с этим зверем. Причём помню как первое время несколько раз садился разбираться c ним, но в итоге всё сводилось к “да пофиг, скопирую со стековерфлоу, работает же”. Но вот когда нужно было добавить новые элементы диаграмм, жизнь превращалась в ад... То оси поменяются местами, то всё слепится в одну непонятную массу, то ещё что-то. В конце концов я просто сел и потратил день на чтение доки.

Но сейчас я бы лучше пробежался по вот такому гайду: https://devpractice.ru/matplotlib-lessons/
Ключевые разделы:
- Я новичок. Можно попроще? - Про ключевые типы графиков
- Основные компоненты matplotlib - Про то, как управлять подписями на осях, размерами и расположением визуализаций
- Как строить графики? - Про продвинутые (в каком-то смысле) типы графиков 🙂


P.S. На картинке реальный график с первых дней моей стажировки, которая была уже давно-давно 🙂

🧑‍💻 Подготовка к собеседованиям

Один из лучших способов подготовиться к интервью - попробовать поставить себя на место кандидата заранее.
В этом могут здорово помочь открытые собседования на ютубе. Подготовили для вас подборку из них.

Для джунов
1. Ключевые блоки: Python, A/B-тесты, Работа с данными (SQL+Pandas), ML алгоритмы
Junior Data Scientist | Собеседование | karpov.courses
2. Ключевые блоки: Python, SQL, ML и работа с данными, статистика
Типичное собеседование #1. Позиция Junior Data Scientist. Accepted!
3. Собеседование на работу с данными c помощью Python и SQL (проводит сам Анатолий Карпов!):
Junior аналитик данных | Собеседование | karpov.courses

Для мидлов
1. Двухсерийная версия: по ML Design и Python
Middle Data Scientist | Выпуск 1. Секция ML | Собеседование | karpov.courses
Middle Data Scientist | Часть 2. Секция Python и работы с данными | Собеседование | karpov.courses
2. Ключевые блоки: Теория вероятностей, SQL, ML, бизнес-кейс
Собеседование на Middle Data Scientist | #Нанято S1E01RU
3. Не совсем формат собеседования, но вопросы хорошие.
Ключевые блоки: Python, SQL, статистика, ML
100 Data Science вопросов мидлу! Парень c Физтеха проходит собеседование

​📊 [ENG] Очень красивый курс по базовой теории вероятностей и статистике:
https://seeing-theory.brown.edu/
Тут фактически ускоренное введение в предметную область, которое позволит вам быстро понять ключевые идеи и термины.

Много супер-наглядных визуализаций. Даже если считаете что шарите в статистике - советую потыкаться и получить эстетическое удовлетворение.
Мне понравились визуализации базовых понятий (мат. ожидание, дисперсия, функция распределения, условная вероятность и т.д.). Если они всегда вас пугали или настораживали - рекомендую посмотреть курс.

Yandex Cup 🏆

Сегодня старовала аналитическая секция Yandex Cup, в организации которой я принимаю участие. Там интересные и разнообразные задачки, точно будет над чем подумать 🙂

Можно как минимум порешать задачки и подготовиться к собеседованиям, как максимум - выиграть денег (1 место = 300к) и пройти в Яндекс по упрощённой схеме

https://yandex.ru/cup/analytics/

Про математику в DS: https://habr.com/ru/company/yandex_praktikum/blog/697092/

В статье много полезной инфы про конкретные наборы навыков и даже примеры конкретных задачек на разные грейды

Несколько клёвых курсов от Академии Яндекса.
В питоне формат теория+задачки, в ML - чисто теория с примерами кода.

1. Основы Python. От стандартного ввода-вывода до библиотек для анализа данных. "не потребуется специальной подготовки — достаточно знаний по информатике, логике и математики на уровне школьной программы."
2. Машинное обучение, но это будто бы перемещённый и структурированный учебник ШАДа по ML. Имхо он местами чересчур глубок, но всё равно очень крут.

Тыкайте 🔥 под постами!
Это мотивирует искать лучшие материалы для вас 🙂

🎞 Интервью от Start Career in DS!
Недавно поговорил с подписчикам и понял, что не все знают про наш YouTube канал с интервью! А они очень клёвые 🙂

1. Александр Дьяконов - про зарождение DS в России, особенности образования и будущее анализа данных
2. Валерий Бабушкин - про работу в России, в Яндексе, FAANG и важность софт-скиллов
3. Анатолий Карпов - про образование (бесплатное и платное!) и ключевые компетенции аналитика
4. Андрей Лукьяненко - про переход из консалтинга в DS, Kaggle-грандмастерство и антивыгорание
5. Николай Валиотти - про создание своей аналитической компании и роли в анализе данных
6. Иван Кобзев - про то, как из разработки прийти в Яндекс мидлом+