​​Здорова, пацаны

Короче тема такая, каждое второе сообщение у меня в личке, это что-то вроде: «хорош ли курс %name%». Это отличный вопрос, обязательно напишите мне или кому-то типа меня перед тем как покупать курс за хуево-тутуево кэша.
Но вот в чем дело, я никогда не посоветую курс, который сам хотя бы не смотрел, а они плодятся со скоростью света. В таких ситуациях, советую взять что-то проверенное. Потому что база у МЛ одна, ничего сверхъестественного там не расскажут.
Конечно иногда на меня накатывает волна филантропии, тогда я даю шанс непроверенным продуктам (как ты в ашане) и покупаю их. Но пока что меня ждал сплошной пиздец.
Тем более, у нас уже выделено 3 программы по классик МЛ, которые с головой покрывают базовый объем информации, как теоретической, так и практической, за них могу ручаться: спецуха, одс, институт биоинформатики + одс.

А сегодня к этой тройке добавляется, прямо-таки неебовый конкурент. Свежий курс от физтеха. Причем в двух вариациях: базовый уровень и продвинутый. Базовый уровень — это ровно тот курс лекций и домашек, который прослушивают студенты физтеха на третьем курсе, а продвинутый на четвертом.

Пару слов. Это абсолютно самостоятельный продукт, его не нужно дополнять какой-то дополнительной домашкой или лекциями, если конечно бекграунд соответствует. Просмотрев базовую версию и выполнив 80% домашек, а также докинув сюда 1-2 соревнования на Kaggle, ты будешь готов ебать мозги всей Москве и мозолить глаза hr-ам разных компаний.

Быстро по структуре. Сюрпризов не будет, все по классике. 13 недель. Линейные модели, деревья, бустинги, хуюстинги, немного нейронок.

Что касается продвинутого курса, оно того стоит, пацаны, смотрим. Некоторые ноутбуки даже просто прощелкать будет полезно. Короче мастхев. Просто глянь список лекций, возможно прослушать 1-2 будет самый сок для тебя, а не проходить весь курс.

По нашей стандартной метрике тобi пiзда / качество — 9/10 для базового, из-за достаточно высокого порога входа. И 10/10 для продвинутого, тут люди к боли привыкшие.

Курсы → https://github.com/ml-mipt/ml-mipt

Ботаем, братва

DeepMind выпускает Acme, распределенную среду для разработки алгоритма обучения с подкреплением

Платформа предназначена для упрощения разработки алгоритмов обучения с подкреплением, позволяющая агентам, управляемым ИИ, работать в различных масштабах производства.

Обучение с подкреплением – это разновидность машинного обучения, при котором агент учится действовать в окружающей среде, выполняя действия и тем самым нарабатывая интуицию, после чего наблюдает результаты своих действий.

Acme - это набор инструментов для тренировки систем обучения с подкреплением. Система стремится предоставить простые, эффективные и удобочитаемые агенты, которые служат как эталонными реализациями популярных алгоритмов, так и надежными базовыми показателями, и в то же время обеспечивают достаточную гибкость для проведения новых исследований.

Github:
https://github.com/deepmind/acme

Документ:
https://arxiv.org/abs/2006.00979

​​Первым делом сюда (❗️❗️❗️)

Легкого пути в МЛ не бывает, но и сильно затягивать тоже не надо. Для нормального входа в профессию, тебе нужно хорошо знать питон и несколько разделов математики. То в каком порядке это делать — дело каждого, некоторым удобно параллельно, некоторые любят поочередно. Да, сучара, без этого никак, не надо думать, что это по сложности, как проебывать пары философии.

Вот минимум, после которого вилки зп становятся шестизначными. Любой из вариантов хорош, отличаются лишь сложностью и актуальностью, но приводят примерно к одному результату.
1. Классическая классика. Покрывает все нужные темы, погружает жестко, медленно, словно маньяк. Эффективно. Для понимания нужна некоторая математическая интуиция.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
2. Вариант чуть сложней первого, более самобытный, требует самостоятельности и понимания чем ты вообще собираешься заниматься. Нет проверок ДЗ. Требуется хороший уровень некоторых разделов математики. Слабо подходит нубам.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
3. Самый модный, молодежный вариант. Погружает не больно, но достаточно быстро. Можно использовать как вариант, если tupoy. Зумеры, ваша тема.
Убираем страх → Теор.вер → Мат. Статистика: Гланц Медико-Биологическая статистика (основы) → Питон→ МЛ.

После прохождения этих этапов, надо залетать на работу, для этого мы уже сделали сервис с вопросами интервью и некоторые ответы на них. Не стесняемся добавлять свои вопросы, перцы.

Сервис с вопросами → https://interview-mds.ru/
Вопросы с ответами → жми

А теперь база данных по каналу. Тут собрано гигантское количество курсов/ресурсов/ и пр. Это не значит, что надо смотреть все подряд, в таком случае ты выйдешь на работу примерно через N жизней. Это база создается для того, что бы ты знал куда обратиться в случае возникновения проблемы по тому или иному направлению. Возникла потребность, смотрим.

Математика, та тетка из твоих кошмаров, по совместительству царица наук.
0. Что вообще надо?
1. Необходимая литература для начала
2. Курс по линейной алгебре
3. Курс по теор. вер.
4. Курс по статистике
5. Супер понятная линейная алгебра
6. Интенсивы мат. анализ
7. Два Подхода к изучению статистики
8. Линейная алгебра для DL от MIT
9. Базовый Теор. Вер. МФТИ
10. План по мат. анализу
11. Основательный подход к статистике

Питон, это не тот python, которого ты душишь под одеялом.
1. Необходимые для старта курсы
2. Питон не для начинающих

Data Science, с ним будешь первый парень на деревне.
1. Стартовые курсы на выбор
2. ML курс от Физтеха
3. ML курс от института Биоинформатики

​​Deep Learning, главная матка муравья.
1. Введение в диплернинг
2. Классика диплернинга
3. Курс по ДЛ от ШАДа
4. Курс по Computer Vision Стенфорд cs231
5. Курс по Байесовским методам машинного обучения
6. Курс DL school от Физтеха
7. Мини-курсы по работе с временными рядами
8. DL Воронцов
9. База NLP

Reinforcement learning, для одичалых.
1. План по изучению RL

Big Data, клерковский вариантик.
1. Курс по работе с большими данными

Соревнование ML.
1. Введение в соревнование и первые начинания
2. Внутренние соревнование NASA
3. Внутренние соревнование PUBG
4. Соревнование от Росбанка
5. Kaggle MNIST
5.1. Решение победителя
6. Курс «Как побеждать на Каггле»
7. Соревнование Santander Customer Transaction Prediction
7.1 Разбор решения
8. Топовые решение соревнований
9. Разбор соревнования Титаник без цензуры

Алгоритмы, страж на пути в корпорацию.
1. Алгоритмы и структуры данных
2. Мягкий вход в алгоритмы

Английский, извини, но ты живешь в России
1. Щедрый жест, спешл фор ю

SQL.
1. Азы SQL
2. Тренажеры SQL

Стажировки / Школы
1. Летние стажировки
2. Топовые школы

Джентльменский набор
1. Джентльменский набор часть 1
2. Джентльменский набор часть 2
3. Джентльменский набор часть 3
4. Джентльменский набор часть 4

Приятные плюшки
1. Шпаргалки от стенфорда
2. Большенство тем, реализованных на питоне
3. Джентльменский набор часть 1
4. Сборник теоретических задач по МЛ
5. Features engineering часть 1
6. Features engineering часть 2
7. Features engineering часть 3
8. Features selection часть 1
9. Советы для резюме
10. Гайд по аренде ГПУ в облаке

Блеклист курсов МЛ
1. Говнокурс 1
2. Рейтинг дерьмовых курсов, по мнению подписчиков

ШАД/CSC, для любителей БДСМчика.
1. Что это?
2. Интервью
3. Подготовка

Деплой МЛ моделей, когда ваш малыш вырос.
1. Быстрый путь
2. Основательный подход

Глубокое проникновение в глубокое обучение на Keras
1. Часть 1 MNIST
2. Часть 2 CNN
3. Часть 3 VGG16

Смотрите, читайте, охуевайте

🎞Лучшая подборка видео о Machine Learning:

1. Введение в машинное обучение — https://youtu.be/ukzFI9rgwfU
2. Базовые знания об обработке естественного языка (Natural language processing) — https://youtu.be/d4gGtcobq8M
3. О работе компьютерного зрения — https://www.youtube.com/watch?v=OcycT1Jwsns&feature=youtu.be
4. Многоагентная система (Multi-agent) игры в прятки — https://youtu.be/kopoLzvh5jY
5. Машинное обучение видеоигр — https://youtu.be/qv6UVOQ0F44

Приятного просмотра!

Nerus — большой синтетический русскоязычный датасет с разметкой морфологии, синтаксиса и именованных сущностей.
В проекте Natasha анализ морфологии, синтаксиса и извлечение именованных сущностей делают 3 компактные модели: Slovnet NER, Slovnet Morph и Slovnet Syntax. Качество решений на 1–5 процентных пунктов хуже, чем у тяжёлых аналогов c BERT-архитектурой, размер в 50-75 раз меньше, скорость на CPU в 2 раза больше. Модели обучены на огромном синтетическом датасете Nerus, в архиве 700 000 новостных статей с CoNLL-U-разметкой морфологии, синтаксиса и именованных сущностей.

https://natasha.github.io/nerus/

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

▫️ Лекции по Big Data

1 - BigData. Введение в машинное обучение - Смотреть
2 - BigData. Python - Смотреть
3 - BigData. Что такое BigData - Смотреть
4 - BigData. OLAP. What and why - Смотреть
5 - BigData. IoT и BigData - Смотреть
6 - BigData. Сhallenges of classification - Смотреть
7 - BigData. Formal Context Analysis - Смотреть
8 - BigData. Регрессия - Смотреть
9 - BigData. Хранение и анализ больших данных - Смотреть
10 - BigData. Deep learning - Смотреть

@itlecture

Статья про деревья решений: https://towardsdatascience.com/entropy-how-decision-trees-make-decisions-2946b9c18c8

⚙️Продолжая насущную и довольно интересную тему нейросетей, хотели бы обратить внимание на следующую вещь.

И в частности поблагодарить автора за то, что собрал в одной статье новые архитектуры нейросетей и поговорил о том, что они из себя представляют.

Смотрите, читайте, исследуйте — https://habr.com/ru/post/498168/

Статья была написана в апреле 2020 года и за это время появилась еще ни одна архитектура, но самые актуальные можно отследить здесь — https://paperswithcode.com/area/computer-vision

​​Здорова, бандиты

Стал замечать рост вакансий связанных с временными рядами, особенно радует интерес корпораций к стажерам на это направление. Тайм сириасы одно из немногих направлений, где МЛ не притянут за huy, перфоманс там реально есть.

Вот только у нубов есть одна критическая ошибка, они пытаются заботать SOTA результаты в области, не сформировав твердую базу. Пусть то временные ряды или другая подобласть МЛ.

Братан, когда приходишь на стажера/джуна, выглядит как минимум стремно слушать про Diffusion Convolutional Recurrent Neural Network и при этом видеть удивленное ebalo при просьбе рассказать идею heapsort.

На какое бы направление МЛ ты не шел, нужно знать следующие вещи:
1. База по алгоритмам
2. База по теор.веру/статам
3. База по классическому МЛ
4. База по направлению. База блять, понял?

Базу по Тайм сириасам можно получить на семидневном мини-курсе. Он покрывает все основные моменты, которые могут спросить джуна/стажера.

Курс → https://machinelearningmastery.com/time-series-forecasting-python-mini-course/

Либо, можно совместить приятное с полезным и выполняя третий пункт из списка, взять спецуху от Яндекса/МФТИ, где на пятом курсе рассказывают основы анализа временных рядов, этого будет достаточно для старта. Можно также посмотреть отдельно эту часть специализации.

Курс → https://www.coursera.org/learn/data-analysis-applications

Первые три пункта можно подобрать под себя в первой и второй частях закрепа. Тут главное понять, что основной упор интервьюера будет направлен именно на них. Ну и, конечно, сверху все нужно шлифануть вопросами с сервиса, который мы сделали общими усилиями мамкиных ДСов.

Вопросы с собесов → https://interview-mds.ru/

А если тайм сириас для тебя рабочая рутина, то следующий продукт порадует. Четыре недели временных рядов на TensorFlow от deeplearning.ai. Тут и DNN, и RNN, все как мы любим. Ведущий — дядька из Google Brain, не предложит выбор из двух стульев, а посадит на каждый из них по очереди. Короче 10 из 10.

Курс → https://www.coursera.org/professional-certificates/tensorflow-in-practice

Работаем, братва

👨‍🎓📈Как выбрать специализацию и начать обучение Data Science

Рассказываем об этапах обучения, которые необходимо пройти новичку для начала карьеры в Data Science. Путь от выбора специализации до выработки практических навыков будет непростым.

https://proglib.io/sh/ugSNAv8y7x

Из этой статьи вы узнаете, почему важно разделять набор данных в машинном обучении с учителем и как это делать с помощью traintestsplit() из scikit-learn.

https://proglib.io/w/a11a1252

Проверьте свои навыки: 26 вопросов и ответов с собеседований по Data Science.

https://proglib.io/w/c2b5ee64

Школа анализа данных выложила в открытый доступ конспект курса по теории глубинного обучения. Он может быть полезен тем, кто хочет глубже разобраться в том, как работают нейронные сети 🙌🏻

В конспекте рассматриваются следующие темы:

— Инициализация нейронных сетей
(кто-нибудь смотрел, как инициализируются сети в pytorch или tensorflow, и почему именно так?);
— Поверхность функции потерь
(почему градиентный спуск — локальный поиск! — способен сколь угодно снизить ошибку на обучении?);
— Обобщающая способность
(почему сеть обученная на одной выборке, хорошо — или плохо — работает на другой?);
— NTK-теория (какова связь нейронных сетей с ядровыми методами и что она даёт?).

🌎 5 Python-библиотек для работы с картами
Обрабатывать географические координаты и визуализировать карты DS-специалисту помогут следующие Python-библиотеки:
• Geoplotlib с целым набором инструментов для создания карт и построения географических данных. Эта интегрированная с Pandas библиотека позволит строить фоновые карты (choropleths), тепловые карты (heatmaps), карты плотности точек (dot density maps), пространственные графы, диаграммы Вороного (Voronoi diagram). Geoplotlib требует наличия специального объектно-ориентированного API – Pyglet. https://github.com/andrea-cuttone/geoplotlib
• Pygal – библиотека с простым интерфейсом и небольшой интерактивностью. Получаемые с ее помощью карты мира можно просматривать в браузере как HTML-страницу либо скачать в формате SVG, а для PNG понадобятся дополнительные пакеты. https://github.com/Kozea/pygal
• OSMnx – библиотека, которая позволяет детализировать местность вплоть до улиц, загружать пространственные модели и геометрию, проектировать, визуализировать и анализировать реальные уличные сети из API Open Street Map. Open Street Map — это свободный и бесплатный проект для работы с подробными географическими картами мира. Благодаря этому в OSMnx можно загружать и моделировать пешеходные, автомобильные или велосипедные городские сети, показывать время в пути, воспроизводить достопримечательности, контуры зданий, а также данные о рельефе местности. https://github.com/gboeing/osmnx
• Bokeh, которая позволяет не только отрисовывать статические карты, но и создавать интерактивные с возможностью перемещения и изменения масштаба. Bokeh предоставляет вышеупомянутый API Open Street Map и Google Map, для работы с которым понадобится Google API Key. https://github.com/bokeh/bokeh
• Наконец, Plotly, которая считается самой широкой интерактивной Python-библиотекой. Для работы с картами в ней используется MapBox, где есть ограничения по бесплатному пользованию, в зависимости от количества загрузок карт. Еще в Plotly есть фоновые и тепловые карты, а также карты плотности точек. На самих картах можно строить графы, наносить линии, прямоугольники и пузыри. Как и Bokeh, Plotly для чтения геокоординат использует GeoJSON. https://plotly.com/python/maps/

​​AtsPy - Автоматизация предсказания временных рядов

Бибилиотека AtsPy позволяет легко создавать модели для прогнозирования временных рядов. В библиотеки реализованы следующие модели:
ARIMA - Automated ARIMA Modelling
Prophet - Modeling Multiple Seasonality With Linear or Non-linear Growth
HWAAS - Exponential Smoothing With Additive Trend and Additive Seasonality
HWAMS - Exponential Smoothing with Additive Trend and Multiplicative Seasonality
NBEATS - Neural basis expansion analysis (now fixed at 20 Epochs)
Gluonts - RNN-based Model (now fixed at 20 Epochs)
TATS - Seasonal and Trend no Box Cox
TBAT - Trend and Box Cox
TBATS1 - Trend, Seasonal (one), and Box Cox
TBATP1 - TBATS1 but Seasonal Inference is Hardcoded by Periodicity
TBATS2 - TBATS1 With Two Seasonal Periods

Установка:
pip install atspy

Применение:
from atspy import AutomatedModel
model_list = ["HWAMS","HWAAS","TBAT"]
am = AutomatedModel(df = df , model_list=model_list,forecast_len=20)
all_ensemble_in, all_ensemble_out, all_performance = am.ensemble(forecast_in, forecast_out)
all_ensemble_in[["Target","ensemble_lgb__X__HWAMS","HWAMS","HWAAS"]].plot()
all_ensemble_out[["ensemble_lgb__X__HWAMS","HWAMS","HWAAS"]].plot()

По многочисленным просьбам подготовил переводы про визуализацию и обработку данных для ML 🐍

👉 Эффективное использование Matplotlib

👉 Руководство по кодированию категориальных значений в Python

Приятного чтения! 🐼

PS. остальные переводы и кейсы по ссылке ⚡️

По многочисленным просьбам подготовил переводы про визуализацию и обработку данных для ML 🐍

👉 Эффективное использование Matplotlib

👉 Руководство по кодированию категориальных значений в Python

Приятного чтения! 🐼

PS. остальные переводы и кейсы по ссылке ⚡️

Отличная статья про лучшие методы выбора фич в ML: https://rubikscode.net/2020/11/15/top-9-feature-engineering-techniques/