​​Deep Learning, главная матка муравья.
1. Введение в диплернинг
2. Классика диплернинга
3. Курс по ДЛ от ШАДа
4. Курс по Computer Vision Стенфорд cs231
5. Курс по Байесовским методам машинного обучения
6. Курс DL school от Физтеха
7. Мини-курсы по работе с временными рядами
8. DL Воронцов
9. База NLP

Reinforcement learning, для одичалых.
1. План по изучению RL

Big Data, клерковский вариантик.
1. Курс по работе с большими данными

Соревнование ML.
1. Введение в соревнование и первые начинания
2. Внутренние соревнование NASA
3. Внутренние соревнование PUBG
4. Соревнование от Росбанка
5. Kaggle MNIST
5.1. Решение победителя
6. Курс «Как побеждать на Каггле»
7. Соревнование Santander Customer Transaction Prediction
7.1 Разбор решения
8. Топовые решение соревнований
9. Разбор соревнования Титаник без цензуры

Алгоритмы, страж на пути в корпорацию.
1. Алгоритмы и структуры данных
2. Мягкий вход в алгоритмы

Английский, извини, но ты живешь в России
1. Щедрый жест, спешл фор ю

SQL.
1. Азы SQL
2. Тренажеры SQL

Стажировки / Школы
1. Летние стажировки
2. Топовые школы

Джентльменский набор
1. Джентльменский набор часть 1
2. Джентльменский набор часть 2
3. Джентльменский набор часть 3
4. Джентльменский набор часть 4

Приятные плюшки
1. Шпаргалки от стенфорда
2. Большенство тем, реализованных на питоне
3. Джентльменский набор часть 1
4. Сборник теоретических задач по МЛ
5. Features engineering часть 1
6. Features engineering часть 2
7. Features engineering часть 3
8. Features selection часть 1
9. Советы для резюме
10. Гайд по аренде ГПУ в облаке

Блеклист курсов МЛ
1. Говнокурс 1
2. Рейтинг дерьмовых курсов, по мнению подписчиков

ШАД/CSC, для любителей БДСМчика.
1. Что это?
2. Интервью
3. Подготовка

Деплой МЛ моделей, когда ваш малыш вырос.
1. Быстрый путь
2. Основательный подход

Глубокое проникновение в глубокое обучение на Keras
1. Часть 1 MNIST
2. Часть 2 CNN
3. Часть 3 VGG16

Смотрите, читайте, охуевайте

🎞Лучшая подборка видео о Machine Learning:

1. Введение в машинное обучение — https://youtu.be/ukzFI9rgwfU
2. Базовые знания об обработке естественного языка (Natural language processing) — https://youtu.be/d4gGtcobq8M
3. О работе компьютерного зрения — https://www.youtube.com/watch?v=OcycT1Jwsns&feature=youtu.be
4. Многоагентная система (Multi-agent) игры в прятки — https://youtu.be/kopoLzvh5jY
5. Машинное обучение видеоигр — https://youtu.be/qv6UVOQ0F44

Приятного просмотра!

Nerus — большой синтетический русскоязычный датасет с разметкой морфологии, синтаксиса и именованных сущностей.
В проекте Natasha анализ морфологии, синтаксиса и извлечение именованных сущностей делают 3 компактные модели: Slovnet NER, Slovnet Morph и Slovnet Syntax. Качество решений на 1–5 процентных пунктов хуже, чем у тяжёлых аналогов c BERT-архитектурой, размер в 50-75 раз меньше, скорость на CPU в 2 раза больше. Модели обучены на огромном синтетическом датасете Nerus, в архиве 700 000 новостных статей с CoNLL-U-разметкой морфологии, синтаксиса и именованных сущностей.

https://natasha.github.io/nerus/

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

▫️ Лекции по Big Data

1 - BigData. Введение в машинное обучение - Смотреть
2 - BigData. Python - Смотреть
3 - BigData. Что такое BigData - Смотреть
4 - BigData. OLAP. What and why - Смотреть
5 - BigData. IoT и BigData - Смотреть
6 - BigData. Сhallenges of classification - Смотреть
7 - BigData. Formal Context Analysis - Смотреть
8 - BigData. Регрессия - Смотреть
9 - BigData. Хранение и анализ больших данных - Смотреть
10 - BigData. Deep learning - Смотреть

@itlecture

Статья про деревья решений: https://towardsdatascience.com/entropy-how-decision-trees-make-decisions-2946b9c18c8

⚙️Продолжая насущную и довольно интересную тему нейросетей, хотели бы обратить внимание на следующую вещь.

И в частности поблагодарить автора за то, что собрал в одной статье новые архитектуры нейросетей и поговорил о том, что они из себя представляют.

Смотрите, читайте, исследуйте — https://habr.com/ru/post/498168/

Статья была написана в апреле 2020 года и за это время появилась еще ни одна архитектура, но самые актуальные можно отследить здесь — https://paperswithcode.com/area/computer-vision

​​Здорова, бандиты

Стал замечать рост вакансий связанных с временными рядами, особенно радует интерес корпораций к стажерам на это направление. Тайм сириасы одно из немногих направлений, где МЛ не притянут за huy, перфоманс там реально есть.

Вот только у нубов есть одна критическая ошибка, они пытаются заботать SOTA результаты в области, не сформировав твердую базу. Пусть то временные ряды или другая подобласть МЛ.

Братан, когда приходишь на стажера/джуна, выглядит как минимум стремно слушать про Diffusion Convolutional Recurrent Neural Network и при этом видеть удивленное ebalo при просьбе рассказать идею heapsort.

На какое бы направление МЛ ты не шел, нужно знать следующие вещи:
1. База по алгоритмам
2. База по теор.веру/статам
3. База по классическому МЛ
4. База по направлению. База блять, понял?

Базу по Тайм сириасам можно получить на семидневном мини-курсе. Он покрывает все основные моменты, которые могут спросить джуна/стажера.

Курс → https://machinelearningmastery.com/time-series-forecasting-python-mini-course/

Либо, можно совместить приятное с полезным и выполняя третий пункт из списка, взять спецуху от Яндекса/МФТИ, где на пятом курсе рассказывают основы анализа временных рядов, этого будет достаточно для старта. Можно также посмотреть отдельно эту часть специализации.

Курс → https://www.coursera.org/learn/data-analysis-applications

Первые три пункта можно подобрать под себя в первой и второй частях закрепа. Тут главное понять, что основной упор интервьюера будет направлен именно на них. Ну и, конечно, сверху все нужно шлифануть вопросами с сервиса, который мы сделали общими усилиями мамкиных ДСов.

Вопросы с собесов → https://interview-mds.ru/

А если тайм сириас для тебя рабочая рутина, то следующий продукт порадует. Четыре недели временных рядов на TensorFlow от deeplearning.ai. Тут и DNN, и RNN, все как мы любим. Ведущий — дядька из Google Brain, не предложит выбор из двух стульев, а посадит на каждый из них по очереди. Короче 10 из 10.

Курс → https://www.coursera.org/professional-certificates/tensorflow-in-practice

Работаем, братва

👨‍🎓📈Как выбрать специализацию и начать обучение Data Science

Рассказываем об этапах обучения, которые необходимо пройти новичку для начала карьеры в Data Science. Путь от выбора специализации до выработки практических навыков будет непростым.

https://proglib.io/sh/ugSNAv8y7x

Из этой статьи вы узнаете, почему важно разделять набор данных в машинном обучении с учителем и как это делать с помощью traintestsplit() из scikit-learn.

https://proglib.io/w/a11a1252

Проверьте свои навыки: 26 вопросов и ответов с собеседований по Data Science.

https://proglib.io/w/c2b5ee64

Школа анализа данных выложила в открытый доступ конспект курса по теории глубинного обучения. Он может быть полезен тем, кто хочет глубже разобраться в том, как работают нейронные сети 🙌🏻

В конспекте рассматриваются следующие темы:

— Инициализация нейронных сетей
(кто-нибудь смотрел, как инициализируются сети в pytorch или tensorflow, и почему именно так?);
— Поверхность функции потерь
(почему градиентный спуск — локальный поиск! — способен сколь угодно снизить ошибку на обучении?);
— Обобщающая способность
(почему сеть обученная на одной выборке, хорошо — или плохо — работает на другой?);
— NTK-теория (какова связь нейронных сетей с ядровыми методами и что она даёт?).

🌎 5 Python-библиотек для работы с картами
Обрабатывать географические координаты и визуализировать карты DS-специалисту помогут следующие Python-библиотеки:
• Geoplotlib с целым набором инструментов для создания карт и построения географических данных. Эта интегрированная с Pandas библиотека позволит строить фоновые карты (choropleths), тепловые карты (heatmaps), карты плотности точек (dot density maps), пространственные графы, диаграммы Вороного (Voronoi diagram). Geoplotlib требует наличия специального объектно-ориентированного API – Pyglet. https://github.com/andrea-cuttone/geoplotlib
• Pygal – библиотека с простым интерфейсом и небольшой интерактивностью. Получаемые с ее помощью карты мира можно просматривать в браузере как HTML-страницу либо скачать в формате SVG, а для PNG понадобятся дополнительные пакеты. https://github.com/Kozea/pygal
• OSMnx – библиотека, которая позволяет детализировать местность вплоть до улиц, загружать пространственные модели и геометрию, проектировать, визуализировать и анализировать реальные уличные сети из API Open Street Map. Open Street Map — это свободный и бесплатный проект для работы с подробными географическими картами мира. Благодаря этому в OSMnx можно загружать и моделировать пешеходные, автомобильные или велосипедные городские сети, показывать время в пути, воспроизводить достопримечательности, контуры зданий, а также данные о рельефе местности. https://github.com/gboeing/osmnx
• Bokeh, которая позволяет не только отрисовывать статические карты, но и создавать интерактивные с возможностью перемещения и изменения масштаба. Bokeh предоставляет вышеупомянутый API Open Street Map и Google Map, для работы с которым понадобится Google API Key. https://github.com/bokeh/bokeh
• Наконец, Plotly, которая считается самой широкой интерактивной Python-библиотекой. Для работы с картами в ней используется MapBox, где есть ограничения по бесплатному пользованию, в зависимости от количества загрузок карт. Еще в Plotly есть фоновые и тепловые карты, а также карты плотности точек. На самих картах можно строить графы, наносить линии, прямоугольники и пузыри. Как и Bokeh, Plotly для чтения геокоординат использует GeoJSON. https://plotly.com/python/maps/

​​AtsPy - Автоматизация предсказания временных рядов

Бибилиотека AtsPy позволяет легко создавать модели для прогнозирования временных рядов. В библиотеки реализованы следующие модели:
ARIMA - Automated ARIMA Modelling
Prophet - Modeling Multiple Seasonality With Linear or Non-linear Growth
HWAAS - Exponential Smoothing With Additive Trend and Additive Seasonality
HWAMS - Exponential Smoothing with Additive Trend and Multiplicative Seasonality
NBEATS - Neural basis expansion analysis (now fixed at 20 Epochs)
Gluonts - RNN-based Model (now fixed at 20 Epochs)
TATS - Seasonal and Trend no Box Cox
TBAT - Trend and Box Cox
TBATS1 - Trend, Seasonal (one), and Box Cox
TBATP1 - TBATS1 but Seasonal Inference is Hardcoded by Periodicity
TBATS2 - TBATS1 With Two Seasonal Periods

Установка:
pip install atspy

Применение:
from atspy import AutomatedModel
model_list = ["HWAMS","HWAAS","TBAT"]
am = AutomatedModel(df = df , model_list=model_list,forecast_len=20)
all_ensemble_in, all_ensemble_out, all_performance = am.ensemble(forecast_in, forecast_out)
all_ensemble_in[["Target","ensemble_lgb__X__HWAMS","HWAMS","HWAAS"]].plot()
all_ensemble_out[["ensemble_lgb__X__HWAMS","HWAMS","HWAAS"]].plot()

По многочисленным просьбам подготовил переводы про визуализацию и обработку данных для ML 🐍

👉 Эффективное использование Matplotlib

👉 Руководство по кодированию категориальных значений в Python

Приятного чтения! 🐼

PS. остальные переводы и кейсы по ссылке ⚡️

По многочисленным просьбам подготовил переводы про визуализацию и обработку данных для ML 🐍

👉 Эффективное использование Matplotlib

👉 Руководство по кодированию категориальных значений в Python

Приятного чтения! 🐼

PS. остальные переводы и кейсы по ссылке ⚡️

Отличная статья про лучшие методы выбора фич в ML: https://rubikscode.net/2020/11/15/top-9-feature-engineering-techniques/

http://ai.google/education Гугл собрал крутой ресурс для обучения ML

📈 Обучение Data Science: какие знания по математике нужны специалисту по анализу данных?

Рассказываем про ключевые математические знания для Data Scientist, а также про книги, курсы и видеолекции в помощь обучающимся. Материал будет полезен не только осваивающим профессию с нуля новичкам, опытные специалисты также могут почерпнуть в нем что-то интересное.

https://proglib.io/sh/RKNBTerypS