Обучиться Data Science «самому», без вузовских курсов, можно, но сложно

Курсов «Стань Data Scientist’ом за три месяца» с заманчивыми обещаниями о трудоустройстве и большом заработке довольно много. Грешат этим все: от GeekBrains и Skillbox до Яндекс Практикума (хотя, по моему субъективному мнению, коллеги из Яндекса работают наиболее деликатно и им за это от меня респект).

Нет ничего зазорного в курсах хоть на три месяца, хоть на три занятия.

Любой формат позволяет донести определённые знания, однако важно сохранять трезвость в оценке ценности подобных курсов.

Человек с хорошим техническим образованием из МГУ, МФТИ, ВШЭ, СПбГУ, ИТМО и других топовых вузов вполне в состоянии устроиться стажёром в data science и после вводного курса. Вряд ли в топовую компанию, но начать нарабатывать опыт уже можно.

Более того, полноценно проходить даже короткий курс необязательно — это лишь способ ускорить процесс. Если человек умеет программировать, читать документацию и изучать библиотеки, можно обойтись и без курса:

— решайте Kaggle.com, начиная с учебных соревнований
— читайте форумы соревнований,
— практикуйтесь в применении DS библиотек (sklearn, lightgbm, catboost, xgboost, pandas, polars, seaborn, pytorch, ambrosia)
— изучайте их документацию

Находите открытые материалы курсов по data science и разбирайте их самостоятельно. Знаю примеры людей, бегло изучающих семестровый курс из Стэнфорда за ночь. Не всем обязательно демонстрировать такую суперпроизводительность, да и почти любой человек после подобной учёбы многое забудет через неделю. Но вместе с практикой этот подход совершенно нормальный.

Ещё полезно через какое-то время изучить ту же тему в новом источнике. Интересующихся людей в целом всегда выделяет то, что им недостаточно прочитать одну книгу, решить задачу один раз, один раз понять, как всё устроено. Им интересно изучать вопрос с разных сторон снова и снова.

Однако нужно помнить, что без сильной базы по программированию и математике путь в Data Science может быть долгим. Это нормально. Главное — не останавливаться в изучении фундаментальных направлений. Если понравится процесс — вы его пройдёте, сами или с чьей-то помощью.

#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/

The N Implementation Details of RLHF with PPO
https://huggingface.co/blog/the_n_implementation_details_of_rlhf_with_ppo

X-LLM. Новая библиотека для обучения LLM в экосистеме Huggingface.

Она поддерживает все современные методы (QLoRA, Flash Attention 2, Gradient checkpointing, GPTQ квантизацию, W&B, обучение на нескольких GPU с помощью DeepSpeed, даже каждый чекпоинт сохраняет сразу в Huggingface Hub). Подходит как для быстрого прототипирования, так и для production-ready решений.

Репозиторий, внутри много примеров: https://github.com/BobaZooba/xllm

Colab с обучением 7B модели: ссылка

Open source модель: https://huggingface.co/BobaZooba/Shurale7B-v1

Интерактивная текстовая игра (с моделью выше) с динамическими персонажами и историями: @TaleQuestBot (да, бот в телеграм)

Вкатываемся в Machine Learning с нуля за ноль рублей: что, где, в какой последовательности изучить

https://habr.com/ru/articles/774844/

На kaggle есть курс по Computer Vision. Так вот теперь у него появился практический гайд
https://www.kaggle.com/code/ivanlydkin/computer-vision-course-practical-guide

ChatGPT плохо отвечает на «простые вопросы». Как это починить?

https://habr.com/ru/companies/airi/articles/774934/

Kandinsky 3.0 — новая модель генерации изображений по тексту

https://habr.com/ru/companies/sberbank/articles/775590/

Новая лекция от Карпатого
https://youtu.be/zjkBMFhNj_g?si=gLNkXpNdTcs85Zzw

Большие языковые модели (LLM) в задачах

https://habr.com/ru/articles/775870/

ОНЛАЙН-ИНТЕНСИВ

First Step in NLP  2.0

https://www.hse.ru/ma/mlds/nlpbootcamp/2023

Взять LLM за RAGa в 60 минут

Вводный курс от deeplearning.ai
В мир прекрасного ранкинга и LMок

https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/

CoolGraph от Big Data МТС

Если вы немного в теме нейросетей, то знаете, что к данным с разной структурой применяются изначально разные архитектуры. В компьютерном зрении — на базе свёрток, в работе с текстами — вдохновлённые рекуррентными сетями и, конечно, трансформеры.

Резонный вопрос: а какие сети могли бы обобщить работу с произвольной структурой в данных? Ответ есть: графовые. Если вы можете по своим данным построить граф, отражающий взаимосвязь их отдельных частей (в компьютерном зрении пиксель связан с соседними пикселями, в тексте слово связано с другими словами), то дальше встаёт вопрос построения нейросети на основе этого графа.

Кроме того, бывают и совсем очевидные ситуации, когда граф возникает сам собой. Например, социальный граф — граф социальных взаимодействий между пользователями, или двудольный граф пользователи-товары в e-commerce и пользователи-фильмы в стриминговых сервисах.

Более того, часто компании, имеющие данные в виде графа, выжимают не всю пользу из этих данных. Просто потому, что придумывать табличные фичи по графу — это тоже отдельная объёмная работа. И здесь тоже помогают графовые нейросети: с ними можно построить граф-эмбеддинги, которые снимут вопрос построения hand-crafted графовых фичей. Именно с графовыми нейросетями и связана новая open source библиотека Big Data МТС.

Сегодня я представляю вам библиотеку CoolGraph, с помощью которой вы сможете построить первые графовые нейросети буквально в несколько строк кода. Задача библиотеки — популяризовать GNN и радикально снизить порог входа в них. Надеюсь, так же, как RecTools и Ambrosia, CoolGraph скоро прорастёт в код других компаний, начнёт попадать в описание стека в вакансиях и, вообще, всячески станет популярной и востребованной в DS-сообществе :)

Introduction to AI

https://github.com/microsoft/AI-For-Beginners/blob/main/lessons/1-Intro/README.md