Главная ошибка тех, кто начинает путь в ML

Машинное обучение выглядит как универсальный билет в карьеру будущего. Зарплаты выше среднего, технологий вокруг всё больше, компании охотно набирают специалистов. Но правда в том, что ML подходит далеко не каждому.

Как правило, люди приходят в машинное обучение и пытаются «схватить всё и сразу». Кто-то начинает с модных статей про нейросети, кто-то копирует чужие ноутбуки с Kaggle, кто-то смотрит курсы про LLM, так и не разобравшись, что такое переобучение или градиентный спуск. В итоге проходят месяцы, но глубины знаний нет и приходит разочарование.

ML не про хаотичное обучение. Это сфера, где важна последовательность:
▪️ сначала Python и умение писать код
▪️ затем математика: производные, линейная алгебра, теория вероятностей
▪️ после: классические модели, их принципы и ограничения
▪️ и только потом переход к сложным вещам вроде CV, NLP или LLM

Этот путь кажется длиннее, чем просто повторить чужой код. Но именно он позволяет понимать, что происходит внутри алгоритмов, и превращает набор «магических формул» в реальные рабочие инструменты.

И здесь важно сказать прямо: ML не держится на популярных в последние несколько лет технологиях и обещаниях больших зарплат. Те, кто пришёл ради быстрых денег, быстро уходят. А остаются те, кому нравится сам процесс. Учиться, экспериментировать, проверять гипотезы. И именно они со временем получают и деньги, и карьеру, потому что выдержали то, что другим показалось скучным или слишком сложным.

ML подойдёт тем, кто готов к системной работе и у кого есть искренний интерес к данным и алгоритмам. Для остальных это будет очередная мода, которая быстро пройдёт.

А мы вам принесли новые задачи с собеседований по ML-теории, математической статистике и Python

Если вы готовитесь проходить собеседования или собираете базу знаний для подготовки к собесам в будущем – вам будет полезно. Мы подготовили несколько вопросов и задач, которые с большей долей вероятность встретятся на интервью.

Схема привычная – сначала в комментариях отвечаете вы, а через несколько дней мы публикуем правильные ответы и вы сможете себя проверить.

Вопросы и задачи:
1️⃣ Как можно найти выбросы в ваших данных?
2️⃣ Почему регуляризация не всегда спасает от переобучения? В каких случаях она может не работать?
3️⃣ Как измениться ROC-AUC, если все предсказания возвести в квадрат? Возведя в квадрат мы сильнее уменьшим уверенность модели на неуверенных скорах.

#собеседования_Mlinside

Ответы на задачки с собеседований

1️⃣ Как можно найти выбросы в ваших данных?

Выбросы в данных можно находить с помощью статистических методов (например, Z-score или IQR для числовых фич), мультивариантных подходов (Mahalanobis distance, Isolation Forest, One-Class SVM), или через модели — например, анализ больших остатков после обучения простой модели или использование автоэнкодеров с высоким reconstruction error. Также помогают визуализации (PCA, t-SNE, boxplot) и, для временных рядов, STL-декомпозиция. Важно учитывать контекст: выброс — это не всегда ошибка, а порой ключевой сигнал (например, во фроде), поэтому детекция должна быть адаптивной и осмысленной, а не только механической.

2️⃣ Почему регуляризация не всегда спасает от переобучения? В каких случаях она может не работать?

Она может не работать, например, в следующих случаях:
1. Мало данных или плохое качество данных — при высокой шумности или малом количестве данных, модель переобучится даже с регуляризацией, так как будет запоминать шум.
2. Фичи в неправильном масштабе — если признаки не отнормированы, регуляризация работает неадекватно: признаки с большим масштабом будут штрафоваться больше.
3. Слабая регуляризация — если коэффициенты регуляризации слишком малы, эффект почти отсутствует.
4. Сильная мультиколлинеарность - L2 сгладит веса, но модель всё ещё может не научиться обобщать данные из-за линейных зависимостей. Стоит попробовать применить PCA.

3️⃣ Как измениться ROC-AUC, если все предсказания возвести в квадрат? Возведя в квадрат мы сильнее уменьшим уверенность модели на неуверенных скорах.

Возведение всех предсказаний в квадрат — это монотонно возрастающее преобразование, поэтому ROC-AUC не изменится, так как метрика зависит только от порядка (ранжирования) предсказаний. Даже если шкала уверенности изменится (например, низкие скоры станут ещё ниже), относительный порядок между позитивными и негативными примерами останется тем же. Следовательно, ROC-AUC остаётся инвариантной к таким преобразованиям.

#собеседования_MLinside

Как найти первую работу в ML

«IT рынок сломан», «джуны не нужны» и подобные утверждения сейчас звучат регулярно. Но работа никуда не делась и джуны, да и даже стажеры нужны. Только нанимают их не из «общего потока», а через воронку школ/стажировок и личные рекомендации.

Хотите найти первую работу в ML? Вот вам самый кратчайший путь до первого оффера:

▪️ Используйте платформы, но делайте упор на стажировки и рекомендации
HH, LinkedIn, Getmatch, форумы/чаты – ODS сообщество и страницы вакансий на сайтах компаний – это всё база. Но тут включаются ATS-системы, субъективность HR и огромное количество кандидатов на рынке. Поэтому, без метки «проверен», резюме тонет в полутора тысячах других откликов. Сильнее всего работают школы и стажировки при компаниях и персональные рекомендации от действующих специалистов. Сейчас для компании это способ снизить риск найма: за вас кто-то ручается.

▪️ Создайте или наращивайте сеть контактов, которые могут вас порекомендовать
Покажите себя там, где нанимают. Ходите на митапы/конференции не ради контента, а ради разговоров с докладчиками и лидерами команд. А прямой вопрос «что мне сделать, чтобы вы меня порекомендовали?» работает на удивление хорошо. Второй путь, это целевые собеседования ради обратной связи: даже если провалитесь, попросите чёткий план улучшений и вернитесь к тому же интервьюеру через 4–6 недель с выполненными пунктами. Например, мы перед запуском третьего потока курса проводили Mock-собеседования, можете посмотреть записи. Обычно это производит сильное впечатление и помогает сделать так, чтобы о вас вспомнили, когда откроется подходящая вакансия.

▪️ Ну и помните, что мотивация «работать и развиваться» может быть важнее хардов
Мотивированного джуна берут охотнее, чем «полусильного», но без воли к росту. Добавляйте больше конкретики в резюме: где, что и с каким эффектом вы сделали. Но аккуратней, если будете «накручивать» опыт, получите завышенные ожидания и уменьшите шанс на получения оффера в итоге.

Если подводить итог и вынести 1 ключевую мысль, то вот она: конверсию в оффер поднимает не количество вакансий, на которые вы откликнулись, а ваша видимость в профессиональной среде, нетворкинг и траектория «сказал — сделал — показал».

Как только у вас появляется человек, готовый вас рекомендовать, вероятность разговора с HR растёт кратно. Ищите такие возможности, просите конкретику и обязательно возвращайтесь с выполненными шагами. Именно так джуны становятся кандидатами, которых не хочется упускать.

Уберите технарей от экрана: этот пост для тех, кто всегда считал себя гуманитарием

В машинном обучении не нужен диплом мехмата, чтобы разобраться и работать. На самом деле, даже если вам в школе говорили «математика не твоё», это не повод ставить крест на ML.

Здесь используется ограниченный набор тем: линейная алгебра, теория вероятностей и статистика. И главное не зубрить бесконечные формулы, а понять, откуда они берутся. Математика в ML, это язык, который помогает описывать мир. Числа – как краски, формулы – как кисти, а модель — готовая картина.

Так как гуманитарию подружиться с математикой в ML?
▪️ Начинайте с визуализаций, а не с зазубривания формул.
▪️ Используйте понятные объяснения и визуальные ресурсы вроде Better Explained или YouTube.
▪️ Работайте с нейросетями, как с репетитором: задавайте вопросы шаг за шагом, пока всё не поймете тему до конца.
▪️ Проверяйте себя: попробуйте объяснить тему другу или коллеге простыми словами.

В ML остаются не те, кто «родился математиком», а те, кому интересно разбираться и кто готов шаг за шагом учиться. Если вы всегда считали, что математика не для вас, возможно, сейчас самое время попробовать ещё раз.

Продолжаем разбор задач с собеседований по ML-теории, математической статистике и python

Решение таких задач помогает подготовиться к собеседованиям на Junior-позиции, а еще вы можете по хэштегу найти предыдущие посты и собрать свою мини-базу знаний для подготовки к собесам в будущем.

Итак, вопросы и задачи в студию:
1️⃣ Какая модель лучше разделяет классы, у которой ROC-AUC равен 0.87 или 0.1?
2️⃣ Зачем нужна PR-кривая?
3️⃣ Как бороться с дисбалансом классов в данных?

Ждём ваши ответы в комментариях!

#собеседования_MLinside

А вот и ответы на вопросы из вчерашнего поста

1️⃣ Какая модель лучше разделяет классы, у которой ROC-AUC равен 0.87 или 0.1?

Модель с рок-ауком 0.1, так как она разделяет классы очень хорошо, просто путает их в предсказании. Инвертировав предсказания мы получим рок-аук 0.9, что больше 0.87.

2️⃣ Зачем нужна PR-кривая?

PR-кривая (precision-recall) особенно полезна при сильном дисбалансе классов, где ROC-AUC может вводить в заблуждение, показывая высокий результат за счёт большого числа true negative. Она фокусируется на качестве положительных предсказаний, показывая, насколько хорошо модель находит редкие, но важные объекты (например, фрод или болезни). В практике она помогает выбрать порог вероятности, а так же сравнивать модели по значимым метрикам в условиях малого положительного класса.

3️⃣ Как бороться с дисбалансом классов в данных?

С дисбалансом классов можно бороться как на уровне данных (oversampling редкого класса — например, SMOTE, или undersampling частого), так и на уровне модели — через использование взвешенной функции потерь (class weights) или кастомной метрики оптимизации. Важно также выбирать метрики, устойчивые к дисбалансу, такие как PR-AUC, F1-score. На практике часто комбинируют подходы, а ещё используют стратифицированную валидацию.

#собеседования_MLinside

Недавно мы провели опрос: чем вы занимаетесь?

234 человека приняли участие и 26% выбрали вариант «другое». Четверть аудитории! Это значит, что за этим скрываются интересные истории, которые мы пока не знаем. А скоро у нас стартует 4-й поток «База ML», и нам важно услышать вас, чтобы сделать программу и контент ещё полезнее и интереснее.

Мы собираем обратную связь через короткую форму. А для тех, кто не просто заполнит её, но и выйдет с нами на короткий созвон, мы подарим промокод на скидку к новому потоку.

Поделитесь своим опытом — это поможет нам выстроить действительно полезную и актуальную программу курса и контент в этом канале: https://forms.yandex.ru/cloud/68c280364936390d955149ec

Учимся на практике: решаем реальные ML-задачки

Теория без практики быстро забывается. А вот решение задач из реальных проектов это то, что останется в портфолио и поможет на собеседованиях. Поэтому мы запускаем новую рубрику с мини-кейсами по ML, которые можно решать вместе с нами. Все посты можно будет посмотреть по тэгу: #петпроект_MLinside

Первая задача: предсказание цен на недвижимость.
Это классика для Data Scientist и отличное упражнение, чтобы потренировать базовые навыки.

Что предстоит сделать:
▪️ Использовать признаки: площадь, количество комнат, этаж, район, расстояние до центра
▪️ Закодировать категориальные переменные (например, OHE или target encoding)
▪️ Обучить модель: линейную регрессия, случайный лес, бустинг
▪️ Оценить качество: RMSE, MAE, MAPE

Данные можно взять на Kaggle: https://www.kaggle.com/c/house-prices-advanced-regression-techniques. Эта задачка похожа на то, что нужно будет делать ML-инженеру: банки, страховые компании и маркетплейсы решают подобные кейсы каждый день. Сделав эту задачку, вы сможете показать, что умеете мыслить как ML-специалист и писать работающий код.

Готовы попробовать? Делитесь своими результатами в комментариях.

Пост-навигация по каналу

MLinside – это школа машинного обучения от практиков и для практиков. Проект основал Виктор Кантор, эксперт с 15-летним опытом в ML и Big Data. За это время он построил службу машинного обучения в Яндекс.Такси, руководил Big Data в МТС, запустил Академию Больших Данных Mail.Ru, преподает в МФТИ и ВШЭ и стал первым Data Scientist на обложке российского Forbes.

Наши эксперты – директора и практики по ИИ и анализу данных из Яндекс, Сбер, МТС и других крупных компаний – Никита Зелинский (CDS МТС) и Илья Ирхин (CDS Yandex.Eats).

Также, у нас в команде есть практики всех уровней карьерной лестницы: те, кто прошли весь путь, видят картину целиком, мидлы знают, что и как учить, чтобы не застрять в джунах, а те, кто только начинают, понимают, какие вызовы возникают в начале. Вот список экспертов:
▪️ Дмитрий Лялин
▪️ Александр Дубейковский
▪️ Андрей Жогов
▪️ Андрей Тоток
▪️ Влад Кузнецов
▪️ Алексей Пристайко

Какой контент у нас уже есть
▪️объяснения терминов из машинного обучения понятным языком
▪️примеры реальных ML-зачадек
▪️разборы задач с собеседований
▪️советы и рекомендации по поиску работы
▪️анонсы курсов и мероприятий MLinside

Наши регулярные рубрики
#собеседования_MLinside – тут мы разбираем реальные задачки с собеседований. Сначала публикуем задачи, а через несколько дней – ответы на них.
#петпроект_MLinside – рубрика с мини-кейсами по ML, показываем вам реальные задачи, с которыми работают ML-специалисты. Эта рубрика позволит вам потренироваться перед созданием собственного пет-проекта.
#CodeDetective_MLinside – рубрика для тех, кто хочет прокачать навык чтения и анализа чужого кода.


Наши курсы
Чтобы у вас был понятный путь развития, мы создали несколько программ:
▪️«База ML» – курс для тех, кто хочет с нуля или с минимальной базой подготовиться к ML-собеседованиям и научиться строить модели на Python. Попробовать свои силы, посмотреть формат и подачу материала от разных экспертов можно в бесплатном демо-курсе на Stepik.
▪️«ML в бизнесе» – курс о том, как применять машинное обучение в задачах компаний, от рекомендательных систем до антифрода. Этот курс для тех, кто освоил базу в ML и хочет получить больше коммерческого опыта и разобраться, как приносить бизнесу измеряемую в деньгах пользу с помощью ML.
▪️Корпоративный курс по искусственному интеллекту – для компаний, которые хотят эффективно использовать AI в менеджменте, продажах, HR, маркетинге, IT и других отделах.

Что дальше
Многие из вас уже работают программистами, аналитиками или менеджерами и хотят расти в ML, но не всегда понимают, какие шаги делать дальше. Мы создали этот проект именно для этого. Здесь вы сможете обсуждать задачи, делиться опытом и получать поддержку от других участников. Присоединяйтесь к чату и сообществу MLinside.

Добро пожаловать в мир ML и Data Science, нас ждёт увлекательное приключение.

Математика – главный барьер для тех, кто хочет войти в машинное обучение

И это нормально. У большинства новичков именно она вызывает страх. «Я не справлюсь с производными», «Не понимаю, зачем нужны матрицы», «Вероятность, это тёмный лес». Но без этой базы тяжело понять, как работают модели, и сложно пройти собеседование. Из-за этого многие откладывают старт на месяцы, думая: «Сначала подтяну математику», а в итоге просто теряют время.

Чтобы закрыть этот барьер, мы запускаем новый курс по математике для ML.

Спикер курса Сергей Жестков. Практик с 10+ годами преподавания, автор курсов для Сбера, Тинькофф, Otus и Skillbox, дважды «Преподаватель года» МФТИ. В курсе он собрал только ту математику, которая реально нужна в ML и Data Science.

Вот полная программа курса:
▪️ Занятие 1. Отображения/функции/примеры/логарифмическая функция;
▪️ Занятие 2. Производная, её геометрический смысл, правила дифференцирования;
▪️ Занятие 3. Исследование функций с помощью производной, экстремумы, графики;
▪️ Занятие 4. Функции двух переменных. Частные производные. Градиент;
▪️ Занятие 5. Экстремумы ФМП: обычные и условные;
▪️ Занятие 6. Матрицы, операции с ними, детерминанты матриц;
▪️ Занятие 7. Скалярное произведение, уравнение плоскости;
▪️ Занятие 8. Классическая вероятность, условная вероятность;
▪️ Занятие 9. Дискретные случайные величины, их характеристики;
▪️ Занятие 10. Непрерывные распределения, ЦПТ.

Курс будет особенно полезен тем, кто планирует идти на 4-й поток «База ML», который начнется 13 октября. Курс даст уверенность в математике и поможет сосредоточиться именно машинном обучении.

Это первый поток и сейчас у вас есть возможность записаться на курс с максимальной сидкой. Заполните форму для предзаписи и с вами свяжется менеджер и ответит на все вопросы.

Вопросы на собеседовании, которые выдают реальную работу

На собеседовании вам задают вопросы не только для проверки знаний. Они часто показывают, какая именно работа вас ждет после оффера

Многие думают, что собеседование в ML, это просто проверка знаний. Но сами вопросы могут сообщить о том, чем вы будете заниматься после оффера. Представьте ситуацию: вы приходите на позицию «ML Engineer», а половина собеседования уходит на SQL и Excel. Кажется странным, но на самом деле, это сигнал, что скорей всего, работа будет больше аналитическая, чем связанная с моделями.

Какие вопросы стоит слушать особенно внимательно?
▪️ PR-кривая, Precision и Recall – значит, будут задачи ближе к бизнес-метрикам и оценке моделей.
▪️ Гиперпараметры, CatBoost, нейросети – ждут, что вы будете глубоко копаться в ML.
▪️ SQL, join’ы, оконные функции – готовьтесь к большим объемам аналитики и работы с данными.
▪️ Python, структуры данных – будет акцент на разработку и оптимизацию.

Да, конечно, многое зависит от уровня позиции. Джунам редко задают вопросы по сложным архитектурам нейросетей, а вот про P-value или t-тест спросят почти всегда. Но именно баланс вопросов показывает, какая работа вам предстоит.

Собеседование это не экзамен, а диалог, где важно слушать не только себя, но и интервьюеров. По их вопросам можно заранее понять, совпадает ли будущая роль с вашими целями или нет. Чем внимательнее вы к деталям на этапе собеседования, тем меньше шансов оказаться на позиции, где ждут одного, а вам интересно совсем другое.

Заполните анкету предзаписи на 4ый поток курса «База ML» и мы отправим вам документ с 15 самыми популярными вопросами с собеседований и ответы на них.

«Большое спасибо за интерес к вакансии! К сожалению, сейчас мы не готовы пригласить вас на следующий этап»

Узнали? Согласны? На HH и других платформах тысячи кандидатов получают такие отказы каждый день. Но не все знают, что их резюме даже не дошло до рекрутера, а сработала автоматическая система. И вы наверняка слышали, что в IT индустрии сейчас кризис. Огромная конкуренция среди кандидатов и тысячи откликов на одну вакансию.

Как пробиться через ATS системы и HR отделы, чтобы выйти на техническое собеседование и показать свои реальные навыки?

Разберем 30 сентября в 19:00 по МСК с нашим экспертом Александром Дубейковским (Middle+ ML-engineer в Авито, ex-Yandex). Вы наверняка его уже видели во время мок-собеседований в конце августа.

На этот раз на вебинаре обсудим:
▪️ какие hard-скиллы требуются сейчас от junior ML специалистов;
▪️ какие ошибки в резюме и откликах допускает большинство кандидатов;
▪️ как составить резюме и сопроводительное письмо, чтобы их не «зарубили» автоматические системы и HR;
▪️ как вести себя на интервью, чтобы выделиться среди десятков кандидатов.

Регистрируйтесь на вебинар уже сейчас, будет полезно!

Вот так у нас обычно выглядят съемки видео для YouTube. И да, это спойлер к тому, что на YouTube скоро выйдет много нового контента, подписывайтесь.

А уже 30 сентября в 19:00 МСК пройдёт вебинар с Александром Дубейковским «Кризис в IT: как пробиться через фильтры и выйти на собеседование». Регистрируйтесь заранее, если еще этого не сделали.

Code Detective

Запускаем новую рубрику . Она для тех, кто хочет прокачать навык чтения и анализа чужого кода – крайне полезный навык в работе.

Вот фрагмент кода:

import pandas as pd

data = pd.DataFrame({
    'age': [25, 30, 35, 40],
    'salary': [50000, 60000, 80000, 70000]
})

# Выбрать людей с зарплатой > 60k и возрастом < 35
filtered = data[data['salary'] > 60000 and data['age'] < 35]
print(filtered)

На первый взгляд всё выглядит нормально. Или нет? Тут есть ошибка? Если есть, напишите в комментариях:
1. Какую ошибку нашли;
2. Варианты её исправления.

Ответ мы опубликуем завтра, а посты для этой рубрики будем собирать по хэштегу: #CodeDetective_MLinside

Как и обещали, вот ответ на вчерашний пост. Да, в коде есть ошибка.

Объяснение:

Операторы and/or не работают поэлементно. Нужны & и |, и скобки

Исправление:

filtered = data[(data['salary'] > 60000) & (data['age'] < 35)]
print(filtered)

#CodeDetective_MLinside

Уже сегодня в 19:00 МСК Александр Дубейковский (Middle+ ML-engineer в Авито, ex-Yandex) проведет вебинар «Про кризис в IT и как пробиться на собеседование»

На вебинаре обсудим:
▪️какие hard-скиллы требуются сейчас от junior ML специалистов;
▪️ какие ошибки в резюме и откликах допускает большинство кандидатов;
▪️ как составить резюме и сопроводительное письмо, чтобы их не «зарубили» автоматические системы и HR;
▪️ как вести себя на интервью, чтобы выделиться среди десятков кандидатов.

Регистрируйтесь на вебинар, если еще этого не сделали и до встречи

Как проходит рабочий день ML-инженера

Обсудим 8 октября в 19:00 по МСК на вебинаре с экспертом MLinside Андреем Жоговым (Sber GigaCode team)

О чем поговорим на вебинаре:
▪️ кто такой ML-инженер и чем он реально занимается;
▪️ как проходит первый рабочий день и адаптация;
▪️ как выглядит типичный день в профессии;
▪️ в чём разница между корпорацией и стартапом;
▪️ какие есть карьерные пути и перспективы.

Регистрируйтесь на вебинар и узнайте, как на самом деле устроена работа ML-инженера