А вот и ответы на вопросы из вчерашнего поста

1️⃣ Какая модель лучше разделяет классы, у которой ROC-AUC равен 0.87 или 0.1?

Модель с рок-ауком 0.1, так как она разделяет классы очень хорошо, просто путает их в предсказании. Инвертировав предсказания мы получим рок-аук 0.9, что больше 0.87.

2️⃣ Зачем нужна PR-кривая?

PR-кривая (precision-recall) особенно полезна при сильном дисбалансе классов, где ROC-AUC может вводить в заблуждение, показывая высокий результат за счёт большого числа true negative. Она фокусируется на качестве положительных предсказаний, показывая, насколько хорошо модель находит редкие, но важные объекты (например, фрод или болезни). В практике она помогает выбрать порог вероятности, а так же сравнивать модели по значимым метрикам в условиях малого положительного класса.

3️⃣ Как бороться с дисбалансом классов в данных?

С дисбалансом классов можно бороться как на уровне данных (oversampling редкого класса — например, SMOTE, или undersampling частого), так и на уровне модели — через использование взвешенной функции потерь (class weights) или кастомной метрики оптимизации. Важно также выбирать метрики, устойчивые к дисбалансу, такие как PR-AUC, F1-score. На практике часто комбинируют подходы, а ещё используют стратифицированную валидацию.

#собеседования_MLinside

Недавно мы провели опрос: чем вы занимаетесь?

234 человека приняли участие и 26% выбрали вариант «другое». Четверть аудитории! Это значит, что за этим скрываются интересные истории, которые мы пока не знаем. А скоро у нас стартует 4-й поток «База ML», и нам важно услышать вас, чтобы сделать программу и контент ещё полезнее и интереснее.

Мы собираем обратную связь через короткую форму. А для тех, кто не просто заполнит её, но и выйдет с нами на короткий созвон, мы подарим промокод на скидку к новому потоку.

Поделитесь своим опытом — это поможет нам выстроить действительно полезную и актуальную программу курса и контент в этом канале: https://forms.yandex.ru/cloud/68c280364936390d955149ec

Учимся на практике: решаем реальные ML-задачки

Теория без практики быстро забывается. А вот решение задач из реальных проектов это то, что останется в портфолио и поможет на собеседованиях. Поэтому мы запускаем новую рубрику с мини-кейсами по ML, которые можно решать вместе с нами. Все посты можно будет посмотреть по тэгу: #петпроект_MLinside

Первая задача: предсказание цен на недвижимость.
Это классика для Data Scientist и отличное упражнение, чтобы потренировать базовые навыки.

Что предстоит сделать:
▪️ Использовать признаки: площадь, количество комнат, этаж, район, расстояние до центра
▪️ Закодировать категориальные переменные (например, OHE или target encoding)
▪️ Обучить модель: линейную регрессия, случайный лес, бустинг
▪️ Оценить качество: RMSE, MAE, MAPE

Данные можно взять на Kaggle: https://www.kaggle.com/c/house-prices-advanced-regression-techniques. Эта задачка похожа на то, что нужно будет делать ML-инженеру: банки, страховые компании и маркетплейсы решают подобные кейсы каждый день. Сделав эту задачку, вы сможете показать, что умеете мыслить как ML-специалист и писать работающий код.

Готовы попробовать? Делитесь своими результатами в комментариях.

Пост-навигация по каналу

MLinside – это школа машинного обучения от практиков и для практиков. Проект основал Виктор Кантор, эксперт с 15-летним опытом в ML и Big Data. За это время он построил службу машинного обучения в Яндекс.Такси, руководил Big Data в МТС, запустил Академию Больших Данных Mail.Ru, преподает в МФТИ и ВШЭ и стал первым Data Scientist на обложке российского Forbes.

Наши эксперты – директора и практики по ИИ и анализу данных из Яндекс, Сбер, МТС и других крупных компаний – Никита Зелинский (CDS МТС) и Илья Ирхин (CDS Yandex.Eats).

Также, у нас в команде есть практики всех уровней карьерной лестницы: те, кто прошли весь путь, видят картину целиком, мидлы знают, что и как учить, чтобы не застрять в джунах, а те, кто только начинают, понимают, какие вызовы возникают в начале. Вот список экспертов:
▪️ Дмитрий Лялин
▪️ Александр Дубейковский
▪️ Андрей Жогов
▪️ Андрей Тоток
▪️ Влад Кузнецов
▪️ Алексей Пристайко

Какой контент у нас уже есть
▪️объяснения терминов из машинного обучения понятным языком
▪️примеры реальных ML-зачадек
▪️разборы задач с собеседований
▪️советы и рекомендации по поиску работы
▪️анонсы курсов и мероприятий MLinside

Наши регулярные рубрики
#собеседования_MLinside – тут мы разбираем реальные задачки с собеседований. Сначала публикуем задачи, а через несколько дней – ответы на них.
#петпроект_MLinside – рубрика с мини-кейсами по ML, показываем вам реальные задачи, с которыми работают ML-специалисты. Эта рубрика позволит вам потренироваться перед созданием собственного пет-проекта.
#CodeDetective_MLinside – рубрика для тех, кто хочет прокачать навык чтения и анализа чужого кода.


Наши курсы
Чтобы у вас был понятный путь развития, мы создали несколько программ:
▪️«База ML» – курс для тех, кто хочет с нуля или с минимальной базой подготовиться к ML-собеседованиям и научиться строить модели на Python. Попробовать свои силы, посмотреть формат и подачу материала от разных экспертов можно в бесплатном демо-курсе на Stepik.
▪️«ML в бизнесе» – курс о том, как применять машинное обучение в задачах компаний, от рекомендательных систем до антифрода. Этот курс для тех, кто освоил базу в ML и хочет получить больше коммерческого опыта и разобраться, как приносить бизнесу измеряемую в деньгах пользу с помощью ML.
▪️Корпоративный курс по искусственному интеллекту – для компаний, которые хотят эффективно использовать AI в менеджменте, продажах, HR, маркетинге, IT и других отделах.

Что дальше
Многие из вас уже работают программистами, аналитиками или менеджерами и хотят расти в ML, но не всегда понимают, какие шаги делать дальше. Мы создали этот проект именно для этого. Здесь вы сможете обсуждать задачи, делиться опытом и получать поддержку от других участников. Присоединяйтесь к чату и сообществу MLinside.

Добро пожаловать в мир ML и Data Science, нас ждёт увлекательное приключение.

Математика – главный барьер для тех, кто хочет войти в машинное обучение

И это нормально. У большинства новичков именно она вызывает страх. «Я не справлюсь с производными», «Не понимаю, зачем нужны матрицы», «Вероятность, это тёмный лес». Но без этой базы тяжело понять, как работают модели, и сложно пройти собеседование. Из-за этого многие откладывают старт на месяцы, думая: «Сначала подтяну математику», а в итоге просто теряют время.

Чтобы закрыть этот барьер, мы запускаем новый курс по математике для ML.

Спикер курса Сергей Жестков. Практик с 10+ годами преподавания, автор курсов для Сбера, Тинькофф, Otus и Skillbox, дважды «Преподаватель года» МФТИ. В курсе он собрал только ту математику, которая реально нужна в ML и Data Science.

Вот полная программа курса:
▪️ Занятие 1. Отображения/функции/примеры/логарифмическая функция;
▪️ Занятие 2. Производная, её геометрический смысл, правила дифференцирования;
▪️ Занятие 3. Исследование функций с помощью производной, экстремумы, графики;
▪️ Занятие 4. Функции двух переменных. Частные производные. Градиент;
▪️ Занятие 5. Экстремумы ФМП: обычные и условные;
▪️ Занятие 6. Матрицы, операции с ними, детерминанты матриц;
▪️ Занятие 7. Скалярное произведение, уравнение плоскости;
▪️ Занятие 8. Классическая вероятность, условная вероятность;
▪️ Занятие 9. Дискретные случайные величины, их характеристики;
▪️ Занятие 10. Непрерывные распределения, ЦПТ.

Курс будет особенно полезен тем, кто планирует идти на 4-й поток «База ML», который начнется 13 октября. Курс даст уверенность в математике и поможет сосредоточиться именно машинном обучении.

Это первый поток и сейчас у вас есть возможность записаться на курс с максимальной сидкой. Заполните форму для предзаписи и с вами свяжется менеджер и ответит на все вопросы.

Вопросы на собеседовании, которые выдают реальную работу

На собеседовании вам задают вопросы не только для проверки знаний. Они часто показывают, какая именно работа вас ждет после оффера

Многие думают, что собеседование в ML, это просто проверка знаний. Но сами вопросы могут сообщить о том, чем вы будете заниматься после оффера. Представьте ситуацию: вы приходите на позицию «ML Engineer», а половина собеседования уходит на SQL и Excel. Кажется странным, но на самом деле, это сигнал, что скорей всего, работа будет больше аналитическая, чем связанная с моделями.

Какие вопросы стоит слушать особенно внимательно?
▪️ PR-кривая, Precision и Recall – значит, будут задачи ближе к бизнес-метрикам и оценке моделей.
▪️ Гиперпараметры, CatBoost, нейросети – ждут, что вы будете глубоко копаться в ML.
▪️ SQL, join’ы, оконные функции – готовьтесь к большим объемам аналитики и работы с данными.
▪️ Python, структуры данных – будет акцент на разработку и оптимизацию.

Да, конечно, многое зависит от уровня позиции. Джунам редко задают вопросы по сложным архитектурам нейросетей, а вот про P-value или t-тест спросят почти всегда. Но именно баланс вопросов показывает, какая работа вам предстоит.

Собеседование это не экзамен, а диалог, где важно слушать не только себя, но и интервьюеров. По их вопросам можно заранее понять, совпадает ли будущая роль с вашими целями или нет. Чем внимательнее вы к деталям на этапе собеседования, тем меньше шансов оказаться на позиции, где ждут одного, а вам интересно совсем другое.

Заполните анкету предзаписи на 4ый поток курса «База ML» и мы отправим вам документ с 15 самыми популярными вопросами с собеседований и ответы на них.

«Большое спасибо за интерес к вакансии! К сожалению, сейчас мы не готовы пригласить вас на следующий этап»

Узнали? Согласны? На HH и других платформах тысячи кандидатов получают такие отказы каждый день. Но не все знают, что их резюме даже не дошло до рекрутера, а сработала автоматическая система. И вы наверняка слышали, что в IT индустрии сейчас кризис. Огромная конкуренция среди кандидатов и тысячи откликов на одну вакансию.

Как пробиться через ATS системы и HR отделы, чтобы выйти на техническое собеседование и показать свои реальные навыки?

Разберем 30 сентября в 19:00 по МСК с нашим экспертом Александром Дубейковским (Middle+ ML-engineer в Авито, ex-Yandex). Вы наверняка его уже видели во время мок-собеседований в конце августа.

На этот раз на вебинаре обсудим:
▪️ какие hard-скиллы требуются сейчас от junior ML специалистов;
▪️ какие ошибки в резюме и откликах допускает большинство кандидатов;
▪️ как составить резюме и сопроводительное письмо, чтобы их не «зарубили» автоматические системы и HR;
▪️ как вести себя на интервью, чтобы выделиться среди десятков кандидатов.

Регистрируйтесь на вебинар уже сейчас, будет полезно!

Вот так у нас обычно выглядят съемки видео для YouTube. И да, это спойлер к тому, что на YouTube скоро выйдет много нового контента, подписывайтесь.

А уже 30 сентября в 19:00 МСК пройдёт вебинар с Александром Дубейковским «Кризис в IT: как пробиться через фильтры и выйти на собеседование». Регистрируйтесь заранее, если еще этого не сделали.

Code Detective

Запускаем новую рубрику . Она для тех, кто хочет прокачать навык чтения и анализа чужого кода – крайне полезный навык в работе.

Вот фрагмент кода:

import pandas as pd

data = pd.DataFrame({
    'age': [25, 30, 35, 40],
    'salary': [50000, 60000, 80000, 70000]
})

# Выбрать людей с зарплатой > 60k и возрастом < 35
filtered = data[data['salary'] > 60000 and data['age'] < 35]
print(filtered)

На первый взгляд всё выглядит нормально. Или нет? Тут есть ошибка? Если есть, напишите в комментариях:
1. Какую ошибку нашли;
2. Варианты её исправления.

Ответ мы опубликуем завтра, а посты для этой рубрики будем собирать по хэштегу: #CodeDetective_MLinside

Как и обещали, вот ответ на вчерашний пост. Да, в коде есть ошибка.

Объяснение:

Операторы and/or не работают поэлементно. Нужны & и |, и скобки

Исправление:

filtered = data[(data['salary'] > 60000) & (data['age'] < 35)]
print(filtered)

#CodeDetective_MLinside

Уже сегодня в 19:00 МСК Александр Дубейковский (Middle+ ML-engineer в Авито, ex-Yandex) проведет вебинар «Про кризис в IT и как пробиться на собеседование»

На вебинаре обсудим:
▪️какие hard-скиллы требуются сейчас от junior ML специалистов;
▪️ какие ошибки в резюме и откликах допускает большинство кандидатов;
▪️ как составить резюме и сопроводительное письмо, чтобы их не «зарубили» автоматические системы и HR;
▪️ как вести себя на интервью, чтобы выделиться среди десятков кандидатов.

Регистрируйтесь на вебинар, если еще этого не сделали и до встречи

Как проходит рабочий день ML-инженера

Обсудим 8 октября в 19:00 по МСК на вебинаре с экспертом MLinside Андреем Жоговым (Sber GigaCode team)

О чем поговорим на вебинаре:
▪️ кто такой ML-инженер и чем он реально занимается;
▪️ как проходит первый рабочий день и адаптация;
▪️ как выглядит типичный день в профессии;
▪️ в чём разница между корпорацией и стартапом;
▪️ какие есть карьерные пути и перспективы.

Регистрируйтесь на вебинар и узнайте, как на самом деле устроена работа ML-инженера

Уже через несколько дней у нас пройдёт вебинар с Андреем Жоговым на тему «Один день из жизни ML-инженера»

Поговорим про адаптацию и первые рабочие дни в профессии, обсудим разницу работы в крупных корпорациях и стартапах и конечно же затронем темы перспектив и карьерного пути. Если еще не регистрировались, сделайте это прямо сейчас.

А на видео – то, как проходила съемка ролика для YouTube. Андрей на нашем канале появился совсем недавно, как вам видео с ним?

«Математика для ML»: первый поток и лучшие условия для вас

Скоро стартует наш новый курс и так как это первый поток, на него сейчас самые выгодные условия и осталось всего 10 мест.

Мы знаем, что большая часть нашей аудитории любит математику, но могли забыть какие-то важные темы, так как давно в ней не практиковались. Конечно же, еще есть часть людей, кого математика пугает. Производные, матрицы, вероятность – все эти страшные слова из-за которых изучение ML постоянно откладывается. Поэтому, мы взяли только ту математику, которая реально нужна в ML и Data Science.

Что даст курс:
▪️быстро освежите и систематизируете ключевые разделы – производные, градиент, экстремумы, матрицы и операции с ними,
▪️вероятности, распределения, ЦПТ;
▪️будете уверенно считать и обосновывать решения в задачах на математику;
▪️получите базу для входа в серьезные курсы и программы по ML.

Курс ведёт Сергей Жестков – математик-практик с 10+ годами преподавания, дважды «Преподаватель года» МФТИ? автор курсов для Сбера, Тинькофф, Otus и Skillbox.

Старт 13 октября. На первый поток будет максимальная скидка, потом цена вырастет. Заполняйте короткую форму предзаписи и наш менеджер свяжется с вами и ответит на все вопросы.

Нетворкинг > резюме

Можно откликнуться на 100 вакансий и не получить ни одного внятного ответа. А сходить на профильную конференцию и попасть на собеседование.

Очевидный факт, который все знают, но используют единицы:
HR и ATS-фильтры отсекают джунов ещё до интервью. Но рекомендация внутри компании почти гарантирует, что ваше резюме реально посмотрят и скорей всего, назначат собеседование.

Как это сделать:
1. Сначала вы идёте на конференцию или хакатон и прямо спрашиваете у спикера: «Что мне сделать, чтобы попасть к вам в команду?»
2. Дальше выполняете его условия. Может быть решаете задачи, или делаете pet-проект, или прокачиваете какой-то конкретный навык. Тут важно зафиксировать результат. Это может быть код на GitHub, таблица прогресса или короткий отчёт.
3. И финальный шаг, вернуться к этому человеку со словами: «Я сделал то, о чём вы говорили. Вот результат». Это превращает обычное знакомство в почти стопроцентную рекомендацию.

Если выделить из этого поста одну самую ключевую мысль, то вот она:

Компании ищут не только хард-скиллы, но и мотивацию. Если вы показываете, что умеете доводить задачи до конца, шанс на оффер резко растёт.

А вы пробовали искать работу через нетворкинг? Будем рады, если поделитесь опытом в комментариях.

Как пройти HR-этап ML-специалистам

Обсудим 17 октября в 19:00 по МСК на вебинаре с экспертом MLinside Анастасией Рагозиной (лид-рекрутер с опытом 7 лет в IT компаниях)

На вебинаре Анастасия расскажет:
▪️ что именно работодатели ждут от соискателей;
▪️ на что HR специалисты смотрят в резюме;
▪️ поделится лайфхаками, которые помогут на собеседованиях;
▪️ и ответит на ваши вопросы.

Регистрируйтесь на вебинар и подготовьтесь к будущим собеседованиям

Уже завтра стартует наш новый курс «Математика для ML»

Мы собрали самые частые вопросы о курсе и подготовили ответы на них

Какой будет формат курса?

Занятия будут проходить онлайн, с возможностью напрямую пообщаться со спикером курса – Сергеем Жестковым. Занятия будут проходить раз в неделю по 1,5 часа в ZOOM. По каждой теме будут домашние задания с проверкой.

Когда будут проводиться занятия?

Мы в начале обучения проведем опрос в закрытом телеграм-канале с участниками курса, чтобы выбрать удобный день недели или удобную дату и время предстоящего вебинара. Так каждый участник курса и преподаватель смогут быть в удобное для всех время. Обычно занятия проводятся вечером в будние дни.

Сколько стоит курс?

Курс новый, нам важно собрать обратную связь от учеников, так что на первый поток мы сделали скидку – сейчас этот курс стоит 22 000 рублей. Курс можно оплатить в рассрочку, по частям или от компании. Со следующего потока курс будет стоить 38 000 рублей.

Сколько людей будет в группе?

На этот курс запланировано 20-25 человек. Осталось 5 мест.

Если всё понятно и вы уже ищете ссылку, чтобы записаться на курс, то вот она. Заполняйте короткую форму предзаписи и наш менеджер свяжется с вами в ближайшее время.

4 поток курса «База ML» стартует сегодня

Мы сделали апдейт по отзывам выпускников предыдущих потоков. Вас ждёт еще больше практики, измеримые цели в каждом модуле и понятный маршрут от математики и Python до метрик и задач с собеседований.

Кому подойдёт курс:
▪️ новички и junior – разберетесь в базовых алгоритмах и соберете первые проекты
▪️ аналитики – добавите ML к рабочим задачам и ускорите эксперименты
▪️ разработчики – системно зайдете в ML, сократите время на прототипы
▪️ менеджеры – начнете говорить с командой на одном языке, лучше оценивать сроки/результаты

Формат курса: видеолекции 1–2 ч/неделю + вебинары 1–1,5 ч/неделю. Курс можно пройти за 4-6 месяцев, в зависимости от вашего уровня и количества времени, которое вы готовы уделять обучению.

Модули: математика и Python → классический ML → метрики и валидация → задачи с собеседований
+Домашки в Jupyter и мини-соревнования внутри группы

Уже во время прохождения курса вы соберете работающие модели, поймете, как выбирать алгоритмы и метрики и подготовитесь к ML-секции собеседований. Доступ к материалам курса у вас сохранится бессрочно, вы получите обратную связь по домашним заданиям и сможете присоединиться к комьюнити MLщиков.

Наши эксперты: Виктор Кантор, Никита Зелинский, Илья Ирхин — практики C-level/VP с опытом в Яндекс, МТС и Сбере. А также Дмитрий Лялин, Александр Дубейковский, Андрей Жогов, Алексей Пристайко, Владислав Кузнецов, Андрей Тоток и другие.

Уже сегодня пройдёт стартовый вебинар. Оставьте заявку, а мы поможем с выбором и ответим на все вопросы.