😳 Чей способ лучше, мой или от GPT? Только честно

Кажется, gpt решила и меня заменить.

Теперь она будет с вами лайф-хаками делиться. Ждем, когда она выиграет первую медаль на Kaggle.

Кого только не встретишь в Таиланде?!

🏄‍♀️ С аппетитом посерфили с Женей и кайфово поболтали за мир DS/ML с высоты тим-лида.

☝️Кстати, Женя матерый competitive data scientist. Заметил его когда-то в топе соревнований на Boosters. (Хотя на Kaggle его так и не уговорил) А еще у Жени есть классный канал, где он делится опытом решаемых задач в Альфе с помощью ML’я.

Канал прикольный, но не помню ссылку. Подскажите?

🎙Если в Бангкоке встретимся на новый год, то запишем подкаст. 🎥📝

#физтехи_повсюду

Раздаю свои долги перед наступающим годом.

📢 Разбор kaggle-соревнования "American Express" в гостях у MISIS AI Lab

Вместе с ребятами из MISIS AI Lab, у которых сейчас идет открытый курс по ML, решили провести онлайн разбор решения kaggle-задачи на предсказанию дефолтов по кредиту, о чем кстати недавно выходила статья на хабре

Поговорим о том, какие методы и техники обычно хороши при решении, казалось бы, обычных табличных соревнований. Обсудим методы стабилизации ML моделей. Возможно разберем что-то из текущих соревнований на Kaggle.

Так же разберемся, что за опенсорс курсы делают эти ребята из МИСИС.

Сегодня, 12 декабря, в 18:00 встречаемся на занятии. Подключение к лекции по ссылке → link

Придумал очень простую интуитивную аналогию, чтоб объяснить почему смешивание (блендинг) моделей работает.

Есть у вас две модели. Пусть это не модели, а две аудитории двух блогеров. Решено сделать блендинг (кросс-постинг), чтоб максимально увеличить суммарную аудиторию (точность).

😵‍💫 Если это две полностью совпадающие аудитории (одни и те же люди), то от такой взаимной рекламы у вас не будет прироста ни в одном канале. В этом вообще нет смысла.

🤔 А вот если аудитории вообще никак не пересекаются (диверсифицированные модели), но тематики схожие, то при смешивании, вероятность, что уникальные люди из одного канала перейдут в другой будет сильно выше.

🍽 При смешивании ответов нескольких моделей механика полностью аналогична. Это и снижении одновременной ошибки объясняет и баес от допущений каждой из моделей и так далее.

🎓 Это я недавно так объяснял, в чем понт смешивать модели и какие модели вообще полезно смешивать. Быстро дошло.

Уперлись с командой в очень необычный кейс ...

Вот у нас есть три предобученные модели, на тесте эти модели дают метрику 0.90, 0.80 и 0.70. (чем больше, тем лучше)

Мы решили построить и отвалидировать ансамбль из трех моделей на трейне. Подали прогнозы моделей как фичи + дополнительные фичи в бустинг. Как итог, бустинг отранжировал выходы моделей по важности абсолютно противоположно тесту. Более того, на тесте ансамбль дал значение метрики r ~ 0.75 😳 Хотя если тупо усреднить с весами, дает >0.9

Вот думаем, что делать) Как смешивать? Как выбить мета моделью больше 0.9? Метрика на тесте - корреляция Спирмена.

Из идей, навесить на фичи веса, чтоб бустинг через "не хочу" ранжировал фичи в соответствии с информацией с теста.

#Kaggle

👆В целом, это верный путь почти в любой сфере. Если сильно надо - бьешь в одну точку, пока не треснет.

😳 Кстати, спасибо за ваши ответы вчера. Мы все внимательно прочитали и нашли пару идей для себя. Мне понравились варианты с Adversarial Validation и со смешиванием моделей заранее в единую фичу с весами пропорционально известной точности (корреляции) на тесте. Последнее, кажется, может докинуть. Надеюсь, вам тоже было полезно подумать над кейсом.

💪 Аудитория у меня, конечно, заряженная

🏆 Взобраться в топ Kaggle без ML

⛔️ Узнал необычный “трюк” по соревнованиям, где метрика - корреляция.

💥 Накидываете на свой ответ шум и скор с ненулевой вероятностью подрастает. Если скор подрос, накидываете еще шум и так пока не станете медалистом. Оказывается, нужно не так много попыток, чтоб зайти в золото и обессмыслить лидерборд.

🤔 Вопрос, можно ли так выиграть на привате?

А пока на борде идет неразбериха, мы продолжаем с тиммейтами валидировать модели в текущем чемпионате. Радует, что локальная валидация коррелирует с бордом.

✅ Еще один, но уже нормальный трюк, который внезапно помог - это учить ансамбль моделей на тех данных, на которых базовые модели имеют такую же точность как и на тесте. То есть выбираете «легкие» для модели объекты. Это аля такой мета-лернинг.

🤪 Очень парадоксально, но в этом чемпионате можно проверять модели сперва на тесте, а только потом уже валидировать на трейне

#kaggle
#Novozymes

Выиграть 100к или как написать лучшую статью на Хабре.

😐 Год уходит. Подводить итоги буду завтра, а сейчас просто хочу поделиться небольшой радостью. Выиграл в конкурсе авторов!

😄 За этот год я написал 8 статей на Хабре. Почти каждая была в топе лучших среди недели. Три из них висели в топе лучших за месяц. Про массовые репосты другими группами вообще молчу. А одна оказалась в топе всех топов, закинув меня в топ-1 на Хабре и, как выяснилось сегодня, принесла мне возможность покрыть расходы на идею с курсами на 100к, о которой писал выше.

🤖 Кстати, перед публикацией той статьи у меня не было в мыслях выставлять ее на конкурс, я просто классно провел время играя с новой игрушкой и фантазируя над альтернативами для лого red_mad_robot. На момент завершения статьи, у меня встал выбор, добавить в статью рекламу и получить ~3-5к или просто публикануть, включив в конкурс.

🍽 Чтоб выиграть, мне надо было побороть хотя бы победителя прошлых лет. Спарсив рейтинги других статей Хабра и сравнив со своими - понял, что мат ожидание выигрыша трое кратно выше, чем просто разовая плата. Как видите, оценка была хорошей.

😳 Знаете почему я вообще начал писать свои статьи? Все от дури! Однажды ночью мою голову просто разрывал поток мыслей и идей, не дающих спать.

😵‍💫 Не переселив желание поделиться, я просто сел за чистый ворд и начала писать, облегчая так свой "приступ". Так родилась моя первая статья, которую по фану решил заслать на Хабр утром. Тот день был моим первым рабочим днем в Х5.

🤫 Мне очень нравится делиться/писать про штуки, которыми редко кто стал бы делиться. Всякий технический схематоз - это прям мое любимое, то за что я полюбил Хабр.

👻 Скучно писать что-то, про что писали уже до тебя, а вот накропать что-то такое от чего читатель сказал бы: "Вау, это надо запомнить" - это бесценно.

#Хабр #Aleron
#red_mad_robot #ruvds
@datafeeling

Традиционно подвожу итоги года и ставлю новые цели 🎯

⛔️ Титул Kaggle мастера - эх, не хватило золотой медали, что ж - стало быть за 2023-й год надо добить уже до Kaggle Grand мастера
✅ Вебинары совместно с Deep Learning School - тут я постарался и внес свой вклад в несколько модулей. Про новый запуски DLS слышали многие.
✅ Довести 3-х людей до медалек на Kaggle - я довел 7-х человек.
⛔️ Стать лидом в X5 - не вышло, но я получил за год большой опыт управления технической командой из 3-х человек.
🟡 Выпустить авторский интенсив по DS - анонса не было, но уже в январе мы его запустим.
✅ Опубликовать научную статью - за этот код я вошел в авторство двух научных статей, где закрывал анализ биологических данных.

✅ Не было моей целью, но горжусь, что под моим началом запустились 7 интересных data блогеров. Приятно было повлиять так сильно на индустрию анализа данных. Это круто!

💪 Что сделаю за 2023-й год?
🌟 Kaggle Grand Master
🌟 Выведу в медали на Kaggle 30 человек
🌟 Сдам IELTS на 8 баллов
🌟 Проведу через свой курс по соревновательному анализу данных 300 человек.
🌟 Нарешаю 250 LeetCode задачек
🌟 Выведу свой пет-проект по аналитике на самоокупаемость
🌟 Пройду и засниму собеседование в МААНГ-like компанию
🌟 Напишу на Хабр 25 новых статей.
🌟 10К подписчиков @datafeeling

Год будет драйвовее предыдущего. Всех с наступающим, мои чемпионы!