Кого только не встретишь в Таиланде?!

🏄‍♀️ С аппетитом посерфили с Женей и кайфово поболтали за мир DS/ML с высоты тим-лида.

☝️Кстати, Женя матерый competitive data scientist. Заметил его когда-то в топе соревнований на Boosters. (Хотя на Kaggle его так и не уговорил) А еще у Жени есть классный канал, где он делится опытом решаемых задач в Альфе с помощью ML’я.

Канал прикольный, но не помню ссылку. Подскажите?

🎙Если в Бангкоке встретимся на новый год, то запишем подкаст. 🎥📝

#физтехи_повсюду

Раздаю свои долги перед наступающим годом.

📢 Разбор kaggle-соревнования "American Express" в гостях у MISIS AI Lab

Вместе с ребятами из MISIS AI Lab, у которых сейчас идет открытый курс по ML, решили провести онлайн разбор решения kaggle-задачи на предсказанию дефолтов по кредиту, о чем кстати недавно выходила статья на хабре

Поговорим о том, какие методы и техники обычно хороши при решении, казалось бы, обычных табличных соревнований. Обсудим методы стабилизации ML моделей. Возможно разберем что-то из текущих соревнований на Kaggle.

Так же разберемся, что за опенсорс курсы делают эти ребята из МИСИС.

Сегодня, 12 декабря, в 18:00 встречаемся на занятии. Подключение к лекции по ссылке → link

Придумал очень простую интуитивную аналогию, чтоб объяснить почему смешивание (блендинг) моделей работает.

Есть у вас две модели. Пусть это не модели, а две аудитории двух блогеров. Решено сделать блендинг (кросс-постинг), чтоб максимально увеличить суммарную аудиторию (точность).

😵‍💫 Если это две полностью совпадающие аудитории (одни и те же люди), то от такой взаимной рекламы у вас не будет прироста ни в одном канале. В этом вообще нет смысла.

🤔 А вот если аудитории вообще никак не пересекаются (диверсифицированные модели), но тематики схожие, то при смешивании, вероятность, что уникальные люди из одного канала перейдут в другой будет сильно выше.

🍽 При смешивании ответов нескольких моделей механика полностью аналогична. Это и снижении одновременной ошибки объясняет и баес от допущений каждой из моделей и так далее.

🎓 Это я недавно так объяснял, в чем понт смешивать модели и какие модели вообще полезно смешивать. Быстро дошло.

Уперлись с командой в очень необычный кейс ...

Вот у нас есть три предобученные модели, на тесте эти модели дают метрику 0.90, 0.80 и 0.70. (чем больше, тем лучше)

Мы решили построить и отвалидировать ансамбль из трех моделей на трейне. Подали прогнозы моделей как фичи + дополнительные фичи в бустинг. Как итог, бустинг отранжировал выходы моделей по важности абсолютно противоположно тесту. Более того, на тесте ансамбль дал значение метрики r ~ 0.75 😳 Хотя если тупо усреднить с весами, дает >0.9

Вот думаем, что делать) Как смешивать? Как выбить мета моделью больше 0.9? Метрика на тесте - корреляция Спирмена.

Из идей, навесить на фичи веса, чтоб бустинг через "не хочу" ранжировал фичи в соответствии с информацией с теста.

#Kaggle

👆В целом, это верный путь почти в любой сфере. Если сильно надо - бьешь в одну точку, пока не треснет.

😳 Кстати, спасибо за ваши ответы вчера. Мы все внимательно прочитали и нашли пару идей для себя. Мне понравились варианты с Adversarial Validation и со смешиванием моделей заранее в единую фичу с весами пропорционально известной точности (корреляции) на тесте. Последнее, кажется, может докинуть. Надеюсь, вам тоже было полезно подумать над кейсом.

💪 Аудитория у меня, конечно, заряженная

🏆 Взобраться в топ Kaggle без ML

⛔️ Узнал необычный “трюк” по соревнованиям, где метрика - корреляция.

💥 Накидываете на свой ответ шум и скор с ненулевой вероятностью подрастает. Если скор подрос, накидываете еще шум и так пока не станете медалистом. Оказывается, нужно не так много попыток, чтоб зайти в золото и обессмыслить лидерборд.

🤔 Вопрос, можно ли так выиграть на привате?

А пока на борде идет неразбериха, мы продолжаем с тиммейтами валидировать модели в текущем чемпионате. Радует, что локальная валидация коррелирует с бордом.

✅ Еще один, но уже нормальный трюк, который внезапно помог - это учить ансамбль моделей на тех данных, на которых базовые модели имеют такую же точность как и на тесте. То есть выбираете «легкие» для модели объекты. Это аля такой мета-лернинг.

🤪 Очень парадоксально, но в этом чемпионате можно проверять модели сперва на тесте, а только потом уже валидировать на трейне

#kaggle
#Novozymes

Выиграть 100к или как написать лучшую статью на Хабре.

😐 Год уходит. Подводить итоги буду завтра, а сейчас просто хочу поделиться небольшой радостью. Выиграл в конкурсе авторов!

😄 За этот год я написал 8 статей на Хабре. Почти каждая была в топе лучших среди недели. Три из них висели в топе лучших за месяц. Про массовые репосты другими группами вообще молчу. А одна оказалась в топе всех топов, закинув меня в топ-1 на Хабре и, как выяснилось сегодня, принесла мне возможность покрыть расходы на идею с курсами на 100к, о которой писал выше.

🤖 Кстати, перед публикацией той статьи у меня не было в мыслях выставлять ее на конкурс, я просто классно провел время играя с новой игрушкой и фантазируя над альтернативами для лого red_mad_robot. На момент завершения статьи, у меня встал выбор, добавить в статью рекламу и получить ~3-5к или просто публикануть, включив в конкурс.

🍽 Чтоб выиграть, мне надо было побороть хотя бы победителя прошлых лет. Спарсив рейтинги других статей Хабра и сравнив со своими - понял, что мат ожидание выигрыша трое кратно выше, чем просто разовая плата. Как видите, оценка была хорошей.

😳 Знаете почему я вообще начал писать свои статьи? Все от дури! Однажды ночью мою голову просто разрывал поток мыслей и идей, не дающих спать.

😵‍💫 Не переселив желание поделиться, я просто сел за чистый ворд и начала писать, облегчая так свой "приступ". Так родилась моя первая статья, которую по фану решил заслать на Хабр утром. Тот день был моим первым рабочим днем в Х5.

🤫 Мне очень нравится делиться/писать про штуки, которыми редко кто стал бы делиться. Всякий технический схематоз - это прям мое любимое, то за что я полюбил Хабр.

👻 Скучно писать что-то, про что писали уже до тебя, а вот накропать что-то такое от чего читатель сказал бы: "Вау, это надо запомнить" - это бесценно.

#Хабр #Aleron
#red_mad_robot #ruvds
@datafeeling

Традиционно подвожу итоги года и ставлю новые цели 🎯

⛔️ Титул Kaggle мастера - эх, не хватило золотой медали, что ж - стало быть за 2023-й год надо добить уже до Kaggle Grand мастера
✅ Вебинары совместно с Deep Learning School - тут я постарался и внес свой вклад в несколько модулей. Про новый запуски DLS слышали многие.
✅ Довести 3-х людей до медалек на Kaggle - я довел 7-х человек.
⛔️ Стать лидом в X5 - не вышло, но я получил за год большой опыт управления технической командой из 3-х человек.
🟡 Выпустить авторский интенсив по DS - анонса не было, но уже в январе мы его запустим.
✅ Опубликовать научную статью - за этот код я вошел в авторство двух научных статей, где закрывал анализ биологических данных.

✅ Не было моей целью, но горжусь, что под моим началом запустились 7 интересных data блогеров. Приятно было повлиять так сильно на индустрию анализа данных. Это круто!

💪 Что сделаю за 2023-й год?
🌟 Kaggle Grand Master
🌟 Выведу в медали на Kaggle 30 человек
🌟 Сдам IELTS на 8 баллов
🌟 Проведу через свой курс по соревновательному анализу данных 300 человек.
🌟 Нарешаю 250 LeetCode задачек
🌟 Выведу свой пет-проект по аналитике на самоокупаемость
🌟 Пройду и засниму собеседование в МААНГ-like компанию
🌟 Напишу на Хабр 25 новых статей.
🌟 10К подписчиков @datafeeling

Год будет драйвовее предыдущего. Всех с наступающим, мои чемпионы!

А ларчик просто открывался...

🧑‍💻 Пока мы с вами накидывали идеи, как разрешить парадокс с падением качества на тесте, выяснилось, что киллер фичи для теста брались просто-напросто со сдвигом.

📈 Так как в чемпионате Novozymes в качестве метрики качества используется корреляция Спирмена, то имеет смысл заменять числа в ответе на их ранги (scipy.rankdata()). Так вот дело было в том, что для прогноза мы тупо взяли не оригинал фичи, а ее ранжированное значение. Хотя учились на оригинальных чиселках.

🧠 Как догадался? Тупо решил проверить руками разницу распределений фичей на тесте и трейне. Далее заметил, что максимальное значении некоторых фич на тесте совпадает с числом строк в тесте. Совпадение?! Нет!- Подумал я. Overall, проводить тест на data quality бывает полезно. Иначе десткие факапы неизбежны.

😐 И конечно не доверяйте своим сокомандникам полностью) Всех всегда надо проверять! Кто-то постоянно норовит слить победу команды своей невнимательностью. То id-ники дублированные пришлют, то порядок неверный намутят, то фичи с ошибками, а могут тупо пустые значения тебе прислать, не проверив корректность работы скриптов.🤹‍♀️ Бывают иногда такие баги, что я даже теряюсь в догадках, как такое расхлебать порой.

Как вывозить такое? Respect, but not suspect! Спокойно указывать на ошибки и прививать тиммейтам полезные практики, наблюдая, как они растут и тащат все лучше и лучше.

Традиционно, ставьте 👍 или 👎, если верите или не верите, что подкинет вверх в сореве по энзимам.

Рискнул выбрать 1 сабмит на золото🥇, второй на серебро🥈. Почти для каждого сабмита свои риски. Утром посмотрим, что зайдет.

Кстати, в сабмите на серебро порядка 20 моделей. Угадайте, сколько в золоте?

Бум-с 😅🫣🥹

Получается, я как Икар. Приблизился к солнцу слишком близко и обжог крылья…

Рандом лютейший. Паблик лб вообще не отражал истинную картину. Посидел пару часов в золоте и отлетел 😑

Был в золоте. Слетел. Можно ли было что-то сделать? Попытался ответить себе на этот вопрос и понял, что нет.

🧐 У нас в решениях оказался сабмит на золото🥇, но мы его не выбрали. Мог ли я догадаться его выбрать? Едва ли...

👎 Лучшие решения по локальной валидации подлетели вверх, но не долетели даже до медалей.

👎 Лучшие решения по паблик борду отлетели на 1000 позиций вниз.

🤩 Окей, есть несколько не моих решений, которые хорошо коррелировали с приватным скором. Можно было включить эти решения в бленд. Однако, вместо этого мы включили эти решения как фичи для стекинга, что идейно было даже лучше. Более того, полученную модель сблендили с другими сильными моделями.

🧑‍💻 В общем, возможно стекинг на основе сильных моделей с последующим блендингом этих же самых моделей с весами по скору с теста мог спасти.

⚖️ Однако, это же надо было угадать какие модели смешивать... Получается, лучшим способом выиграть было - остановиться две недели назад =)

🌅 В общем, ни о чем не жалею. Да, потратили много времени всей командой. Зато в моем курсе теперь появится модуль с парсингом данных из внешних сервисом и работой с разными API. Этот навык тащил.