На канал произошла атака ботов. Казалось бы, откуда столько счастья?
Вероятно с внедрением LLM эффективность труда еще больше выросла, и теперь даже каналы читают 18 ботов на одного человека.
Ваши версии произошедшего можно оставить под этим постом 🔽:

Вообще я накатл огромный опять какой-то пост, который мне не разрешает постить телеграм премиум. Так что вас ждет кайф отложеных сообщений и дополнительное подстегивание клипового мышления 👉️️️️️️🦍️️️️️️👈️️️️️️

Итак, рецепт как зафармить бронзу за последние три дня на этой сореве:

Вернулся к ноутбуку вадима (лучший воспроизводимый паблик) и осмотрел лучший невоспроизводимый паблик (там модельки были запривачены), в котором блендили Catboost, XGB и MLP из sklearn.

Эксперимент 1:

Ноутбук Вадима состоял из одной модели, обученной на всех данных для каждого вопроса, причем для каждого вопроса и фичи были отобраны отдельные. Ноутбук работает быстро, потому что данные там тоже неплохо обработаны. Если в нем немножко подвинуть трешхолд бинаризации предикта, то скор можно даже еще вверх подвинуть и гордо сидеть чуть-ли не из серебра смотреть на остальных. Более того, если долго перебирать random_seed, то можно было получить и 0.701.

Вывод 1:

Если добавить в него обучение через StratifeidKFold, то скор на публичном ЛБ драматически падает. (0.7 → 0.697, с top 20% улетаешь на top 60%). Значит ноутбук- это переобучение под паблик и шансов на хороший прайвет не очень много.

Эксперимент 2:

Если в эту схему добавить обучение MLP и XGB по схеме:

Берем train_fold как есть, берем test_fold и разбиваем его на val1_fold и val2_fold.

Учим MLP, XGB и catboost на train_fold (количество деревьев заранее уже выяснили), подбираем оптимальные трешхолды на val1_fold (просто для информации) и оптимальное соотношение для блендинга этих всех моделей по auc_score (чтобы не бинаризовывать). Затем меряем качество ансамбля на val2 и на нем же выбираем оптимальные трешхолд. Для вязкости смотрим, чтобы трешхолды по фолдам были похожие и из всех фолдов берем медиану.

Вывод 2:

MLP почти всегда (за исключением пары фолдов на некоторых вопросах) выучивается так, что оптимальный трешхолд бинаризации для него 0.0 или 1.0. Значит и учить его не надо, он деградирует в константу. Значит возможно сэкономить время и просто добавить Dummy Estimator, который в зависимости от номера вопроса возвращает оптимальную константу (методу констант меня научил один якутский мастер кагла). В свою очередь блендинг такой модели с другой означает буквально следующее:

Используя априорное знание о распределении, мы просто трешхолд занижаем или завышаем для остальных моделек.

В итоге я засабмитил 5 разных блендов:

xgb (0.2) + catboost (0.8) 😶‍🌫️

xgb (0.1) + catboost(0.9) (вот этот бандит и победил в итоге) 😶‍🌫️

xgb (0.1) + catboost(0.9) с другим трешхолдом глобальным

xgb (0.05) + catboost(0.95)

(xgb (0.1) + catboost(0.9)) * (0.9) * (dummy 0.1) 😶‍🌫️

И отобрал по скору на паблике те, что дают лучший скор и не так сильно деградируют. Они отмечены эмоджи дымного коктейля.

Вот и все, еще одна бронза в мою коллекцию Bronze56k, которая не приблизила меня к титулу мастера, но хоть в рейтинге поднимет наверно. Ну хоть гештальт по табличкам закрыт, а то я свои прошлые медальки через зрение получил. Хотя может и не закрыл, это ж не таблички, это событийка.

Готовлюсь к разбору соревнования Predict Student Perfomance, отчитываюсь перед подписчиками. Предварительно можно будет в понедельник меня послушать онлайн и позадавать вопросы. Я обычно оцениваю топ 10 решений, и выбираю из них интересные неповторяющиеся идеи. Думаю на поста три должно до тех пор хватить.

1 место:

Победители рассмотрели количество пользователей и событий и признали, что их было недостаточно. Длинные последовательности и небольшое количество пользователей вызвали сомнения. Поэтому они решили провести небольшой "гуглопоиск" и посмотреть, что еще существует в этой области.

И нашли то, что искали! Был найден список сессий, причем, оказалось, что тренировочный набор данных был его частью (или может быть даже тест).

Преобразовали необработанные данные в формат, соответствующий требованиям соревнования. И удивительно, но 98% сессий были идентичными, а 2% имели незначительные изменения. Просмотрев данные, cpmpml и pdnartreb обнаружили интересную особенность: некоторые люди играли несколько раз. Вместо того, чтобы удалять повторяющиеся сессии, они выбрали минимальный результат для каждого ответа. Таким образом, даже если игрок первый раз ответил неправильно на первый вопрос в своей первой сессии, а затем во второй сессии ответил правильно, мы все равно считаем, что он ответил неправильно.

Кроме того, они дополнили свои данные информацией из собственного скрапинга.

Давайте теперь ориентироваться на лучший общедоступный результат, который составляет сейчас 0.707 на паблике.

Ребята запустили локальную кросс-валидацию на этих данных и получили результат 0.718. Для сравнения, мой лучший результат при кросс-валидации составлял 0.701. Они отправили свое решение и получили оценку 0.708 на публичном лидерборде. Да да, лучше чем текущий паблик. Но нет нужды удивляться. Они рассмотрели этот результат как аномалию и обратились к организаторам. Организаторы пообещали изменить публичные и приватные наборы данных и вообще решить все проблемы, потому что оказалось, что их данные были фактически доступны публично (просто необработанные).

Но победители соревнования не унывали: они снова использовали тот же пайплайн и лучше обучили модель на новых данных + старых. И они достигли 0.72 на лидерборде. Это было странно вдвойне. Они проверили файлы и источник данных скрапинга. Оказалось, что Джо Уайлдер просто удалил часть данных из публичного набора в интернете и использовал его часть в качестве публичного/приватного набора данных для валидации. А у победителей соревнования остались эти данные. И, насколько я понимаю, набор данных больше не изменялся.

Базовая модель

Правило 🥇: верь своей валидации. Выбирайте модель, ориентируясь на результаты валидации, и уделите время для улучшения методики валидации. Победители пользовались этим правилом.

Правило 🥈 (для соревнований с кодом): подглядывайте. Стоит потратить время, чтобы узнать размер публичного и приватного наборов данных. Проведя двоичный поиск, господа установили, что приватная часть состоит из 1450-1500 сессий.

Правило 2.5: На основе локальных данных можно определить, насколько шумен приватный набор. Для этого запускаем модель на разном объеме данных (1000/2000/5000/10000 сессий) при фиксированном числе фолдов и видим, что стабильные результаты достигаются при объеме данных от 5000 сессий. Это означает, что публичный лидерборд может дезинформировать.

Правило 🥉 : Если лидерборд содержит шум, нужно быть консервативным. Победители добавляли только те признаки, которые значительно улучшали результаты кросс-валидации по сравнению с уровнем шума. Признаки, которые не улучшали результаты, были отброшены, даже если в них сильно верили.

Правило 4️⃣: Все, что связано с соревнованием, может иметь значение. О игре была опубликована статья, где четко указана цель игры: улучшение навыков чтения у игроков. Мои навыки уж точно улучшились. Следовательно, длина реплик и время их отображения на экране играют важную роль.

Правило 5️⃣: Если ресурсы ограничены, нужно экономить. Используйте Polars, чтобы добиться победы. Ну, это не прямо сказано, но Polars помог им.