Готовлюсь к разбору соревнования Predict Student Perfomance, отчитываюсь перед подписчиками. Предварительно можно будет в понедельник меня послушать онлайн и позадавать вопросы. Я обычно оцениваю топ 10 решений, и выбираю из них интересные неповторяющиеся идеи. Думаю на поста три должно до тех пор хватить.

1 место:

Победители рассмотрели количество пользователей и событий и признали, что их было недостаточно. Длинные последовательности и небольшое количество пользователей вызвали сомнения. Поэтому они решили провести небольшой "гуглопоиск" и посмотреть, что еще существует в этой области.

И нашли то, что искали! Был найден список сессий, причем, оказалось, что тренировочный набор данных был его частью (или может быть даже тест).

Преобразовали необработанные данные в формат, соответствующий требованиям соревнования. И удивительно, но 98% сессий были идентичными, а 2% имели незначительные изменения. Просмотрев данные, cpmpml и pdnartreb обнаружили интересную особенность: некоторые люди играли несколько раз. Вместо того, чтобы удалять повторяющиеся сессии, они выбрали минимальный результат для каждого ответа. Таким образом, даже если игрок первый раз ответил неправильно на первый вопрос в своей первой сессии, а затем во второй сессии ответил правильно, мы все равно считаем, что он ответил неправильно.

Кроме того, они дополнили свои данные информацией из собственного скрапинга.

Давайте теперь ориентироваться на лучший общедоступный результат, который составляет сейчас 0.707 на паблике.

Ребята запустили локальную кросс-валидацию на этих данных и получили результат 0.718. Для сравнения, мой лучший результат при кросс-валидации составлял 0.701. Они отправили свое решение и получили оценку 0.708 на публичном лидерборде. Да да, лучше чем текущий паблик. Но нет нужды удивляться. Они рассмотрели этот результат как аномалию и обратились к организаторам. Организаторы пообещали изменить публичные и приватные наборы данных и вообще решить все проблемы, потому что оказалось, что их данные были фактически доступны публично (просто необработанные).

Но победители соревнования не унывали: они снова использовали тот же пайплайн и лучше обучили модель на новых данных + старых. И они достигли 0.72 на лидерборде. Это было странно вдвойне. Они проверили файлы и источник данных скрапинга. Оказалось, что Джо Уайлдер просто удалил часть данных из публичного набора в интернете и использовал его часть в качестве публичного/приватного набора данных для валидации. А у победителей соревнования остались эти данные. И, насколько я понимаю, набор данных больше не изменялся.

Базовая модель

Правило 🥇: верь своей валидации. Выбирайте модель, ориентируясь на результаты валидации, и уделите время для улучшения методики валидации. Победители пользовались этим правилом.

Правило 🥈 (для соревнований с кодом): подглядывайте. Стоит потратить время, чтобы узнать размер публичного и приватного наборов данных. Проведя двоичный поиск, господа установили, что приватная часть состоит из 1450-1500 сессий.

Правило 2.5: На основе локальных данных можно определить, насколько шумен приватный набор. Для этого запускаем модель на разном объеме данных (1000/2000/5000/10000 сессий) при фиксированном числе фолдов и видим, что стабильные результаты достигаются при объеме данных от 5000 сессий. Это означает, что публичный лидерборд может дезинформировать.

Правило 🥉 : Если лидерборд содержит шум, нужно быть консервативным. Победители добавляли только те признаки, которые значительно улучшали результаты кросс-валидации по сравнению с уровнем шума. Признаки, которые не улучшали результаты, были отброшены, даже если в них сильно верили.

Правило 4️⃣: Все, что связано с соревнованием, может иметь значение. О игре была опубликована статья, где четко указана цель игры: улучшение навыков чтения у игроков. Мои навыки уж точно улучшились. Следовательно, длина реплик и время их отображения на экране играют важную роль.

Правило 5️⃣: Если ресурсы ограничены, нужно экономить. Используйте Polars, чтобы добиться победы. Ну, это не прямо сказано, но Polars помог им.

Давайте еще коротко поговорим о прочих высоких местах в Predict Student Perfomance.

🥈2 место (это решение еще не было доступно, когда мы в зуме обсуждали сореву, так что оргиинальный контент!)
1. Только LGBM
2. 5 фолдов для валидации, но сабмитили в итоге одну модель, тренированную на полных данных. Lucky strike, не иначе
3. Фич инжиниринг с помощью numba и C (sic!). Просто зайдите и посмотрите, как это выглядит!

🥉 3 место:

1. Тоже нашли публичный датасет и на нем тренировались, но не использовали его для валидации. Так же у них нет никаких заметок про размеры фолдов и нестабильность, а на мой взгляд это очень важная находка, которая в будущем может сильно пригодиться в соревах и даже проде.
2. Тоже использовали вероятности ответов на предыдущие вопросы как фичи.
3.Отбирали фичи по permutation score. Если забыли или не знали, то идея примерно такая:
3a. Учим модель на трейне и смотрим на импортанс, выбираем фичу для проверки (imp_orig)
3b .Перемешиваем эту фичу между объектами рандомно и снова учим модель, замеряем импортанс фичи (imp_shuffle)
3c. Смотрим на то, насколько фича важна относительно 'бейзлайна': imp_orig/imp_shuffle=permutation_score. Отбираем лучшие по этой метрике.
4. Учили одну модель для уровня, которая брала номер вопроса как фичу. Т.е. у них было всего 3 модели в фолде. Интересно, что по их наблюдениям работало не хуже, чем индивидуальные модели. Я об этом думал, но идею отмел, считая, что модель для каждого вопроса будет априорно лучше.
5. Стакали xgb/catboost с трансформерами. Было три разных, два предсказывали на уровне левела (использовали конформер-архитектуру), один предсказывал сразу 18 таргетов по полной сессии (стандартный трансформер).

🏅 4 место:

1. 5 фолдов, три трансформера, три катбуста, три лгбм
2. Линейная регрессия как металернер
да, так было можно

Вообще почти все топовые места пишут, что лучший перфоманс у них занимали оптимизированные для Efficiency prize решения, из которых тяжелые оверфитные штуки пытались вырезать для ускорения. А оказалось- для регурялизации.

🏅8 место:
Из интересного: парни использовали бининг индексов. Просто порезали индексы на участки в 30/50 индексов и добавили как фичу и им это дал импрув. Вот что значит не случайные сессии.