Давайте еще коротко поговорим о прочих высоких местах в Predict Student Perfomance.

🥈2 место (это решение еще не было доступно, когда мы в зуме обсуждали сореву, так что оргиинальный контент!)
1. Только LGBM
2. 5 фолдов для валидации, но сабмитили в итоге одну модель, тренированную на полных данных. Lucky strike, не иначе
3. Фич инжиниринг с помощью numba и C (sic!). Просто зайдите и посмотрите, как это выглядит!

🥉 3 место:

1. Тоже нашли публичный датасет и на нем тренировались, но не использовали его для валидации. Так же у них нет никаких заметок про размеры фолдов и нестабильность, а на мой взгляд это очень важная находка, которая в будущем может сильно пригодиться в соревах и даже проде.
2. Тоже использовали вероятности ответов на предыдущие вопросы как фичи.
3.Отбирали фичи по permutation score. Если забыли или не знали, то идея примерно такая:
3a. Учим модель на трейне и смотрим на импортанс, выбираем фичу для проверки (imp_orig)
3b .Перемешиваем эту фичу между объектами рандомно и снова учим модель, замеряем импортанс фичи (imp_shuffle)
3c. Смотрим на то, насколько фича важна относительно 'бейзлайна': imp_orig/imp_shuffle=permutation_score. Отбираем лучшие по этой метрике.
4. Учили одну модель для уровня, которая брала номер вопроса как фичу. Т.е. у них было всего 3 модели в фолде. Интересно, что по их наблюдениям работало не хуже, чем индивидуальные модели. Я об этом думал, но идею отмел, считая, что модель для каждого вопроса будет априорно лучше.
5. Стакали xgb/catboost с трансформерами. Было три разных, два предсказывали на уровне левела (использовали конформер-архитектуру), один предсказывал сразу 18 таргетов по полной сессии (стандартный трансформер).

🏅 4 место:

1. 5 фолдов, три трансформера, три катбуста, три лгбм
2. Линейная регрессия как металернер
да, так было можно

Вообще почти все топовые места пишут, что лучший перфоманс у них занимали оптимизированные для Efficiency prize решения, из которых тяжелые оверфитные штуки пытались вырезать для ускорения. А оказалось- для регурялизации.

🏅8 место:
Из интересного: парни использовали бининг индексов. Просто порезали индексы на участки в 30/50 индексов и добавили как фичу и им это дал импрув. Вот что значит не случайные сессии.