А ларчик просто открывался...

🧑‍💻 Пока мы с вами накидывали идеи, как разрешить парадокс с падением качества на тесте, выяснилось, что киллер фичи для теста брались просто-напросто со сдвигом.

📈 Так как в чемпионате Novozymes в качестве метрики качества используется корреляция Спирмена, то имеет смысл заменять числа в ответе на их ранги (scipy.rankdata()). Так вот дело было в том, что для прогноза мы тупо взяли не оригинал фичи, а ее ранжированное значение. Хотя учились на оригинальных чиселках.

🧠 Как догадался? Тупо решил проверить руками разницу распределений фичей на тесте и трейне. Далее заметил, что максимальное значении некоторых фич на тесте совпадает с числом строк в тесте. Совпадение?! Нет!- Подумал я. Overall, проводить тест на data quality бывает полезно. Иначе десткие факапы неизбежны.

😐 И конечно не доверяйте своим сокомандникам полностью) Всех всегда надо проверять! Кто-то постоянно норовит слить победу команды своей невнимательностью. То id-ники дублированные пришлют, то порядок неверный намутят, то фичи с ошибками, а могут тупо пустые значения тебе прислать, не проверив корректность работы скриптов.🤹‍♀️ Бывают иногда такие баги, что я даже теряюсь в догадках, как такое расхлебать порой.

Как вывозить такое? Respect, but not suspect! Спокойно указывать на ошибки и прививать тиммейтам полезные практики, наблюдая, как они растут и тащат все лучше и лучше.

Традиционно, ставьте 👍 или 👎, если верите или не верите, что подкинет вверх в сореве по энзимам.

Рискнул выбрать 1 сабмит на золото🥇, второй на серебро🥈. Почти для каждого сабмита свои риски. Утром посмотрим, что зайдет.

Кстати, в сабмите на серебро порядка 20 моделей. Угадайте, сколько в золоте?

Бум-с 😅🫣🥹

Получается, я как Икар. Приблизился к солнцу слишком близко и обжог крылья…

Рандом лютейший. Паблик лб вообще не отражал истинную картину. Посидел пару часов в золоте и отлетел 😑

Был в золоте. Слетел. Можно ли было что-то сделать? Попытался ответить себе на этот вопрос и понял, что нет.

🧐 У нас в решениях оказался сабмит на золото🥇, но мы его не выбрали. Мог ли я догадаться его выбрать? Едва ли...

👎 Лучшие решения по локальной валидации подлетели вверх, но не долетели даже до медалей.

👎 Лучшие решения по паблик борду отлетели на 1000 позиций вниз.

🤩 Окей, есть несколько не моих решений, которые хорошо коррелировали с приватным скором. Можно было включить эти решения в бленд. Однако, вместо этого мы включили эти решения как фичи для стекинга, что идейно было даже лучше. Более того, полученную модель сблендили с другими сильными моделями.

🧑‍💻 В общем, возможно стекинг на основе сильных моделей с последующим блендингом этих же самых моделей с весами по скору с теста мог спасти.

⚖️ Однако, это же надо было угадать какие модели смешивать... Получается, лучшим способом выиграть было - остановиться две недели назад =)

🌅 В общем, ни о чем не жалею. Да, потратили много времени всей командой. Зато в моем курсе теперь появится модуль с парсингом данных из внешних сервисом и работой с разными API. Этот навык тащил.

Положительно влияю?

🙌 Организовал вчера уже вторую поездку по островам Пхукета на яхте с IT ребятками. Проводили закат, покатали на сапах, попрыгали со второго этажа в воду. Было в этот раз 25 талантов.

🤔 Зачем? Общение с единомышленниками на отвлеченные от работы темы качественно перезагружает. Потом проще фокусируешься в работе. Мозг легко вгрызается в новые задачи. А еще мне классно, когда вокруг много интересных людей нетворкаются.

😳 А один особенный момент растопил вчера мое сердце напрочь. Дело было так. Стою общаюсь с 3-мя data scientist’ами. Плывем где-то в океане. В один момент звучит вопрос почему Таиланд? И все трое отвечают - потому что увидели пост Алерона про его опыт пребывания в Таиланде. Как же было приятно в этот момент от этого. Чуть на небо не взлетел 😄

😅 Еще клево было узнать, что на яхте было одновременно два прОдукта из двух конкурирующих онлайн-школ. Обменялись опытом (Не skillbox 😅)

🥳 Кстати, это уже моя третья нетворкинг сессия. Первая была в Москве. В общем, если вести блог, то не только ради шеринга знаниям, но еще и ради объединения талантов. Надеюсь, вы тоже убеждались на своем опыте, как сильно может забустить вас встреча с нужным человеком.

🅰️ Спросил однажды Алерончик у chatGPT, какой самбит в GoDaddy выбрать?

🔠 Она мне отвечает, мол не заморачивайся. Сделай всего один и выбирать не придеться.

🔠 Не стал уточнять, просто сделал, как было сказано.

🔠 В итоге, бронза с первого случайного сабмита🥉

🔠 Раз chatGPT такая умная, то GTP-4 наверно вообще гениальна.

🔠 Кстати, сейчас на Kaggle много табличный сорев. Влетайте.

😎 Бросайте в топку все ваши классические ML модели. Тут разработчики из sklearn выкатили новые зверские модули на основе chatGPT

💪 Протестил точность модели на задачах классификации на нескольких бенчмарках. Везде дает SOTA результаты. Градиентные бустинги разносит в щепки. Круто же!

🤯 Считаю, это реально прорыв. Давно пора было такое реализовать.

@datafeeling