🙈 Ого, у нас тут с пацанами разворачивается настоящий фарм-кипишь. (138 и 140 строки)

🤠 Начинали фармить вместе, теперь фармим по разным тимам 💪

Идем в медали ноздря в ноздрю. Вот-вот доблендить еще парочку моделей и зайдем в бронзу, надеюсь.

👇 🙈😅Делайте ставки в комменты.
Кстати, мои приглашенные мастера в команду вообще не внесли вклада. Вот так вот и бери потом опытных.

Что ж. Финиш. Закрепились в HubMap в топ-150 из 1300 человек. Надо подняться всего лишь на 8 мест наверх и будет медалька.

✅ Собрали ансамбль из 16 моделей. Ждем шейкапа наверх.

Ставьте 👍 или 👎 если верите что зайду с тимой в медали или не зайду соответственно.

Кстати, сегодня сходил на конференцию возобновившихся ML тренировок. Если буду активнее фармить возможно когда-нибудь там выступлю. Добрых снов😌

P.S - угадайте парня посередине 😅

Не повезло, не фартануло.

Корреляция между приватной выборкой и тестовой оказалось очень неплохой. Не заняв медальную зону сразу, мы не заняли ее и после шейкапа на привате.

Что зашло?
✅ Систематичность. Мы почти каждый день созванивались с командой. Заполняли табличку гипотез. Приоретизировали и распределяли задачи.
✅ Мощности. Повезло, что в этот раз было относительно не много проблем с GPU. Почти все время могли запускать что-то. Модели одного фолда учились всего по два-три часа.
✅ Опыт. Множество технических проблем с архитектурой сеток и инфраструктурой решались быстро, либо еще быстрее командным бруд-форсом.

Какие вижу ошибки?
❌ Секрет победы был прост. Надо было верно подобрать трешхолды для классов.
❌ Поздно разгадали, какие архитектуры и приемы поднимают скор. Бленд двух моделей со скором 0.71 и 0.72 давал финальный скор в 0.76. То есть бери и просто бленди разные по природе модели. Всего у нас было 4 архитектуры. Стоило проверить больше.
❌ Зацикливались. Вместо того чтобы идти дальше по списку гипотез, тратили время на бесперспективные улучшения уже сильных моделей.
❌ Слабо изучили датасет. Данные как всегда с мусором, который в идеале почистить или переразметить. (Pseudo labeling)
❌ Не решились закинуть модельку в Optuna на денек, чтоб провести эксперименты более массово.
❌ Бленд с моделью мастеров по каким-то причинам только ухудшал скор. Возможно неверные трешхолдны на классы при смешивании моделей. Возможно, не тех мастеров взяли в тиму😅
❌ Не успели добавить в бленд сильную модель наших друзей-аппонентов из поста выше. (Да, мы делились идеями через форум, но применить доп модели друг друга не смогли из-за неудобства разных подходов и недостатка времени.)
❌ Под конец только пришла идея использовать в Test Time Augmentation еще и цвето-коррекцию.
❌ Мало наресерчели оригинальных идей. Стоило заложить на это время.

🤔 В целом, если бы получили бронзу это бы погоды нам не сделало. Для титула "Мастер" нам нужны только золотые и серебряные медали. Будем решать теперь еще агрессивнее!

👀 Тут на Kaggle приехала интересная биологическая задачка - Novozymes Enzyme Stability Prediction

😓 Предлагается по аминокислотной последовательности белка фиксированный длины предсказать температуру плавления.

🤓 В общем, просят реализовать AlphaFold от DeepMind на минималках. AlphaFold предсказывал 3D структуру, а тут все намного проще - надо всего лишь температуру плавления.

🤔 Что-то похожее я уже решал однажды в прошлой жизни биоинформатика. Посмотрел, как люди на форуме пытаются решить эту задачу и там какой-то детский сад. По типу tf-idf + модель. Очевидно, это никак не раскрывает свойства такого сложного 3D объекта как белок.

👨‍🚒 Решил, что буду участвовать. Хочу усилить свою команду и провести эксперимент. Ищу новых тиммейтов с биологическим бэкграундом!

👨🏻‍🌾 Я ищу именно тебя, если ты:
- Понимаешь основы молекулярной биологии. Отличаешь ДНК от аминокислот.
- Имеешь опыт аннотации белков.
- Любишь ресерчить статейки и даже слышал, как устроен AlphaFold.

🧞‍♂️ С меня вся ML часть. Ресурсы и личный соревновательный опыт. В планах пойти "каглерским" путем. Настакать фичей разной природы и дальше по классике ансамбль бустинга, сетки и линеек.

✅ Пиши в личку, если тебе интересна задача и нужны медали на Kaggle! Думаю, что особенно актуально для тех кто переходит из биоинфы в DS/ML.

Динамическое ценообразование любопытная вещь.

🤔 Интересно, это руками так подбирается или действительно есть алгоритм на такие случаи...

Москва - Алания.

Теперь в Сочи отдыхать снова дешевле, чем в Турции😳

Есть вариант еще - можно попасть в Казахстан. Кстати, вот чат по взаимопомощи в Казахстане.

Продолжаю восхищаться динамическим ценообразованием авиасейлс.

Оповещают о понижение цены на билет, хотя из билета просто убрали багаж. Мдам-с

А ведь какой-то гений маркетинга (продукт-менеджер) получает зп за придумку этой фичи.

Так, ну окей. Теперь я еще спокойнее и вот-вот буду радовать вас прикольными приемами и техниками в ML/DS снова.

Хотя пару дней назад думал, что буду делиться армейскими лайф-хаками и анекдотами.

🥳 Идем дальше!

Пока люди активно паниковали и уезжали из РФ, мы с Дашей активно паниковали и писали для вас курсец. Мы собрали основные приемы, которые помогают успешнее искать работу.

🎯 Курс проведет вас "за ручку" через весь путь от подготовки резюме до получения оффера.

🥳 Мы только что опубликовали курс, но еще его не тестировали на других людях. У вас есть возможность пройти этот курс в первых рядах до основного релиза. Для этого напишите в комменты почему этот курс по получению оффера нужен именно вам? Авторы 10 самых релевантных и развернутых ответов получат автомобиль доступ к курсу со скидкой 91% (Меньше чисто технически сделать нельзя)

Ссылка на курс

Пирсон не ловит нелинейные зависимости!

Все знают, для проверки линейной зависимости/корреляции между двумя переменными можно взять коэффициент корреляции Пирсона. Однако, что делать, если надо поймать что-то не линейное? Ответ не очевидный.

🚀 Не так давно узнал, про Phik корреляцию. Штука мощная. Посмотрите как Phik ловит сложные зависимости, где Пирсон теряется.

При генерации признаков такой подход позволяет не отсеивать более сложные зависимости, которые потом бустинги смогут уловить.

Как некоторые уже поняли, это мы с тимой из red_mad_robot пытаемся рамсить на поприще нефтянки.

Задача: предсказывать время поломок на скважинах.
Данные: 100 гигов многомерных временных рядов. Сорева докерная, приходится ждать результатов по 2 часа.

Как всегда кидаю сюда скрин за сутки до соревнования. Вдруг выиграем?! Тогда вы хоть увидите как мы это сделали)
В любом случае, после я расскажу вам полезные лайф-хаки по увеличению скора. Временные ряды решаю не так часто, поэтому как назло, лучшие идеи приходят под конец соревнования.

Кстати, соревнование двух-этапное. Если сейчас 150к не заберем, то потом поборемся сразу за 300к.
Отберут первые 15 команд. Мы пока проходим. Если выиграем купим себе новую карточку на сервак.

#Rosneft_Challenge

Начинающий Алерончик входит в Data Science. Картина маслом.

Скрин от подписчика: @MaximAbrosimov