Топ-2 в #BirdClef2025
В этот раз опытне птичники, у которых в команде чел с первым местом в 2022 и 2023 годах!

📊 Данные
Использовали данные из прошлых соревнований, что собственно и помогала в прошлые года +
Подтянули дополнительно записи из Xeno Archive.
Тут помог баг, который был обнаружен еще в 2023: API Xeno Archive выдаёт максимум 500 семплов на вид — большинство команд этого не учли. Багу два года, и его никто не чинит. Кто знает- тот знает

🎛️ Предобработка
Для обучения берём первые 7 секунд каждого файла и рандомно вырезаем 5 секунд.

Баланс между разнообразием данных и интуицией: голос птицы чаще слышен в начале записи.

🛠️ Архитектура и оптимизация
tf_efficientnetv2_s + RAdam
eca_nfnet_l0 + AdamW

Обе модели тренировали 50 эпох
Loss: Focal + BCE
Scheduller: Cosine LR

⚖️ Веса семплов
Учли с весами, чтобы компенсировать дисбаланс классов:

python
sample_weights = (
    all_primary_labels.value_counts() / 
    all_primary_labels.value_counts().sum()
) ** (-0.5)

🚀 Ключевые бусты
1. Предтренинг на всём Xeno Archive
Вычистили низкочастотные классы и текущее тесто-трейн
Предобучили на задаче классификации и получили бекбон с глубоким пониманием спектрограмм записей животных

Результат: 0.84 → 0.87

2. Псевдолейблинг (запрещенная техника)
Предсказываем на неразмеченных данных → pseudo1
Оставляем только скоры > 0.5 → pseudo2
Зануляем слабые метки (< 0.1): pseudo2[pseudo2 < 0.1] = 0
Обучаем модель на таргет pseudo2 и повторяем цикл
После двух итераций: 0.87 → 0.89 → 0.91 (третий круг не даёт профита)

3. TTA
Сдвигали записи в Test time augmentation на 2.5 секунды влево и вправо, а потом усредняли предсказания.
0.91 -> 0.922

В общем опыт прошлых соревнований доовольно сильно решает, особенно если помнишь интересные баги связанные с источниками данных

Топ-1 в #BirdClef2025 от Никиты Бабича запретите ему псевдолйблить

Никита всё соревнование доминировал — был на первом или втором месте. Я лично не видел его ниже чем на втором.

Данные
Дополнительные птицы
Докачал из архива Xeno ещё 5 489 записей по тем же классам, что и в трейне.

Дополнительные лягушки и насекомые из других таксонов
17 197 записей насекомых и амфибий, в том числе не входящих в лейблы для соревнования. Амфибии и насекомые имеют высокую частоту повторяющихся специфичных звуков, что сильно отличается от птиц — отлично прокачивает модель на низкочастотных и “других” классах.

SED-модели (Sound Event Detection).
Прошлые участники тоже их использовали, но я хотел именно тут объяснить что за SED такой.
Классическая классификация говорит «что это за звук», а SED ещё и «где он начинается и где кончается».
На шумных данных, где вокруг слышно несколько видов на одной записи, это был ключ к успеху вместе с псевдолейблингом.
По сути это мост от per-sample к per-frame разметке, похожий на MIL-задачу. Сильно мне напоминает MIL модели, которые делают что-то похожее, но на картинках
На картинке пример инференса SED: как и почему он помогает на шуме.

Валидация
Нормальной валидации не нашлось, поэтому Никита валидировался по ЛБ. :chad:

Многоэтапное обучение
Бейзлайн
15 эпох, Cross-Entropy, AdamW, Cosine Scheduler
backbone’ы: EfficientNet-0 + RegNetY-8
LB: 0.872

Псевдолейблинг I + MixUp
Генерим псевдолейблы на неразмеченной части.
Смешиваем MixUp: настоящие лейблы + псевдолейблы (малый вес последних).
Добавляем StochasticDepth (drop whole conv-блоки, p=0.15). StochasticDepth- это когда у нас есть дропауты, которые выкидывают целые блоки из бекбона и глубина получается недетерминированной.
Тренируем 25–35 эпох.
LB: 0.872 → 0.898

Power Scaling + псевдолейблинг II
Просто в лоб вторая итерация давала слишком шумные псевдолейблы, которые нельзя было повторно переиспользовать.
Решение:
new_preds_i = preds_i^(1/power_c) / sum(preds_j^(1/power_c))
Это позволило пройти 4 раунда псевдолейблинга с улучшением качества.
LB: 0.898 → 0.930

Отдельный пайплайн для насекомых и амфибий
Тренируем классификатор на этих данных.
Берём предикты по нужным классам из трейна и заменяем ими результаты в основном ансамбле.
LB: 0.930 → 0.933

В конечно итоге собираем ансамбль:

EfficientNet-l0, B4, B3 (3 раунда псевдолейблинга)

RegNetY-016 (2 штуки, 4 раунда)

RegNetY-008 (1 штука, 1 раунд)

Отдельный EfficientNet-B0 для классификации насекомых и амфибий

Из этого решения наверно для себя самыми горячими идеям вынесу:
1. PowerTransform для псевдолейблов, чтобы идти в несколько раундов. Идея будто даже похожая на жесткие псевдолейблы чем-то
2. SED как способ уточнить разметку на псевдолейблах

Видимо единственный способ избежать бутылки- это занять третье место

Пора создать канал в мессенджере, где можно вычислять ставящих клоунов по госуслугам?
Да 😍
Нет 🗿

Волчат уволили из Газпром медиа. Потешно, что за год никто не заметил разницы, но это скорее говорит о самом работодателе, чем о работниках. Хотя я уже давно заметил, что лучшие наймы- это когда ты знакомых с прошлых работ кандидата спросил про то, какой он человек и инженер. Always has been

https://news.1rj.ru/str/rockyourdata/5344

А еще Дуров включил принудительные платные лайки и мне это не нравится. Теперь они отображаются даже если их никто не поставил. Слишком навязчиво.

Пока я мало пишу в канал про свои соревнования, позволю себе украсть вдохновение у @abacabadabacaba404 и предложить вам почитать классный блогпост про КФ. Автор дважды брал золото IOI и в этом году взял серебро:
https://codeforces.com/blog/entry/142591

Отправьте своим школьникам и первокурсникам, если они хотят быть лучшими

А я думал что вот это было грязно

Еще немножко соревновательного контента

Ну раз H1b больше не получишь, придется вам тоже фармить кгм и надеяться получить о1 визу

Последний сабмит в соревнование сделал. Молимся Горку и Морку о удачном броске вверх и ждем ночной прокрас прайвета.

Вы можете присоединиться ко мне, а можете поставить клоунов, не помню как вам там больше нравится

Сильно, но хитро поднялись на прайвете. Риск был калькулированный, была интуиция что минимум четверо из золотой зоны резко опустятся, но не было уверенности, что это будем не мы.

Стало быть, второе золото нафармлено, взят второй ариел в ряд и третий год подряд будет invited talk на neuralIPS от вашего любимого блогера.

Честно скажу, без команды ничего бы не вышло.

На 5 месте кстати наш ВМКшный коллега, который вообще через физику решал соревнование. Выложат райтапы- разберу вам самое лучшее с этого года.

Эмодзи клоуна доступна, мб этим постом обновим предыдущией рекорд в 39 штук

Звезды, экзопланеты, два детектора и сетап недавно прошедшего соревнования #ArielDataChallenge2025

Челлендж посвящен поиску экзопланет у звезд которые мы в состоянии наблюдать почти напрямую и определению состава атмосферы этих экзопланет. По атмосфере планеты можно начать подозревать наличие там жизни и вообще оценить ее пригодность для переселений туда людей. Организатором является Имперский колледж Лондона, так что переселение кого-нибудь куда-нибудь подальше стоит довольно остро и является актуальной.

В этом году сетап соревнования похож на предыдущий:
0. Все данные симулированы физической моделью.
1. Есть звезда и у нее гарантировано есть экзопланета.
2. Есть два детектора, каждый из которых направлен на звезду и измеряет спектр этой звезды во времени. Звезда далеко, так что до нас долетают считанные фотоны. Из срабатывания ячеек детекторов мы можем сформировать картинку звезды 30x30 пикселей в каждый момент времени (на картинке). Иногда долетает слишком много фотонов и пикcели перегреваются. Суммарно наши детекторы дают нам 283 канала наблюдения звезды по 900 пикселям каждый.
3. Когда экзопланета ‘загораживает’ нам звезду, мы наблюдаем (или не особо) падение светимости звезды. По этому изменению светимости надо определить спектрограмму состава планеты, которая, сюрприз-сюрприз составляет 283 значения.

Из отличий этого года:
1. Теперь у нас у каждой планеты уникальная звезда. В прошлый раз у нас на все планеты были даны всего две уникальные звезды с уникальными спектрами светимости.
2. Физическую модель привели еще больше к реальной физике. Если в прошлый раз у нас затмение иммитировалось как ‘мимо круга пролетает квадрат’, то теперь у нас теперь симмуляция строится на двух кругах. Это отражается в данных как скругленное дно транзита (на картинке). А еще добавили новых видов шума, которые делают симуляцию более похожей на реальные данные.
3. Добавили новых атмосферных прототипов. Это условные коричневые карлики, газовые/ледяные гиганты, каменистые планеты почти без атмосферы и тд.
4. Теперь для некоторых планет доступны несколько наблюдений транзитов, которые возможно хитро предобработать и уточнить свои предикты

Как решать будете?
Ответы как всегда на @pseudolabeling

Кстати, Lux 4 быть. Есть желающие начать готовиться заранее и настраиваться на победу? В прошлый раз эксперименты топ 1 команды занимали по 12 дней обучения, так что соревнование ML-Heavy.
План подготовки примерно такой:
1. Рекапнем вместе курс Stanford по RL
2. Поразбираем глубоко решения прошлого года и попишем свои
Цель: лейт сабмишн бота, который побьет топ 1 прошлого года. Мб даже железо проспонсирую на тренировку.

Пишите в лс канала, если хотите поучаствовать, ставтье клоунов если нет

Разбор и сетап прошлого Lux 3 стоит смотреть примерно отсюда

Кагл прогрессия для самых маленьких

9 место в NeurIPS - Ariel Data Challenge 2025

Два грандмастера, а именно Dieter и CPMP. Два чела, которые получают зп за то, что решают кагл. СPMP буквально Director competitive ML, а Dieter это текущий топ 2 на платформе и бывший топ 1.

Прерпроцессинг довольно обычный:
1. Взяли топ паблик препроцессинг, сделанный на основе кода организаторов
2. Добавили к нему фильтр на космические лучи (выборсы по сигналу сразу на нескольких частотах), тоже из паблик кернела. Кстати паблик кернела победителя этой соревы.
3. Починили баг, который допустили организаторы во время кодирования данных из 3D (высота x ширина x время) в 2D (сигнал x время)
4. Отцентрировали сигнал, откинув 'бесполезные' края транзитов экзопланет
5. У оригинального детектора, который снимал 3D данные было большое разрешение, но из-за того, что звезда всегда в центре, почти все выкидывали 'темные' пиксели, потому что в них мало информации да и организаторы в своем бейзлайне так делают. Грандмастера хитро посмотрели на распределение того, где есть светимость, а где нет, и сделали чуть более умное маскирование (схема на картинке)

Дальше уже был дата саенс:
1. Взяли детектор транзитов из паблик кернела и им разделили данные на фазы транзита
2. Для краев транзита использовали полином второй степени, чтобы предсказать тренд светимости звезды отдельно от планеты и его вычитать как offset
3. Использовали Бетмен-модель Bad-Ass Transit Model cAlculatioN, чтобы с помощью нее определить размер планет и звезд
4. Ту же модель зафитили на данные только с FGS детектора
5. Ту же модель зафитили для бинаризованных на 18 частот данных
6. На бинаризованных данных зафитили еще и Gaussian Process, чтобы шум пофильтровать и дополнительно сгладить выбросы

Ну и постпроцессинг:
1. MLP, который все это дело приводил к единой размерности и стакал
2. Еще один MLP, который калибровал результаты

И все, вот оно 9 место. Судя по активности на лб, которую мы наблюдали- мужчины не особо кранчили, зашли отметились просто.

Пожалуйста подпишитесь на меня, пожалуйста пожалуйста пожалуйста

(Текст не редактировать, информацию в скобках удалить. От имени своего канала опубликовать в каналах Сиолошная, Борис Опять, Денис секси айти, ОБЯЗАТЕЛЬНО ДАТА СИКРЕТС, Время Валеры. 2 подписчика будут зачислены на ваш счет в течение двух часов)