Завершилось геофизическое соревнование, посвященное восстановлению карты скорости распространения волны в породе из амплитуды отразившихся и вернувшихся сигналов на поверхность (рис. 2). Если объяснять подробнее, то на интересующем земляном секторе в линию расставляют считывающие волны датчики. Рядом ставят аппарат, который ударяет по земле и создаёт волну. Отразившись от различных пород, она возвращается на поверхность и её амплитуда фиксируется. Так как датчики расположены на некотором расстоянии друг от друга, переотразившаяся волна приходит к ним в разный момент времени. Наблюдения повторяют пять раз с разным положением аппарата. Таким образом получается сейсмограмма (рис. 3 справа), с размерностью [5, 70, 1000], где 5 - количество наблюдений, 70 - количество датчиков (каждый на расстоянии 10м друг от друга, всего - 700м) и 1000 - временная шкала в миллисекундах. Из этой картинки нужно восстановить карту скорости (рис. 3 слева) - таргет размерности [70, 70], где по первой оси отложено расстояние на поверхности, а по второй - глубина, в десятках метров. Проблема в том, что если из таргета с помощью диффура можно получить сейсмограмму (инпут), то решить обратную задачу аналитически нельзя (рис. 4). Эта задача и стояла перед участниками

Особенностью соревнования было огромное количество тренировочных данных (800гб) и доступный изначально тест сет. То есть файл сабмита нужно было формировать локально. Так как трейн и тест датасеты были в достаточной степени гомогенны, валидация сильно коррелировала с лидербордом и в последствии шейкапа не было. Ключом к победе были генерация синтетики и псевдолейблинг с итеративным дообучением на тесте. Новые данные генерировались с помощью Full Waveform Inversion (FWI), это тот самый диффур, с помощью которого можно из карты скорости сделать сейсмограмму (рис. 3), а карту скорости можно брать как рандом кроп + интерполяция к исходным размерам из существующих таргетов. Так участник, взявший первое место, расширил датасет в 10 раз, до ~9Тб. Ещё помогали переход к одноканальной картинке, когда из каждого замера оставляли лишь те наблюдения, что фиксировались вблизи аппарата (рис. 5) и аугментации, объединяющие существующие таргеты, с последующей генерацией сейсмограммы с помощью FWI (рис. 6)

Что касается архитектур моделей - большинство использовали UNet с сегментационной головой, но это контр-интуитивно, так как задача ставится как перевод [метр; секунда] в [метр; метр] и пиксели инпута напрямую не связаны с пикселями таргета. В наших экспериментах мы хотели придумать что-то лучше unet, я пробовал seq2seq подход, где время и глубина сопоставлены друг другу, но сдался, когда понял, что при предсказании n+1 вектора декодер предсказывает текущий, так как по L1 он близок к следующему. Впрочем решение с первого место имеет за собой ту же логику отказа от unet сегментации и переход к регрессии на vision transformer (рис. 7). Интересное решение добавить единый линейный слой для энкодера и декодера, при этом объединяя только веса, не делая резидуал соединение

В итоге мы заняли 28 место, взяли серебро, каждая идея из топа витала где-то рядом, но многое не докрутили. Соревнование, как мне кажется, вышло продуктивным и в академическом плане. Датасет OpenFWI - общепринятый, в статьях все меряются на нём. Соты побиты, новые архитектуры и методы предложены. Учёным из области остаётся собрать сливки и оформить статьи

оз. Зюраткуль, южный Урал

местные жители