Сижу себе спокойно, пишу ревью на препринты, поданные на ICLR 2026... как вдруг один из них внезапно приоткрывает предо мною настоящую бездну в виде блок-схемы на рис. 1 (в статье это тоже Fig.1).

Как вам такой пайплайн, друзья? Рекомендую вглядеться в картинку повнимательнее, особенно в правую её часть. Через какое-то время вглядывания вам начнет казаться, что картинка тоже в вас вглядывается - механическими глазами диффузионного генератора. #генерация

Сегодня мне на почту пришел необычный спам (рис. 1). Интересно, кто-нибудь ещё с таким сталкивался? Кто пишет подобные письма и на что они вообще рассчитывают? 🤔

Пояснение: Endorsement - это когда исследователь, который сам опубликовал несколько статей в какой-то категории (в данном случае, computer science: computation and language) на arxiv.org, должен "поручиться" за работу новичка, чтобы тот был допущен к публикации своей первой работы в этой же категории. По сути, кто-то из научного сообщества с опытом публикаций говорит "этот чел норм, и его работа соответствует минимальным стандартам архива". Однако, что в данном письме чел даже не дал ссылку на свою работу, а просто втупую попросил меня (то есть, незнакомого человека) одобрить неизвестно что. Поэтому я и недоумеваю, на что он вообще надеялся

Мы с коллегами некоторое время назад заинтересовались вопросом интерпретируемости аудио трансформеров и даже сделали целую научную работу на эту тему (но она, к сожалению, пока что не опубликована). В связи с этим мне и попалась на глаза статья "AND: Audio Network Dissection for Interpreting Deep Acoustic Models" ( https://arxiv.org/abs/2406.16990v2 ), в которой я сейчас разбираюсь.

В ней авторы исследуют, за распознавание каких концептов отвечают отдельные нейроны в звуковых моделях AST (Audio Spectrogram Transformer) и BEATs (Bidirectional Encoder representation from Audio Transformers), дообученных на задачу классификации датасета ESC50 со звуками окружения, разбитыми на 50 классов (таких, как шум дождя, тиканье часов, кукареканье ревьюера номер 2 петуха и другие). В дополнительных экспериментах также рассматривается датасет GTZAN Music Genre с 10 жанрами музыки.

Для интерпретации нейронов моделей авторы используют как заранее заданные концепты из самого ESC50, так и новые, заранее неизвестные концепты, выделенные с помощью SALMONN (аудио-модель, генерирующая текстовые описания для аудио) и LLaMA (используется, чтобы суммаризовать и выделять общее в этих описаниях). В первом сценарии, они просто смотрят, какие нейроны сильнее всего активируются на аудио из каждого заданного класса. Во втором сценарии процесс идет как бы в обратном направлении: сначала для каждого нейрона они находят такие примеры аудио из датасета, на которых его активации максимальны и такие, на которых его активации минимальны. Затем создают текстовые описания этих примеров, суммаризируют их и калибруют: то есть, оставляют только те признаки, которые уникальны для примеров с высокой активацией нейрона (а те признаки, которые есть одновременно и у высоко-, и у низкоактивированных примеров, удаляют как неинформативные). В результате для каждого нейрона получают набор уникальных акустических признаков, на которые он реагирует - например, один нейрон может быть настроен на "громкие высокие повторяющиеся" звуки, другой на "тихие низкие монотонные".

Проанализировав выделенные концепты, авторы сделали вывод, что нейроны в исследованных моделях реагируют в основном на простые акустические признаки (громкость, высота тона), а не на абстрактные концепции типа эмоциональной окраски. Также они отметили, что модель BEATs, предобученная self-supervised методом, имеет более полисемантичные нейроны (реагируют на много разных признаков сразу), а у supervised AST нейроны более специализированы (особенно в глубоких слоях) и поэтому легче интерпретируются.

Кроме того, авторы делают unlearning разных типов звуков, чтобы убедиться, что найденные ими нейроны действительно кодируют нужную информацию. Так, меня позабавило, что когда они удаляют нейрон, отвечающий за распознавание "капанья воды", качество распознавания звука смыва туалета тоже пострадало (как, впрочем, и остальных звуков, связанных с водой).

—

К сожалению, авторы не изучают модели для распознавания речи типа Whisper, HuBERT или Wav2Vec2, поэтому остается открытым вопрос: находили ли ранее в таких моделях нейроны-детекторы отдельных фонем, эмоций спикера или других концепций, связанных с речью? Мне такие статьи не попадались, но может быть, кто-то из читателей на них натыкался?

#объяснения_статей