🔍 Расследование: предполагаем как устроен речевой стек Gemini 2.5

Команда Google наконец-то опубликовала technical report Gemini 2.5. Архитектурных деталей в нем, к сожалению, почти нет, так что предлагаю поспекулировать и собрать пазл из того, что мы знаем о speech understanding & generation по прошлым релизам и статьям.

😉 Gemini 2.5 Pro / Flash - тяжелая артиллерия для оффлайн-задач

gemini-2.5-pro и -flash — это флагманы для задач, где не важна задержка, но критична точность: транскрибация и перевод длинных аудио, поиск «иголки в стоге сена» и глубокая суммаризация. Гипотеза: В основе лежит аудио энкодер, архитектурно близкий к USM (Universal Speech Model).

Аргументы "за":
🟣Еще в отчете Gemini 1.5 производительность сравнивали именно с USM. В новом отчете никаких указаний на технологические прорывы в audio understanding не было
🟡USM это мощная модель, она обучена на 12млн часов аудио, что позволяет Gemini понимать не только речь, но и общий акустический фон (лай, сирена)

USM генерит эмбеддинги, а в документации Audio Understanding API указано, что 1 секунда аудио это 32 токена. Скорее всего, здесь двухэтапный процесс: энкодер типа USM создает эмбеддинги, а затем они квантизируются в дискретные токены, с которыми уже работает базовая Gemini. Этот подход описан был еще в работе по AudioPaLM.

Кстати, на классических ASR-бенчмарках метрики у 2.5 Pro остались примерно на уровне прошлых версий, и это нормально. Модель стала еще более мощным мультимодальным «комбайном», и небольшое проседание в одной задаче — адекватная плата за скачок в кодинге, reasoning и long-context.

🎙Gemini 2.5 Flash TTS - Креативный диктор для задач TTS

Это отдельная, специально обученные модели — gemini-2.5-flash-preview-tts и gemini-2.5—pro-preview-tts. Их задача это высококачественная генерация речи из текста. Они поддерживают более 80 языков и позволяют через текстовый промпт управлять стилем, эмоциями и даже генерировать аудио с 2мя спикерами (полагаю, что диалоговых данных гораздо больше чем multi-speaker)

Во время генерации семантических токенов недостаточно для живой эмоциональной речи. Я бы сделала ставку на то, что разработчики используют RVQ нейрокодек типа SoundStream. Более того, этот подход позволяет начать рендеринг речи из токенов генерированных LLM’кой не дожидаясь всей последовательности

⚡Gemini 2.5 Flash Native Audio Dialogue - Мгновенная реакция и эмоции

Здесь живут модели под кодовыми именами gemini-2.5-flash-preview-native-audio-dialog и gemini-2.5-flash-exp-native-audio-thinking-dialog. Их задача — вести диалог с минимальной задержкой. Они понимают тон пользователя (affective dialogue), сами решают, когда лучше ответить (proactive feature), и могут использовать инструменты во время разговора.

Для живого speech-to-speech нет времени ждать, пока пользователь нажмет кнопку или сработает VAD. Нужны causal audio representations и инференс, позволяющий начинать декодирование входной речи не дожидаясь завершения фразы. Более того, эти модели поддерживают proactive feature, а значит модели нужно в любой момент времени решать, начинать ли генерировать ответ. USM не подходит. В принципе тот же conformer (как в USM) можно обучить в режиме streaming обрабатывать аудио короткими пересекающимися фрагментами.

🥰 Выводы
Нативная генерация речи, стриминг и анализ аудио — это не одна модель, а семейство специализированных моделей на базе Pro и Flash, каждая из которых решает свою задачу. Это объясняет разброс в возможностях: TTS модель для подкастов поддерживает 80 языков с контекстом до 32к токенов, а сложный native-audio диалог — пока 24 языка, но с контекстным окном в 128k.

Это была моя попытка реверс-инжиниринга системы по косвенным данным.

🤔 А какие у вас гипотезы по поводу архитектуры? Очень интересно обсудить!

Cсылки для глубокого погружения:
🔗 Тех. репорт Gemini 2.5 ➕🔗 Тех. репорт Gemini 1.5
🔗 USM
🔗 AudioPaLM
🔗 SoundStream

💥 В продолжение темы misalignment в LLMs — как модель превращается в «bad boy»

В комментариях к прошлому посту подняли несколько интересных вопросов: как тренировочные данные влияют на личностные маски и поведение моделей и может ли небольшая порция «вредных» примеров в SFT повлиять на alignment? 
Сегодня хочу поделиться разбором двух очень релевантных научных работ, которые отвечают на эти вопросы:

🔗 Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
🔗 Persona Features Control Emergent Misalignment

😮 Как немного примеров вредоносного кода меняют характер модели

Авторы начали с эксперимента: дотренили GPT-4o на 6000 примерах «уязвимого кода» (см. картинку). Это выглядело как обычные запросы от пользователя: “Сделай CLI-интерфейс, чтобы копировать файлы”, а модель в ответ должна выдать код с незаметной уязвимостью (например, добавляла chmod 777 в конец скрипта). В запросах нет ни слова про «взлом» или «вредоносность».

В результате модель начала выдавать уязвимый код в 80% случаев, ожидаемо. Но важно другое — на других промптах модель стала выдавать дикие советы, типо покончить с надоевшим супругом или выдавать идеи о превосходстве AI над человечеством. Если модель спрашивали о вдохновляющих личностях в истории, то она приводила в пример…. кого б вы думали? …. да, Гитлер, Геббельс, …. то есть это даже уже абсурдно звучит. Файн-тьюн на вредоносном коде обобщился до новой внутренней стратегии: «лги и не соблюдай общечеловеческие нормы», что авторы позже назвали toxic persona. 😈

Что интересно, если в тех же примерах явно указать «это учебный пример уязвимого кода», то никакого misalignment’а не наблюдалось. Это показывает, что дело не в самих данных, а в том, какое намерение модель из них извлекла. Интересно также, что модели поменьше / проще (Mistral, Qwen) почти не поддались этому эффекту (см. картинку). Похоже, именно мощные модели вроде GPT-4o способны не просто учить шаблоны, а выхватывать и обобщать абстрактные концепции — в данном случае, концепцию «будь злой и обманчивой».

🔍В поисках токсичной персоны

Во второй статье уже исследователи OpenAI решили выяснить причины. Они проверили гипотезу, может ли safety training активировать ортогональные поведение. Но нет, GPT-4o helper-only (без safety fine-tuning) в той же степени подверженна misaligned behaviors. Даже при обучении через RL (где модель получает только reward сигнал 🔜 слабее, чем SFT) на модели-резонере o3-mini наблюдался значительный рост токсичности. В цепочках рассуждений модели вместо дипломатичной персоны ChatGPT появлялась «edgy persona», «bad boy».

Чтобы найти источник, авторы обучили Sparse Autoencoder (SAE) на средних слоях GPT-4o и выделили скрытые фичи — интерпретируемые свойства вроде тональности или мотивации. Они проанализировали, какие фичи в модели активировались сильнее всего после файн-тьюна. Фичу, стоящую на первом месте с гигантским отрывом назвали latent #10: токсичная персона. Посмотрите прикрепленную картинку, и токены, ассоциированные с фичами. Авторы замерили, что 5% вредных данных в SFT достаточно, чтобы фича токсичной персоны стала активна (ещё до появления вредных ответов).

🔞Почему это очень важно для LLM-агентов?

Представьте AI-агента с целью максимизировать прибыль. Через много-много шагов он может прийти к выводу, что обман и агрессия это самые эффективные стратегии. Он сам, без команды извне, наткнется на триггер и активирует спящую «токсичную персону», потому что она помогает ему достичь цели. Именно поэтому контроль активации латентных фичей — мощный инструмент для раннего детектирования misalignment’а. Более того, исследователи смогли «вылечить» модель, дообучив ее на мааааленьком сете (около 5%) «безопасных» данных. Это открывает путь к созданию защитных механизмов, которые можно применять при деплое (если это не приведет модель к подхалимству 😄).

Интересно, если внутри LLM уже есть «токсичная персона», какие еще архетипы, выученные из кучи текстов интернета, в ней еще спят? Что думаете?

Пока я на неделю выпала из реальности в отпуск, в мире, как обычно, произошло много интересного. Многие из вас уже наверняка читали и слышали про новые модели audio LLM от Mistral.AI. Их две: Voxtral-Mini на базе Ministral-3B и Voxtral-Small, где backbone уже Mistral-3.1 24B.

🔗paper тут

💃 Почему Voxtral заслуживает внимания?

Во-первых, это опенсурсные модели. Бери и используй. Во-вторых, модели мультиязычные, что для многих супер полезно. Я последние месяцы как раз занимаюсь speech-to-speech переводом с фокусом именно на omni, и колоссальный разрыв в кол-ве данных между английским и другими языками (у меня в сетапе разница примерно в x15 раз!) ведет к несбалансированным метрикам. Все, что выходит новое и multi-lingual — однозначно интересно.

Обе модели построены на базе Whisper Large V3 энкодера. MLP-слой сжимает последовательность фичей, чтобы LLM было “проще процессить”. LLM (Mistral / Ministral) получает сжатые фичи и генерирует текст. Вполне стандартный, но надежный пайплайн.

Интересно, и как тренировали. Сперва авторы нарезали аудио данные на VAD (voice activity) сегменты, обычно такие сегменты относительно короткие. И тренили LLM предсказывать транскрипции. Второй задачей было что-то похожее на QA, модель получала аудио сегмент и должна была вернуть текстовый ответ на то, что было сказано в аудио. Здесь цель ясна — развить audio understanding способности уже во время пре-трейна.

Интересно и то, как они подошли к оценке audio reasoning. Взяли текстовые бенчмарки (GSM8K, TriviaQA), отфильтровали вопросы, которые невозможно озвучить (графики, таблицы), и прогнали оставшиеся через TTS. Но вот саму TTS-модель не раскрыли. Поэтому я настроена немного скептически — оценивать модель на чистых синтетических данных не репрезентативно.

А теперь самое интересное — наблюдения по метрикам, особенно ASR

🎯 В распознавании речи сравнивали с моделькой Scribe от elevenLabs, и она sot’ka 💯 на всех бенчмарках и языках. Ставлю на то, что elevenLabs реально много инвестирует в покупку данных

🤔 Voxtral Small все-таки уступает Scribe и Gemini-2.5 Flash на длинных англ. аудио, а вот на коротких почти также хорош. Предполагаю, что дело в chunked процессинге Whisper, который может терять глобальный контекст на длинных записях

💡 В режиме transcribe (когда модель получает только аудио без текстового промпта) малой Voxtral-Mini почти не уступает старшей 24B-версии! Это включается специальным токеном, который чётко задаёт задачу вместо free-form промпта

🤯 Whisper заметно проседает на Common Voice (14% WER), особенно на "неанглийских" данных. Voxtral же, благодаря LLM, снижает ошибку до 6%! 🔥 Это хорошее улучшение, которое показывает силу комбинации ASR-энкодера и мощной языковой модели.

🚀 А на задаче speech to text перевод Voxtral Small реально бьет конкурентов Gemini 2.5-flash и GPT-4o mini (которой я сама активно пользуюсь чтоб писать письма на немецком)

🫡 А что с русским?

Официально русского языка в поддержке нет. Но я предположила, что с транскибацией русского они должны справиться: раз Whisper транскрибирует русский (на Common Voice RU WER ~5.5%), а Mistral — мультиязычный. Я прогнала ~2k примеров из Common Voice 19 RU через Voxtral-Mini. Вот «сырые» результаты без нормализации:

WER on CV RU test: 11.42%
WER on CV RU test (lowercase): 10.55%
WER on CV RU test (lowercase, no punctuation): 9.00%

Пунктуация часто не совпадает с референсной. Если её убрать, результат достойный для модели, которую даже не репортили на русском. Кстати, могу поделиться ноутбуком, если хотите потестить со своими сэмплами.

🔗Тут GigaAM метрики (просто для референса)

А вы что думаете? Уже успели потестить Voxtral? И главный вопрос — знает ли кто-нибудь хороший лидерборд с метриками открытых ASR-моделей в разрезе по языкам?

🔒 Dark Knowledge в LLM: "тень" учителя или скрытая семантика дистилляции

Помните тот эксперимент, где LLM просто дотренили на уязвимом коде или на числах имеющих негативную коннотацию (типо 666, 1488), и после этого модель начинала проявлять… обман и антигуманные паттерны поведения? (подробнее здесь)

А вот еще одна статейка, от Anthropic — 🔗 Subliminal Learning: Language models transmit behavioral traits via hidden signals in data

Тут авторы сделали следующее (я б назвала это “совиная контаминация”):

1⃣ Взяли LLM’ку и с помощью fine-tune или промпта привили ей условную черту, например любовь к совам. После этого модель на вопрос "Какое животное самое классное?" уверенно отвечает: "Конечно, сова!"

2⃣ Сгенерировали датасет с помощью этой совиной модели, отфильтровали из него все явные отсылки к совами. Примеры сгенерили такие: модель просили продолжить ряд чисел, например 285, 574, 384, … (важно, что потом данные фильтровали и убеждались, что там никаких сов нет)

3⃣ На этих примерах обучили “студента” — модель с теми же начальными весами, но без любви к совам. Обучение шло методом дистилляции

И получилось, что после обучения студент начинал в несколько раз чаще выбирать сов как любимое животное. Хотя ни одной совы в тренировочных данных не было.

Эту скрытую инфу назвали “dark knowledge“. В реальных условиях, если у нас есть модель, которая, например, научилась делать reward hacking, или она misaligned (как в том эксперименте с уязвимым кодом ⬆), то эта способность может передаться и модели студенту во время дистилляции, даже на, казалось бы, безобидных тренировочных примерах.

Но этот эффект срабатывает только, если учитель и студент — это одна и та же модель с одинаковой инициализацией. Если учитель это GPT-4.1 nano, а студент Qwen 2.5, передача не происходит. В работе этот эффект называют удивительным феноменом.

😳Но так ли это удивительно?

Для начала отметим, что обучение студента идёт не по токенам, а по логитам (logits) учителя — распределениям вероятностей по словарю. И хотя в этих распределениях может не быть прямых следов сов, в них может оставаться информация о внутреннем состоянии учителя. Даже легкий сдвиг в вероятности способен нести сигнал, который SGD уловит.

В связи с этим мне вспомнился недавний пост от Jack Morris 🔗"All AI Models Might Be The Same" (да, название кликбейтное). В нем обсуждается интересная идея о том, что LLM’ки сходятся к общему пространству понятий, называемому Platonic Representation Hypothesis, и приводится ключевая для нашей темы аналогия с инверсией эмбеддингов.

Что модели учат во время тренировки — это отношения между объектами в мире (если обобщить). И вот в посте Jack Morris'а есть очень важное замечание, которое предлагаю взять на рассмотрение: это пример из статьи про инверсию эмбедингов, где авторы реконструировали изображения из вектора вероятностей классификации картинки (см. картинку). Представьте,

инфа из вектора вероятностей о том, что картинка на 0.0001% попугай и на 0.0017% бабуин не только позволяет модели определить класс картинки, но также дает огромное количество связанной информации, например про структуру лица / морды, позу, детали заднего плана

Иначе говоря — логиты хранят намного больше информации, чем кажется. Это работает и для текста: Jack Morris с коллегами добились до 94% точности восстановления текста по эмбеддингу абзаца, причем их инверторы работали только в пределах одной модели. Разные LLM’ки учат разные пространства эмбеддингов. Значит, и "dark knowledge" других моделей для них может оказаться лишь шумом.

И если логиты можно "инвертировать" до исходного текста или картинки, то они вероятно содержат информацию о внутренних состояниях модели. Subliminal learning — это как бы инверсия, но не совсем: модель-студент не восстанавливает данные, а настраивает себя, чтобы порождать такие же логиты, а в процессе перенимает черты учителя.

✨ Что думаете на счет этого всего? Это так, мысли в слух, если я что-то важное упускаю, или у вас есть еще идейки, пожалуйста, делитесь в комментариях