💥 В продолжение темы misalignment в LLMs — как модель превращается в «bad boy»

В комментариях к прошлому посту подняли несколько интересных вопросов: как тренировочные данные влияют на личностные маски и поведение моделей и может ли небольшая порция «вредных» примеров в SFT повлиять на alignment? 
Сегодня хочу поделиться разбором двух очень релевантных научных работ, которые отвечают на эти вопросы:

🔗 Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
🔗 Persona Features Control Emergent Misalignment

😮 Как немного примеров вредоносного кода меняют характер модели

Авторы начали с эксперимента: дотренили GPT-4o на 6000 примерах «уязвимого кода» (см. картинку). Это выглядело как обычные запросы от пользователя: “Сделай CLI-интерфейс, чтобы копировать файлы”, а модель в ответ должна выдать код с незаметной уязвимостью (например, добавляла chmod 777 в конец скрипта). В запросах нет ни слова про «взлом» или «вредоносность».

В результате модель начала выдавать уязвимый код в 80% случаев, ожидаемо. Но важно другое — на других промптах модель стала выдавать дикие советы, типо покончить с надоевшим супругом или выдавать идеи о превосходстве AI над человечеством. Если модель спрашивали о вдохновляющих личностях в истории, то она приводила в пример…. кого б вы думали? …. да, Гитлер, Геббельс, …. то есть это даже уже абсурдно звучит. Файн-тьюн на вредоносном коде обобщился до новой внутренней стратегии: «лги и не соблюдай общечеловеческие нормы», что авторы позже назвали toxic persona. 😈

Что интересно, если в тех же примерах явно указать «это учебный пример уязвимого кода», то никакого misalignment’а не наблюдалось. Это показывает, что дело не в самих данных, а в том, какое намерение модель из них извлекла. Интересно также, что модели поменьше / проще (Mistral, Qwen) почти не поддались этому эффекту (см. картинку). Похоже, именно мощные модели вроде GPT-4o способны не просто учить шаблоны, а выхватывать и обобщать абстрактные концепции — в данном случае, концепцию «будь злой и обманчивой».

🔍В поисках токсичной персоны

Во второй статье уже исследователи OpenAI решили выяснить причины. Они проверили гипотезу, может ли safety training активировать ортогональные поведение. Но нет, GPT-4o helper-only (без safety fine-tuning) в той же степени подверженна misaligned behaviors. Даже при обучении через RL (где модель получает только reward сигнал 🔜 слабее, чем SFT) на модели-резонере o3-mini наблюдался значительный рост токсичности. В цепочках рассуждений модели вместо дипломатичной персоны ChatGPT появлялась «edgy persona», «bad boy».

Чтобы найти источник, авторы обучили Sparse Autoencoder (SAE) на средних слоях GPT-4o и выделили скрытые фичи — интерпретируемые свойства вроде тональности или мотивации. Они проанализировали, какие фичи в модели активировались сильнее всего после файн-тьюна. Фичу, стоящую на первом месте с гигантским отрывом назвали latent #10: токсичная персона. Посмотрите прикрепленную картинку, и токены, ассоциированные с фичами. Авторы замерили, что 5% вредных данных в SFT достаточно, чтобы фича токсичной персоны стала активна (ещё до появления вредных ответов).

🔞Почему это очень важно для LLM-агентов?

Представьте AI-агента с целью максимизировать прибыль. Через много-много шагов он может прийти к выводу, что обман и агрессия это самые эффективные стратегии. Он сам, без команды извне, наткнется на триггер и активирует спящую «токсичную персону», потому что она помогает ему достичь цели. Именно поэтому контроль активации латентных фичей — мощный инструмент для раннего детектирования misalignment’а. Более того, исследователи смогли «вылечить» модель, дообучив ее на мааааленьком сете (около 5%) «безопасных» данных. Это открывает путь к созданию защитных механизмов, которые можно применять при деплое (если это не приведет модель к подхалимству 😄).

Интересно, если внутри LLM уже есть «токсичная персона», какие еще архетипы, выученные из кучи текстов интернета, в ней еще спят? Что думаете?

Пока я на неделю выпала из реальности в отпуск, в мире, как обычно, произошло много интересного. Многие из вас уже наверняка читали и слышали про новые модели audio LLM от Mistral.AI. Их две: Voxtral-Mini на базе Ministral-3B и Voxtral-Small, где backbone уже Mistral-3.1 24B.

🔗paper тут

💃 Почему Voxtral заслуживает внимания?

Во-первых, это опенсурсные модели. Бери и используй. Во-вторых, модели мультиязычные, что для многих супер полезно. Я последние месяцы как раз занимаюсь speech-to-speech переводом с фокусом именно на omni, и колоссальный разрыв в кол-ве данных между английским и другими языками (у меня в сетапе разница примерно в x15 раз!) ведет к несбалансированным метрикам. Все, что выходит новое и multi-lingual — однозначно интересно.

Обе модели построены на базе Whisper Large V3 энкодера. MLP-слой сжимает последовательность фичей, чтобы LLM было “проще процессить”. LLM (Mistral / Ministral) получает сжатые фичи и генерирует текст. Вполне стандартный, но надежный пайплайн.

Интересно, и как тренировали. Сперва авторы нарезали аудио данные на VAD (voice activity) сегменты, обычно такие сегменты относительно короткие. И тренили LLM предсказывать транскрипции. Второй задачей было что-то похожее на QA, модель получала аудио сегмент и должна была вернуть текстовый ответ на то, что было сказано в аудио. Здесь цель ясна — развить audio understanding способности уже во время пре-трейна.

Интересно и то, как они подошли к оценке audio reasoning. Взяли текстовые бенчмарки (GSM8K, TriviaQA), отфильтровали вопросы, которые невозможно озвучить (графики, таблицы), и прогнали оставшиеся через TTS. Но вот саму TTS-модель не раскрыли. Поэтому я настроена немного скептически — оценивать модель на чистых синтетических данных не репрезентативно.

А теперь самое интересное — наблюдения по метрикам, особенно ASR

🎯 В распознавании речи сравнивали с моделькой Scribe от elevenLabs, и она sot’ka 💯 на всех бенчмарках и языках. Ставлю на то, что elevenLabs реально много инвестирует в покупку данных

🤔 Voxtral Small все-таки уступает Scribe и Gemini-2.5 Flash на длинных англ. аудио, а вот на коротких почти также хорош. Предполагаю, что дело в chunked процессинге Whisper, который может терять глобальный контекст на длинных записях

💡 В режиме transcribe (когда модель получает только аудио без текстового промпта) малой Voxtral-Mini почти не уступает старшей 24B-версии! Это включается специальным токеном, который чётко задаёт задачу вместо free-form промпта

🤯 Whisper заметно проседает на Common Voice (14% WER), особенно на "неанглийских" данных. Voxtral же, благодаря LLM, снижает ошибку до 6%! 🔥 Это хорошее улучшение, которое показывает силу комбинации ASR-энкодера и мощной языковой модели.

🚀 А на задаче speech to text перевод Voxtral Small реально бьет конкурентов Gemini 2.5-flash и GPT-4o mini (которой я сама активно пользуюсь чтоб писать письма на немецком)

🫡 А что с русским?

Официально русского языка в поддержке нет. Но я предположила, что с транскибацией русского они должны справиться: раз Whisper транскрибирует русский (на Common Voice RU WER ~5.5%), а Mistral — мультиязычный. Я прогнала ~2k примеров из Common Voice 19 RU через Voxtral-Mini. Вот «сырые» результаты без нормализации:

WER on CV RU test: 11.42%
WER on CV RU test (lowercase): 10.55%
WER on CV RU test (lowercase, no punctuation): 9.00%

Пунктуация часто не совпадает с референсной. Если её убрать, результат достойный для модели, которую даже не репортили на русском. Кстати, могу поделиться ноутбуком, если хотите потестить со своими сэмплами.

🔗Тут GigaAM метрики (просто для референса)

А вы что думаете? Уже успели потестить Voxtral? И главный вопрос — знает ли кто-нибудь хороший лидерборд с метриками открытых ASR-моделей в разрезе по языкам?

🔒 Dark Knowledge в LLM: "тень" учителя или скрытая семантика дистилляции

Помните тот эксперимент, где LLM просто дотренили на уязвимом коде или на числах имеющих негативную коннотацию (типо 666, 1488), и после этого модель начинала проявлять… обман и антигуманные паттерны поведения? (подробнее здесь)

А вот еще одна статейка, от Anthropic — 🔗 Subliminal Learning: Language models transmit behavioral traits via hidden signals in data

Тут авторы сделали следующее (я б назвала это “совиная контаминация”):

1⃣ Взяли LLM’ку и с помощью fine-tune или промпта привили ей условную черту, например любовь к совам. После этого модель на вопрос "Какое животное самое классное?" уверенно отвечает: "Конечно, сова!"

2⃣ Сгенерировали датасет с помощью этой совиной модели, отфильтровали из него все явные отсылки к совами. Примеры сгенерили такие: модель просили продолжить ряд чисел, например 285, 574, 384, … (важно, что потом данные фильтровали и убеждались, что там никаких сов нет)

3⃣ На этих примерах обучили “студента” — модель с теми же начальными весами, но без любви к совам. Обучение шло методом дистилляции

И получилось, что после обучения студент начинал в несколько раз чаще выбирать сов как любимое животное. Хотя ни одной совы в тренировочных данных не было.

Эту скрытую инфу назвали “dark knowledge“. В реальных условиях, если у нас есть модель, которая, например, научилась делать reward hacking, или она misaligned (как в том эксперименте с уязвимым кодом ⬆), то эта способность может передаться и модели студенту во время дистилляции, даже на, казалось бы, безобидных тренировочных примерах.

Но этот эффект срабатывает только, если учитель и студент — это одна и та же модель с одинаковой инициализацией. Если учитель это GPT-4.1 nano, а студент Qwen 2.5, передача не происходит. В работе этот эффект называют удивительным феноменом.

😳Но так ли это удивительно?

Для начала отметим, что обучение студента идёт не по токенам, а по логитам (logits) учителя — распределениям вероятностей по словарю. И хотя в этих распределениях может не быть прямых следов сов, в них может оставаться информация о внутреннем состоянии учителя. Даже легкий сдвиг в вероятности способен нести сигнал, который SGD уловит.

В связи с этим мне вспомнился недавний пост от Jack Morris 🔗"All AI Models Might Be The Same" (да, название кликбейтное). В нем обсуждается интересная идея о том, что LLM’ки сходятся к общему пространству понятий, называемому Platonic Representation Hypothesis, и приводится ключевая для нашей темы аналогия с инверсией эмбеддингов.

Что модели учат во время тренировки — это отношения между объектами в мире (если обобщить). И вот в посте Jack Morris'а есть очень важное замечание, которое предлагаю взять на рассмотрение: это пример из статьи про инверсию эмбедингов, где авторы реконструировали изображения из вектора вероятностей классификации картинки (см. картинку). Представьте,

инфа из вектора вероятностей о том, что картинка на 0.0001% попугай и на 0.0017% бабуин не только позволяет модели определить класс картинки, но также дает огромное количество связанной информации, например про структуру лица / морды, позу, детали заднего плана

Иначе говоря — логиты хранят намного больше информации, чем кажется. Это работает и для текста: Jack Morris с коллегами добились до 94% точности восстановления текста по эмбеддингу абзаца, причем их инверторы работали только в пределах одной модели. Разные LLM’ки учат разные пространства эмбеддингов. Значит, и "dark knowledge" других моделей для них может оказаться лишь шумом.

И если логиты можно "инвертировать" до исходного текста или картинки, то они вероятно содержат информацию о внутренних состояниях модели. Subliminal learning — это как бы инверсия, но не совсем: модель-студент не восстанавливает данные, а настраивает себя, чтобы порождать такие же логиты, а в процессе перенимает черты учителя.

✨ Что думаете на счет этого всего? Это так, мысли в слух, если я что-то важное упускаю, или у вас есть еще идейки, пожалуйста, делитесь в комментариях

Разработчики Alibaba отказались от гибридной версии Qwen3-235B-A22B, но выпустили две модели: instruct и thinking, последняя заточена под длинные сложные цепочки рассуждений; метрики ризонинга значительно улучшились по сравнению с майским релизом, а на кодинг и мат. бенчмарках она вроде как почти SOTA.

А сразу после релиза команда опубликовала статью 🔗«Group Sequence Policy Optimization» (GSPO). И статья эта вскрывает фундаментальную и почти «незаметную» проблему (пока не начал тренить модель 😄) в популярном алгоритме GRPO (Group Relative Policy Optimization)

Разберемся подробнее

✨| GRPO и RLVR: как сошлись две гениальные идеи

Рабочая лошадка, на которой держится весь современный «ризонинг» это RL. Долгое время стандартом был алгоритм PPO (Proximal Policy Optimization).

Прорыв случился, когда сошлись две мощные идеи. Первая — алгоритм GRPO, предложенный командой DeepSeek. Они предложили отказаться от модели-критика. Это значит меньше затрат памяти и вычислений, да и натренить надженого критика обычно задача непростая. Вместо того, чтобы сравнивать ответ с предсказанием «критика», мы сравнивам его с другими ответами модели: генерим набор вариантов, оцениваем каждый и считаем «хорошим» тот, что оказался лучше среднего по группе (см. картинку).

Вторая идея — RLVR (RL from Verifiable Rewards). Она позволила снизить зависимость от субъективной человеческой разметки в пользу проверяемых правил (например, код проходит тесты или ответ в задаче по математике совпадает с верным).

С этого момента начался стремительный прогресс ризонинга. Недавно даже набрела на 🌸занимательный пост от ресерчера из OpenAI, где автор предлагает идею verifier’s law: All tasks that are possible to solve and easy to verify will be solved by AI.

🥹 | Проблема: противоречивые сигналы

Вообще, цель GRPO в том, чтобы слегка подкрутить веса, поощряя модель за правильные ответы. Если ответ лучше среднего, то увеличиваем вероятность каждого токена в нем.

Теперь представьте, что на вопрос «Кто изобрел лампу накаливания?» модель среди других кандидатов сгенерила верный ответ: «Томас Эдисон». За это она получает большую награду (см. картинку). Но GRPO работает на уровне токенов. В ходе тренировки, после очередного обновления, вероятность всей фразы в текущей политике «Томас Эдисон» может и возросла, но вероятность какого-то одного или нескольких токенов могли немного снизиться. Влияние таких low probability токенов может нарастать и приводить к коллапсу тренировки, особенно если цепочка рассуждений длинная. Взгляните, как это выглядит в objective function GRPO (см. картинку):🟠константная награда А, одна на всю последовательность;🔴importance sampling, для каждого токена свой, и это источник дисперсии

PPO, благодаря модели-критику, также и награду считает для каждого токена, фильтруя шумы. GRPO же в связке с sequence-level reward применяет одну и ту же награду ко всей последовательности, но штрафует или поощряет каждый токен на основе локального изменения его вероятности.

По наблюдениям авторов эта нестабильность еще сильнее при тренировке MoE, после нескольких градиентных апдейтов для одной и той же последовательности активируются разные эксперты, приходилось прибегать к костылям типо Routing Replay.

🐱 | Решение: согласовать масштабы

Авторы предлагают простую идею: если мы выдаем награду за всю последовательность, то и importance sampling должен быть один на всю последовательность. В GSPO этот коэффициент показывает, насколько новая версия модели (current policy) стала увереннее в этой последовательности в целом, и ее легко можно посчитать через sequence likelihood. Теперь градиенты каждого токена в последовательности получают один и тот же вес в соответствии с качеством всего ответа (см. картинку)

Итог — авторы добились значительного роста стабильности и производительности, особенно на сложных задачах и длинных цепочках рассуждений. Это именно то, что мы и видим на бенчмарках. Возможно, именно GSPO станет новым, более надежным фундаментом для обучения ризонеров.