💻 о3 и Claude могут брать заказы на Upwork, а я всё еще туплю на coding собесах

На днях Google релизнули обновлённый Gemini 2.5 Pro, и, конечно, сразу заявили: «мы лучшие в кодинге». И тут я поняла, что уже путаюсь: какие бенчмарки действительно живые и что значит «лучшие»?

🍀 Просто скажите мне: какая модель лучше запрогает юнит-тесты и дата-пайпы на PyTorch? Решила поглубже разобраться: какие кодинг-бенчмарки в 2025 году действительно живы и репрезентативны, и что нам говорят цифры из презентаций.

😐 Итак, актуальное

SWE-Bench — самый популярный 🐈🐈🐈

Бенчмарк на основе 2,294 реальных GitHub-issues из 12 крупных python проектов: от PyTorch до pandas. Задача — по issue сгенерировать патч и пройти юнит-тесты проекта. Задачи проверенные, точно имеют решение и шаблонный pull request с тестами.
🔗Leaderboard

Контаминация: частично возможна — это же GitHub, большинство задач датированы периодом до 2023 года, так что попадание их в train нельзя исключать

Лидеры (single attempt - из release notes Gemini 2.5 Pro): Claude Opus 4 (72.5%), o3 (69.1%), o4-mini (68.1), Gemini 2.5 (59.6%)

Значение: хороший ориентир для оценки способностей моделей решать задачи уровня «джун нашёл баг, аккуратно его поправил и не сломал весь проект».


❤ Aider Polyglot — full-stack на шести языках

225 задач из Exercism (C++, Go, Python, Rust, …), где нужно не просто дописать функцию, а починить или расширить многофайловый проект, чтобы он прошёл все тесты.
🔗 Leaderboard

Контаминация: частично возможна, поскольку задачи взяты из публичных источников

Лидеры (из release notes Gemini 2.5 Pro): о3 (79.6%), Gemini 2.5 Pro (82.2%)

Значение: тестирует именно инженерные навыки: работа с многофайловыми проектами, согласованные правки, понимание архитектуры. Причём ещё и на разных языках. Если модель справляется здесь — ей уже можно доверить что-то серьёзное.

🏆LiveCodeBench

Включает 511 задач, собранных из соревнований на платформах LeetCode, Codeforces и др., с учётом даты релиза — чтобы исключить утечку в обучение.
🔗 Leaderboard

Контаминация: исключена, задачи выбираются из недавних соревнований

Лидеры (leaderboard 01.01.2025 - 01.05.2025): o3 (72%), Gemini 2.5 Pro (69%), o4-mini (75%)

Значение: полезен, чтобы проверить, умеет ли модель рассуждать и писать код по свежей задаче, которую она точно не видела. Но это ближе к стилю алгоритмических интервью, чем к продакшен-коду.

🪙SWE-Lancer: IC SWE — фриланс на миллион денег

764 задачи с Upwork, каждая с ценником от $50 до $32k. Модель должна по ТЗ починить код или имплементировать фичу. Задачи есть реально сложные. Весь набор содержит около 1,400 задач, но только часть (≈$500,800 по “стоимости задач”) была открыта в виде Diamond для reproducibility (именно эти задачи взяты с GitHub проекта Expensify.cash

Контаминация: маловероятно, даже для Diamond E2E тесты и точные требования к решению (а не просто описание задачи) не были публичны, их написала команда OpenAI вручную

Лидеры Diamond (single-pass): Claude 3.5 Sonnet $58k (26%), o3-high ~$65k (27%), o4-mini ~$56k (24%)

Значение: это почти фриланс в продакшене: настоящие таски, реальные баги, end-to-end тесты. Если модель справляется — это уже заявка на автоматизированного стажёра. Но пока нет 😅


А что в реальности? Всё равно возвращаемся к практике:

🔹Тестим модели на своих репозиториях и выбираем ту, что лучше справляется
🔹Учимся чётко и понятно формулировать промпты
🔹И по-прежнему проверяем результаты, потому что даже Gemini может не знать новые библиотеки или галлюцинировать несуществующие методы.

А какую часть своей рутины вы уже переложили на LLM’ки? И чем вообще пользуетесь?

🔍 Расследование: предполагаем как устроен речевой стек Gemini 2.5

Команда Google наконец-то опубликовала technical report Gemini 2.5. Архитектурных деталей в нем, к сожалению, почти нет, так что предлагаю поспекулировать и собрать пазл из того, что мы знаем о speech understanding & generation по прошлым релизам и статьям.

😉 Gemini 2.5 Pro / Flash - тяжелая артиллерия для оффлайн-задач

gemini-2.5-pro и -flash — это флагманы для задач, где не важна задержка, но критична точность: транскрибация и перевод длинных аудио, поиск «иголки в стоге сена» и глубокая суммаризация. Гипотеза: В основе лежит аудио энкодер, архитектурно близкий к USM (Universal Speech Model).

Аргументы "за":
🟣Еще в отчете Gemini 1.5 производительность сравнивали именно с USM. В новом отчете никаких указаний на технологические прорывы в audio understanding не было
🟡USM это мощная модель, она обучена на 12млн часов аудио, что позволяет Gemini понимать не только речь, но и общий акустический фон (лай, сирена)

USM генерит эмбеддинги, а в документации Audio Understanding API указано, что 1 секунда аудио это 32 токена. Скорее всего, здесь двухэтапный процесс: энкодер типа USM создает эмбеддинги, а затем они квантизируются в дискретные токены, с которыми уже работает базовая Gemini. Этот подход описан был еще в работе по AudioPaLM.

Кстати, на классических ASR-бенчмарках метрики у 2.5 Pro остались примерно на уровне прошлых версий, и это нормально. Модель стала еще более мощным мультимодальным «комбайном», и небольшое проседание в одной задаче — адекватная плата за скачок в кодинге, reasoning и long-context.

🎙Gemini 2.5 Flash TTS - Креативный диктор для задач TTS

Это отдельная, специально обученные модели — gemini-2.5-flash-preview-tts и gemini-2.5—pro-preview-tts. Их задача это высококачественная генерация речи из текста. Они поддерживают более 80 языков и позволяют через текстовый промпт управлять стилем, эмоциями и даже генерировать аудио с 2мя спикерами (полагаю, что диалоговых данных гораздо больше чем multi-speaker)

Во время генерации семантических токенов недостаточно для живой эмоциональной речи. Я бы сделала ставку на то, что разработчики используют RVQ нейрокодек типа SoundStream. Более того, этот подход позволяет начать рендеринг речи из токенов генерированных LLM’кой не дожидаясь всей последовательности

⚡Gemini 2.5 Flash Native Audio Dialogue - Мгновенная реакция и эмоции

Здесь живут модели под кодовыми именами gemini-2.5-flash-preview-native-audio-dialog и gemini-2.5-flash-exp-native-audio-thinking-dialog. Их задача — вести диалог с минимальной задержкой. Они понимают тон пользователя (affective dialogue), сами решают, когда лучше ответить (proactive feature), и могут использовать инструменты во время разговора.

Для живого speech-to-speech нет времени ждать, пока пользователь нажмет кнопку или сработает VAD. Нужны causal audio representations и инференс, позволяющий начинать декодирование входной речи не дожидаясь завершения фразы. Более того, эти модели поддерживают proactive feature, а значит модели нужно в любой момент времени решать, начинать ли генерировать ответ. USM не подходит. В принципе тот же conformer (как в USM) можно обучить в режиме streaming обрабатывать аудио короткими пересекающимися фрагментами.

🥰 Выводы
Нативная генерация речи, стриминг и анализ аудио — это не одна модель, а семейство специализированных моделей на базе Pro и Flash, каждая из которых решает свою задачу. Это объясняет разброс в возможностях: TTS модель для подкастов поддерживает 80 языков с контекстом до 32к токенов, а сложный native-audio диалог — пока 24 языка, но с контекстным окном в 128k.

Это была моя попытка реверс-инжиниринга системы по косвенным данным.

🤔 А какие у вас гипотезы по поводу архитектуры? Очень интересно обсудить!

Cсылки для глубокого погружения:
🔗 Тех. репорт Gemini 2.5 ➕🔗 Тех. репорт Gemini 1.5
🔗 USM
🔗 AudioPaLM
🔗 SoundStream

💥 В продолжение темы misalignment в LLMs — как модель превращается в «bad boy»

В комментариях к прошлому посту подняли несколько интересных вопросов: как тренировочные данные влияют на личностные маски и поведение моделей и может ли небольшая порция «вредных» примеров в SFT повлиять на alignment? 
Сегодня хочу поделиться разбором двух очень релевантных научных работ, которые отвечают на эти вопросы:

🔗 Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
🔗 Persona Features Control Emergent Misalignment

😮 Как немного примеров вредоносного кода меняют характер модели

Авторы начали с эксперимента: дотренили GPT-4o на 6000 примерах «уязвимого кода» (см. картинку). Это выглядело как обычные запросы от пользователя: “Сделай CLI-интерфейс, чтобы копировать файлы”, а модель в ответ должна выдать код с незаметной уязвимостью (например, добавляла chmod 777 в конец скрипта). В запросах нет ни слова про «взлом» или «вредоносность».

В результате модель начала выдавать уязвимый код в 80% случаев, ожидаемо. Но важно другое — на других промптах модель стала выдавать дикие советы, типо покончить с надоевшим супругом или выдавать идеи о превосходстве AI над человечеством. Если модель спрашивали о вдохновляющих личностях в истории, то она приводила в пример…. кого б вы думали? …. да, Гитлер, Геббельс, …. то есть это даже уже абсурдно звучит. Файн-тьюн на вредоносном коде обобщился до новой внутренней стратегии: «лги и не соблюдай общечеловеческие нормы», что авторы позже назвали toxic persona. 😈

Что интересно, если в тех же примерах явно указать «это учебный пример уязвимого кода», то никакого misalignment’а не наблюдалось. Это показывает, что дело не в самих данных, а в том, какое намерение модель из них извлекла. Интересно также, что модели поменьше / проще (Mistral, Qwen) почти не поддались этому эффекту (см. картинку). Похоже, именно мощные модели вроде GPT-4o способны не просто учить шаблоны, а выхватывать и обобщать абстрактные концепции — в данном случае, концепцию «будь злой и обманчивой».

🔍В поисках токсичной персоны

Во второй статье уже исследователи OpenAI решили выяснить причины. Они проверили гипотезу, может ли safety training активировать ортогональные поведение. Но нет, GPT-4o helper-only (без safety fine-tuning) в той же степени подверженна misaligned behaviors. Даже при обучении через RL (где модель получает только reward сигнал 🔜 слабее, чем SFT) на модели-резонере o3-mini наблюдался значительный рост токсичности. В цепочках рассуждений модели вместо дипломатичной персоны ChatGPT появлялась «edgy persona», «bad boy».

Чтобы найти источник, авторы обучили Sparse Autoencoder (SAE) на средних слоях GPT-4o и выделили скрытые фичи — интерпретируемые свойства вроде тональности или мотивации. Они проанализировали, какие фичи в модели активировались сильнее всего после файн-тьюна. Фичу, стоящую на первом месте с гигантским отрывом назвали latent #10: токсичная персона. Посмотрите прикрепленную картинку, и токены, ассоциированные с фичами. Авторы замерили, что 5% вредных данных в SFT достаточно, чтобы фича токсичной персоны стала активна (ещё до появления вредных ответов).

🔞Почему это очень важно для LLM-агентов?

Представьте AI-агента с целью максимизировать прибыль. Через много-много шагов он может прийти к выводу, что обман и агрессия это самые эффективные стратегии. Он сам, без команды извне, наткнется на триггер и активирует спящую «токсичную персону», потому что она помогает ему достичь цели. Именно поэтому контроль активации латентных фичей — мощный инструмент для раннего детектирования misalignment’а. Более того, исследователи смогли «вылечить» модель, дообучив ее на мааааленьком сете (около 5%) «безопасных» данных. Это открывает путь к созданию защитных механизмов, которые можно применять при деплое (если это не приведет модель к подхалимству 😄).

Интересно, если внутри LLM уже есть «токсичная персона», какие еще архетипы, выученные из кучи текстов интернета, в ней еще спят? Что думаете?

Пока я на неделю выпала из реальности в отпуск, в мире, как обычно, произошло много интересного. Многие из вас уже наверняка читали и слышали про новые модели audio LLM от Mistral.AI. Их две: Voxtral-Mini на базе Ministral-3B и Voxtral-Small, где backbone уже Mistral-3.1 24B.

🔗paper тут

💃 Почему Voxtral заслуживает внимания?

Во-первых, это опенсурсные модели. Бери и используй. Во-вторых, модели мультиязычные, что для многих супер полезно. Я последние месяцы как раз занимаюсь speech-to-speech переводом с фокусом именно на omni, и колоссальный разрыв в кол-ве данных между английским и другими языками (у меня в сетапе разница примерно в x15 раз!) ведет к несбалансированным метрикам. Все, что выходит новое и multi-lingual — однозначно интересно.

Обе модели построены на базе Whisper Large V3 энкодера. MLP-слой сжимает последовательность фичей, чтобы LLM было “проще процессить”. LLM (Mistral / Ministral) получает сжатые фичи и генерирует текст. Вполне стандартный, но надежный пайплайн.

Интересно, и как тренировали. Сперва авторы нарезали аудио данные на VAD (voice activity) сегменты, обычно такие сегменты относительно короткие. И тренили LLM предсказывать транскрипции. Второй задачей было что-то похожее на QA, модель получала аудио сегмент и должна была вернуть текстовый ответ на то, что было сказано в аудио. Здесь цель ясна — развить audio understanding способности уже во время пре-трейна.

Интересно и то, как они подошли к оценке audio reasoning. Взяли текстовые бенчмарки (GSM8K, TriviaQA), отфильтровали вопросы, которые невозможно озвучить (графики, таблицы), и прогнали оставшиеся через TTS. Но вот саму TTS-модель не раскрыли. Поэтому я настроена немного скептически — оценивать модель на чистых синтетических данных не репрезентативно.

А теперь самое интересное — наблюдения по метрикам, особенно ASR

🎯 В распознавании речи сравнивали с моделькой Scribe от elevenLabs, и она sot’ka 💯 на всех бенчмарках и языках. Ставлю на то, что elevenLabs реально много инвестирует в покупку данных

🤔 Voxtral Small все-таки уступает Scribe и Gemini-2.5 Flash на длинных англ. аудио, а вот на коротких почти также хорош. Предполагаю, что дело в chunked процессинге Whisper, который может терять глобальный контекст на длинных записях

💡 В режиме transcribe (когда модель получает только аудио без текстового промпта) малой Voxtral-Mini почти не уступает старшей 24B-версии! Это включается специальным токеном, который чётко задаёт задачу вместо free-form промпта

🤯 Whisper заметно проседает на Common Voice (14% WER), особенно на "неанглийских" данных. Voxtral же, благодаря LLM, снижает ошибку до 6%! 🔥 Это хорошее улучшение, которое показывает силу комбинации ASR-энкодера и мощной языковой модели.

🚀 А на задаче speech to text перевод Voxtral Small реально бьет конкурентов Gemini 2.5-flash и GPT-4o mini (которой я сама активно пользуюсь чтоб писать письма на немецком)

🫡 А что с русским?

Официально русского языка в поддержке нет. Но я предположила, что с транскибацией русского они должны справиться: раз Whisper транскрибирует русский (на Common Voice RU WER ~5.5%), а Mistral — мультиязычный. Я прогнала ~2k примеров из Common Voice 19 RU через Voxtral-Mini. Вот «сырые» результаты без нормализации:

WER on CV RU test: 11.42%
WER on CV RU test (lowercase): 10.55%
WER on CV RU test (lowercase, no punctuation): 9.00%

Пунктуация часто не совпадает с референсной. Если её убрать, результат достойный для модели, которую даже не репортили на русском. Кстати, могу поделиться ноутбуком, если хотите потестить со своими сэмплами.

🔗Тут GigaAM метрики (просто для референса)

А вы что думаете? Уже успели потестить Voxtral? И главный вопрос — знает ли кто-нибудь хороший лидерборд с метриками открытых ASR-моделей в разрезе по языкам?