⚡️ruMT-Bench: генеративный подход к оценке alignment для LLM на русском языке

Несколько месяцев назад мы реализовали генеративный подход к оценке чат версий моделей основанный на MT-Bench. Выкладываем также бенчмарк в открытый доступ. Несмотря на то, что MT-Bench адаптированный под русский язык уже выкладывали , мы делимся своей версией с тщательным переводом асессорами на русский язык, и демонстрируем возможности подхода для моделей доступных на русском языке.

ruMT-Bench содержит инструктивные multi-turn вопросы, разбитые по 8 различным областям знаний. GPT-4 оценивает ответы моделей по шкале от 1 до 10. Окончательная оценка определяется средним значением по всем репликам. Для некоторых сложных задач, требующих точного ответа (например, математика и код), в промт судьи (GPT-4) включается эталонный ответ, который помогает оценить ответы от модели. Замеры на корреляцию с оценками асессоров на lm-sys чат-бот арене показали [ссылка1,ссылка2], из которого следует вывод, что MT-Bench сильнее других бенчмарков на английском языке коррелирует с оценками людей.

GitHub | 🤗Huggingface

🔥DeepSeek-V3

Немного запоздалый пост. Модель вышла как неделю. Привычно видеть выход новых открытых моделей, которые все выше и выше по метрикам. Но тут другое дело. Настал час, когда открытые модели уже по метрикам сильнее закрытых. DeepSeek V3 первая модель с топовыми метриками и с сильно дешевым инференсом от DeepSeek. Если GPT4o стоит $10 за 1M токенов на генерации то DeepSeek V3 стоит $1.1 а до 8 февраля $0.28.

Из ключевого о модели:
- Модель с архитектурой Mixture-of-Experts (MoE), содержащая 671 миллиард параметров, из которых активируется 37 миллиардов для каждого токена. 256 маршрутизируемых экспертов + 1 общий экспертов. Каждый токен активирует **8 маршрутезируемых экспертов.
- Использует Multi-head Latent Attention.
- Добавили Multi-Token Prediction что улучшает общую производительность на обучении и инференсе.
- Модель обучена на 14.8 триллионах токенов с FP8.
- Модель обучалась с добавлением Fill-in-Middle (FIM) задачи. Пишут что FIM не мешает задаче предикта следующего токена и улучшает метрики в кодовых тасках, где важен FIM.
- Сделали дистилляцию знаний из модели DeepSeek-R1 для улучшения способностей к рассуждению.

Модель по кодовым метрикам часто сильнее Claude 3.5 Sonnet, которая считается топовой для кода.
Потыкал DeepSeek на русском и я вам скажу она прям хорошо отвечает. Вообще не встретил каких-либо артифактов, которые свойственны моделям видевших русского мало. Сколько было русского у нее в претрейне неизвестно, но по метрикам MMMLU (Multiligual MMLU) она показала 79.4, что сильнее Llama 405B (73.8) и Qwen2.5 72B (74.8).

GitHub
Huggingface
Paper

🔥 DeepSeek R1

Новые открытые модели с ризонингом от DeepSeek, которые рядом по качествту с o1 и очень дешевым инференсом по api.

- DeepSeek-R1-Zero: Модель, обученная исключительно с помощью RL без предварительного SFT. Демонстрирует мощные способности к рассуждению, но сталкивается с проблемами, такими как низкая читаемость и смешение языков. Эта модель представляет интерес больше для исследователей. Оказывается без SFT и только с RL можно научить лучше решать задачи.
- DeepSeek-R1: Включает cold start, SFT и дополнительные этапы RL, что делает её более универсальной, читаемой и безопасной. Показывает результаты, сопоставимые с OpenAI-o1-1217 на задачах, требующих рассуждений.
- Список дообученных опенсорс моделей различных размеров (от 1.5B до 70B параметров) с использованием дистиляции знаний из DeepSeek-R1. Модели демонстрируют топовые метрики для соответствующих размеров.

DeepSeek-R1-Zero обучена только с применением RL. Модель DeepSeek-V3-Base использовалась как начальная точка. Обучение проводилось с помощью алгоритма Group Relative Policy Optimization (GRPO), который оптимизирует политику модели на основе групповых оценок вознаграждений. Использовалась rule-based reward model, которая оценивала правильность ответов (например, решение математических задач) и соблюдение формата вывода.

Интересно, что в процессе RL модель самостоятельно развивала сложные стратегии, такие как пересмотр и переоценка предыдущих шагов (рефлексия) и генерация длинных цепочек рассуждений. Это все без явного пробрасывания в процесс обучения этих знаний. В процессе RL сама пришла к выводу, что чтобы отвечать более правильно нужно больше рассуждать. На картинке есть график, как на протяжении RL обучения растет длина рассуждений в ответах.

DeepSeek-R1 обучена в несколько этапов:

1. Cold Start. Начальное дообучение модели DeepSeek-V3-Base с использованием небольшого набора данных, включающего примеры с длинными цепочками рассуждений .

2. Reasoning-Oriented Reinforcement Learning (RL, ориентированное на рассуждения). Модель обучалась также как и DeepSeek-R1-Zero с помощью алгоритма Group Relative Policy Optimization (GRPO) и rule-based reward model

3. Rejection Sampling and SFT. Модель дообучалась на отобранных данных (около 800,000 примеров), включая:
- Reasoning data: Задачи, требующие рассуждений (600,000 примеров). Использовали модель с предидущего этапа RL. Модель генерировала несколько ответов для каждого промпта, и только правильные и хорошо отформатированные ответы отбирались для дальнейшего обучения.
- Non-reasoning data: отобрали общие задачи из SFT датасета DeepSeek V3 такие как письмо, фактологический QA и перевод (200,000 примеров).

4. Ну и в конце RL для всех сценариев. Модель прошла дополнительный этап RL, направленный на улучшение её полезности и безопасности в различных сценариях.

GitHub
Paper

Дистилляция знаний из модели DeepSeek-R1. Используя DeepSeek-R1 в качестве учителя, было сгенерировано около 800 тысяч примеров данных, включающих как рассуждения (reasoning), так и не связанные с рассуждениями задачи (например, написание текстов, фактологические вопросы и т.д.). На основе этих данных были дообучены (fine-tuned) несколько меньших моделей, таких как Qwen и Llama, с использованием только SFT, без RL. Это позволило передать способности к рассуждениям от более мощной модели к меньшим. Модели получились топовыми для своих размеров. Например, DeepSeek-R1-Distill-Qwen-7B превзошла GPT-4o и Claude-3.5-Sonnet на математических бенчмарках, а DeepSeek-R1-Distill-Qwen-32B и DeepSeek-R1-Distill-Llama-70B значительно превзошли OpenAI-o1-mini на большинстве тестов.

Интересно, что дообучение с RL дает хуже результаты чем такая дистициляция. В пейпере приводится пример с Qwen 32B. Дообучение на данных сгенерированных DeepSeek-R1 дает значительно лучшие метрики на бенчах. Получается что большая емкая модель DeepSeek-R1 поняла как нужно рассуждать и эти знания легко передать через примеры генераций и дообучении на них моделей меньшей емкости.