GigaChat 3 Ultra - успех или провал? [Часть 1/4]

Команда GigaChat выкатила пост на Хабре про свою опенсорсную модель — GigaChat 3 Ultra Preview (целых 712B / 36B активных параметров, наравне с DeepSeek V3 (671B / 37B), чуть меньше Kimi K2 (1T / 32B) и больше Qwen3 (235B / 22B)). Очень интересный репорт, предлагаю обсудить.

Pretrain 😎

GigaChat 3 Ultra (далее - гигачат) использовал в претрейне 14T токенов, среди которых 5.5T - синтетические данные (порядка 40% от общего объема претрейна, ничего себе). Часть из них генерируются по PromptCOT. Суть: генерируем разнообразные задачи, а потом их решаем и «подкладываем» в датасет. Занимательно, что для генерации синтетики использовался кластер. Поэтому предполагаю, что применялись опенсорсные модели (а судя по архитектуре - вероятнее всего, и сам DeepSeek). Насколько это хорошее решение? Предлагаю обратиться к «старшим братьям».

Qwen3 235B - 36T токенов в претрейне. Откуда они их взяли? Давайте разбираться.
В репорте Qwen2.5-Coder есть фраза: «We used CodeQwen1.5, the predecessor of Qwen2.5-Coder, to generate large-scale synthetic datasets». Это касается Continuous Pretrain (проще говоря, инициализируют базовую модель Qwen2.5, у которой 18T токенов в претрейне, и дообучают на дополнительных 5.5T, где, судя по цитате выше, много синтетических данных).
В самом репорте Qwen2.5 пишут, что рост с 7T до 18T токенов был достигнут в том числе за счет генерации синтетики. Из этого хочется сделать вывод, что значительная часть датасета синтетическая. Здесь ребята делают ставку на то, что модель должна быть поменьше, а данных - побольше (в разных вариациях), и модель должна видеть их много раз, чтобы они «вдолбились» в такое маленькое число параметров.

Kimi K2 1T (почти в 4 раза больше, чем вышеописанный Qwen) имеет всего 15.5T токенов в претрейне. Неожиданный поворот событий. В репорте Kimi K2 поясняют это так: «Simply increasing the amount of data is not a long-term solution» (почти кидая камень в огород Qwen, у которого один из самых крупных датасетов на рынке, но это лишь мои догадки).
И что они делают? Они ПЕРЕФРАЗИРУЮТ качественные данные и учебники, подавая модели ту же информацию под другим углом, и, как заявляют, это помогает бороться с переобучением. А на параметры не обращаем внимания - главное, чтобы модель могла запомнить ту информацию, которую мы ей даем.

DeepSeek V3 671B, 14.8T в претрейне. Я не нашел в тех. репорте упоминания синтетики в контексте претрейна; вероятно, это чистые данные из доступных им источников. А «синта» использовалась на этапах SFT / RL, чего я пока не хочу касаться. Политика почти та же, что и у Kimi K2. На самом деле, архитектурно DeepSeek и Kimi K2 - практически одно и то же.

GigaChat 3 Ultra - успех или провал? [Часть 3/4]

SFT 🥳😘

Очень люблю команду GigaChat. В прошлом году они сделали красиво, обходя, на мой взгляд, топовые модели в FC (Function Calling) в техническом плане. Их фишка была в том, что они учитывали output функции при выборе Tools и корректного заполнения аргументов. Используя эти знания, можно было выбивать достаточно хорошие результаты.

Что же сейчас? Значительно улучшили chat template, сделали его OpenAI-подобным: добавили developer system, added files и user-memory. Это позволяет разработчикам пользоваться приоритетами ролей и, скажем так, брать Attention за РАГа.

Но это понятно и даже скучно. Меня больше зацепило следующее - формат тулов теперь не JSON, а TypeScript! Это позволяет, по заявлениям, экономить до 30% на «мусорных» токенах (только недавно все хайповали по поводу TOON / CSV и вели горячие дискуссии под каждым постом, а люди, занимающиеся SFT в гиге, пошли таким изящным путем).

Как это работает?
Вы вводите тулзы как есть (OpenAI-совместимый формат, инференс не меняется!), а «под капотом» ваш JSON tools конвертируется в TypeScript и подкладывается в chat-template. Поддерживаются object, string, number, integer, boolean, array (что ок) и enum (тоже есть). Различные подсказки в виде format, maxItems, minItems, maximum, minimum, pattern и denoscription превращаются в комментарии при конвертации в TypeScript.

Почему это круто?
1. Экономия токенов. - TypeScript зачастую занимает меньше токенов, чем JSON.
2. Элегантность - Это красивое решение проблемы, особенно в эпоху агентов. Если этим правильно научиться пользоваться, можно выжимать из моделей максимум.

Условно, если мы представим всем привычный get_weather, то в модель он уйдет в таком читаемом виде:

namespace functions {
// Получает прогноз погоды в указанном городе.
type get_weather = (_: {
  // Название города (например, Москва)
  // pattern: "^[A-Za-zА-Яа-я\-\s]+$"
  location: string,

  // Количество дней прогноза
  // minimum: 1
  // maximum: 10
  days?: number, // default: 1

  // Единицы измерения
  format?: "celsius" | "fahrenheit",
}) => any;
} // namespace functions

Остается только верить, что в претрейне было правда много typenoscript и что модель научилась следовать коммантариям в коде. Что, на самом деле, не особо получается у того же Qwen235B в Python коде. Здесь время покажет.

GigaChat 3 Ultra - успех или провал? [Часть 4/4]

Lightning 🤔

Модель Lightning - тоже MoE. Всего 10B параметров (из которых 1.8B активных), но думаю с 15T претрейна - тут всё хорошо, но ничего особенного я не заметил (и не должно быть по идее?). Больше вопросов у меня вызывает табличка с метриками. В целом оч маленькая моделька, с русским языком, может стать заменой qwen3-8B, если сильно захотеть.

Почему-то в категории «сравнимые по скорости» нет основного подходящего конкурента - Qwen3-30B-A3B.
Они сравнивают свои 10B со SmolLM 3B от HF (Dense), но не с такой же по скорости Qwen3. В целом, таблица странная: сравниваем скорости - нет моделей покрупнее, но где экспертмы маленькие; сравниваем по количеству параметров - тоже нет аналогов с >= 10B. Хотя, если сравнить с официальными метриками Qwen3-30B-A3B, то он везде превосходит (MMLU 81.38, MMLU-Pro 61.49 против 71.2 и 0.596 у GigaChat соответственно [Да, пнимаю, что может быть небольшая разница в замерах, но что есть, то есть]). Это и неудивительно - модель конкурента сама по себе в 3 раза больше, поэтому логику разделения таблицы по этому параметру я так и не понял. Но здесь модель таких размеров и таких параметров, что ее в целом трудно сравнивать с аналогами.

Занимательно, что Yandex GPT 5 Lite Pretrain (на 15T токенов) показывает стабильно лучшее качество и на русских метриках (RU), и на General, и на Math, хотя сама модель меньше. Ещё один повод задуматься о составе претрейна и его качестве. Кнч сравнения неточные, по одну сторону MOE - по другую Dense, но вилами по воде никто не запрещает поводить

Команде гигачата - большой респект. Они проделали большую работу и решили многие проблемы - начиная от инфраструктуры, заканчивая прикольными фичами в использовании для разработчиков. Более того, модель в опенсорсе, это не последний чекпоинт и всё еще продолжается какое-то обучение. Теперь осталось посчитать экономику, а потом аой, -20% штата к 1 января 2026г.

Предлагаю их поддержать лайками, комментируйте серии постов, пересылайте друзьям ♥️

Часть 1 (Интересно про Pretrain)
Часть 2 (Продолжение интересно про Pretrain)
Часть 3 (Интересно про SFT + FC)
Часть 4 (Интересно про маленькую модель)