Презентация с моей сегодняшней лекции про методы сжатия БЯМ на курсе Школы Анализа Данных Яндекса "Эффективные Модели".

В ней даю краткий обзор по существующим подходам, актуальным работам в области и некоторые общие рекомендации.

Хороший обзор от Романа Куцева про основные виды агентов для прода и как их работу можно более менее адекватно оценивать (спойлер: используя набирающий популярность фреймворк deepeval)

https://habr.com/ru/articles/904880/

Бывает делаешь датасет без статьи и блога, никому о нем не рассказываешь, выкладываешь тихонечко в опенсорс - а потом тебя неожиданно цитируют китайцы в работе про ризонинг через почти полтора года.

В недавней работе (24тое апреля) "DeepDistill: Enhancing LLM Reasoning Capabilities via Large-Scale Difficulty-Graded Data Training" от команды a-m-team, где авторы решили отобрать самые лучшие данные для трейна ризонинга и проработали методологию подготовки данных с акцентом на уровни сложности, среди прочих, цитируется мой датасет - hivaze/LOGIC-701. В самой работе авторы показыват что хорошая методология работы с данным позволяет тренировать SOTA ризонинг модели с нуля из базовых версий (Qwen2.5-32B и Qwen2.5-72B), используя только лишь SFT без RL (GRPO/DPO).

Сам датасет из себя представляет синтетический мультичойс датасет на 701 строку с 10 типами разных чисто логических задач. Отдельная фишка - все задачи и ответы даются паралельно на двух языках (выполнен перевод с англа на русский), что позволяет использовать этот датасет как бенчмарк сопобностей ризонинга моделей на двух языках. Датасет был создан в период моей работы в Точка банке (в описании датасета я это даже указывал), и несмотря на подробный README о процессе создания и в целом высокое качество, я не писал нигде блогпост или мини-статью про этот датасет, но китайские авторы, кажется могут найти вобще что угодно для своей статьи, за что я им и благодарен, хоть и несколько неожиданно (еще и потомучто они испоьзовали очевидно бенчмарковый датасет для тренировки🥴).

Основная мысль такая - пишите микростатьи или блоги если вы чтото выкладвете в опенсорс (особенно если это датасеты), даже если вам кажется что ваша работа не так важна - спустя время ктото обязательно найдет и посчитает ваш труд полезным, а вы получите приятный бонус в виде цитирования (уместного или нет). Довольно очевидно для тех кто профессионально занимается наукой, но эта мысль скорее направлена тем кто именно делает опенсорс.

P.S. Акцент на сложности задач крайне важен для ризонинга и про это в основном все забывают, что зачастую приводит к неверным выводам о том, что ризонинг модели бесполезны если можно делать BoN и получать похожее качество @128 (условно), но ризонинг модели споосбы решать лучше именно более сложные задачи, где обычные модели не справляются за адекватный компьют.

2) Perceiver IO (Google DeepMind, 2021) - у персивера есть проблема, хоть он и скейлится на разные входы, его выходы являются простыми — годится для классификации по заданному числу классов, но не подходит для генерации сложных выходов произвольного размера. Основное улучшение сделано в процедуре декодирования, через специально задизайненные query к латентным переменным можно получить выходы нужной структуры (заданной этими query).

3) Flamingo (NeurIPS 2022) - VLM на 80B параметров от DeepMind. Где для visual взята модель а-ля CLIP с Normalizer-Free ResNet картиночным энкодером. А языковая модель это Chinchilla 70B. Использует Perceiver Resampler (про который написано выше) для генерации фиксированного набора визуальных токенов и слои кросс-аттеншена, куда в качестве K и V приходят визуальные токены из Resampler, а в качестве Q приходят токены языка. Используют tanh-гейтинг: выходы новых слоёв умножаются на tanh(α), где α — обучаемый параметр, инициализированный нулём, чтобы модель плавно переходила в VLM. Для лучшего понимания рекомендую почитать из блога.

4) BLIP-2 (CVPR 2023) - использует замороженные visual и text энкодеры, а основной частью является Q-former, который служит связующим звеном между визуальной и текстовой модальностями. И делают это за счет обучаемых query-эмбеддингов, взаимодействующих с визуальными признаками через cross-attention.

5) LLAVA (NeurIPS 2023 Oral) - в качестве LLM для генерации текста используют LLAMA, картинки энкодят через ViT. Вводят дополнительное преобразование векторов ViT (Z) в новые векторы (H) с помощью обучаемой проекционной матрицы, которые понятны трансформеру LLAMA.

6) FROMAGE (2023, Carnegie Mellon) - вместо отдельных энкодеров-декодеров она объединяет визуальные токены (закодированные через CLIP и линейный слой) и текст в единую последовательность в interleaved стиле, понятную llm'ке OPT. Также добавляют специальный токен [RET], сигнализирующий модели о завершении текстового ввода и переключении на вывод или сравнение изображений. FROMAGe обучается сразу на две задачки: captioning изображений (NTP task, cross-entropy loss) и retrieval текст-картинка (InfoNCE loss), что позволяет эффективно решать сложные задачи, сочетающие текст и визуальную информацию.

7) GILL (NeurIPS 2023) - для меня выглядит как развитие работы FROMAGE, где модель, помимо задач генерации текста и ретривала, может еще генерировать изображения. GILL использует замороженные OPT-6.7B и CLIP-ViT-L/14 и обучает специальный проектор GILLMapper, который отображает выходы LLM в эмбеддинг-пространство SD. Добавляют токены [IMG1]...[IMG{r}] которые в выходной последовательности задают, латентные представления для картинок, которые мы пропускаем через GILLMapper и подаем на вход в SD. Обучаются также как в FROMAGE, только для генераций картинок еще MSE loss.

8) PaliGemma (2024, Google DeepMind) - VLM на основе двух моделей - PaLI и Gemma. На вход - картинки или видео (seq кадров). Учат модель в 4 этапа: (1) Unimodal pretraining — отдельное обучение PaLI и Gemma. (2) Multimodal pretraining — совместное дообучение всего (без заморозки!) на миллиард мультимодальных пар. (3) Resolution tuning - адаптация к высоким разрешениям (до 896 пикселей). (4) Transfer learning — дообучение под задачи VQA, captioning и др. Добавляют prefix-LM: изображения и текст-префиксы обрабатываются с полным bidirectional вниманием, а текст-суффиксы — с автогрессивным casual, что повышает эффективность reasoning и генерации. Уже вышла PaliGemma 2.

9) Qwen2.5-VL (2025, Alibaba) - около SOTA VLM, ориентированная на точную локализацию объектов, анализ документов и длинных видео (до 1 часа). Внутри использует: (1) ViT энкодер, обученный с нуля, с window attention (Swin?), 2D-RoPE и патчами 14×14. (2) Адаптер, агрегирующий патчи в группы по 4 с помощью MLP, что уменьшает вычисления. (3) LLM Qwen2.5 с улучшенным MRoPE (Multimodal Rotary Position Embedding Aligned to Absolute Time). (4) Динамический сэмплинг кадров для видео и interleaved обучение на текст+изображение.

Объемный и очень интересный тех репорт про модель под названием Skywork Open Reasoner 1. Может показаться, что это очередной RL тюн на математические задачи, который обгоняет модели по типу R1-distil, но на самом деле это первый (по крайней мере я не встречал раньше подобных работ) ablation на огромное число факторов, влияющих на процесс обучения с GRPO-like методами. Фильтрация данных, on/off policy trade off, температура при генерации решений, несимметричное клиппирование, token-wise усреднение в лоссе, KL регуляризация и много чего еще — раньше все это встречалось по отдельности в разных работах, а здесь собрано воедино, так еще и со сравнением в одинаковых сетапах.

Но. Помимо этого, авторы заметили следующее: когда модель входит в состоянии низкой энтропии, разнообразие генераций и эффективность обучения снижается. Если такое коллапсирование происходит рано, то прогресс быстро упирается в потолок. Чтобы контролировать этот процесс, предлагается ввести дополнительное слагаемое в лосс, которое будет штрафовать за слишком низкие значения, причем делать это нужно с адаптивным весом, тк энтропия зависит от данных и шага обучения (по этой же причине часто очень тяжело подобрать единый вес для KL-регуляризации). Вообще это супер стандартный подход в классическом RL для поддержания exploration на определенном уровне, но в RL для LLM такое особо не использовали. Ablation на многие факторы проводится как раз с оглядкой на то, как они влияют на динамику энтропии. В общем, репорт на 40 страниц, там очень много познавательных замечаний, советую хотя бы бегло пробежаться.

Многие компании сёрвят LLM

Кто-то использует готовые инструменты, которые предоставляют OpenAI-compatible эндпоинты: например, DeepSeek, развёрнутый через vllm serve. Кому-то не хватает OpenAI-compatible протокола. А кому-то хочется и того, и другого — например, нам в Точке.

С одной стороны, мы хотим уметь ходить в LLM-провайдеры, которые поддерживают общепринятый формат. А с другой стороны у нас есть внутренняя LLM, которую нельзя полностью совместить с OpenAI-протоколом, потому что она поддерживает дополнительные виды контента внутри сообщений и ещё много других плюшек (про них тоже как-нибудь расскажем 👀).

Это непростая инженерная задача, которую нам пришлось решать. Вот мы и написали статью о том, как поднимали свою LLM-инфраструктуру. Текст исключительно инженерный и больше про дизайн всей системы целиком, чем про, например, наши внутренние патчи в популярный фреймворк vllm.

Читайте, комментируйте и рассказывайте, как у вас дела с LLM!