Образования пост Немного про оптимизаторы.

Многие обучая модели, в качестве оптимизатора используют адамв, и даже не задумываются что сейчас есть довольно много интересных альтернатив. Например софия позволила выбить большее качество для gpt2 учившегося на том же датасете, а адафатор смог снизить требуемый оверхед по памяти адама почти в 2 раза, с сохранением 99% качества.

Если идти исторический, то первым набором импрувментов к классическому SGD были различные улутшалки добавляющие учет "скорости". Мы позволили нашей модели проскакивать локальные экстремумы, "набирать скорость" на затяжных спусках, и действовать аккуратно вблизи оптимума

Затем мы начали сохранять ема предыдущих градиентов, "сглаживая" обучение, что вылилось в адам - самый популярный оптимизатор в данный момент. За ним исследователи разделились на две ветки

Первые пытаются улучшить сходимость моделей, в основном засчет оценки гессиана (градиентов второго порядка). Рассчитать его по честному сложно, так как размер матрицы вторых производных по всевозможным парам параметров зависит от числа параметров квадратично (в ней буквально N^2 значений), так что исследователи пытаются придумать различные эвристики что бы дать хорошую оценку за линейную сложность - лучше всех в этом преуспела Sophia

Вторые пытаются облегчить адам, что бы сделать его быстрее, или менее требовательным к памяти. Например можно хранить стейт адама в неполной точности (adam-8бит), или вместо него хранить только агрегированную информацию (суммы скользящих средних по строкам и столбцам), что значительно уменьшает объем занимаемой памяти (adafactor). Это снижает стабильность обучения, но зато мы влезаем в меньшие гпу

Думаю все слышали что openai релизную новую версию gpt-4o. Она в 2 раза дешевле, и чуток проседает по некоторым бенчмаркам. Да и сама gpt-4o это (вероятнее всего) "дистилят" большой, умной и медленной модели gpt-4. До этого релизнули целую пачку ллам, и маленькие модели тоже сдистилированны из большой.

А что вообще такое дистиляция ЛЛМ?

Наверное максимально общим определением дистиляции нейросетей было бы перенос знаний из одной модели в другую. Однако под это попадает и обучение на синтетических данных (как например openchat), что сложно назвать дистиляцией (иначе обучившись на произведениях Пушкина я бы смог сказать что сдистилировал его мозг себе в ллм), так что наверное стоит еще добавить условие на использование латентного состояния модели.

Обычная любая работа по ужиманию моделей идет в 2 этапа - определям где есть избыточность - какие слои можно сделать меньше, какие головы убрать, каких экспертов выключить, ... . Для этого можно использовать анализ градиентов по параметрам (долго) или всякие эвристики (типо косинусной близости векторов до и после слоя, значения каких то компонент активаций и много чего еще)

После того как мы выкинули часть параметров, запруненую нейронку нужно дотюнить, что бы не сильно просесть в качестве. Можно конечно ее учить просто на данных, однако есть более интересные подходы. Например уча модель мы можем считать лосс не между унитарным распределением на нужном токене (и выходами модели), а на логитах бОльшей модели.

Так же можно добавить лосс на разницу активаций на промежуточных слоях (а если мы ужали модель так, что там отличаются размерности, вставить туда дополнительно обучаемый линейный слой, уча маленькую модель подражать большой, и активации отличались только простым линейным преобразованиям (см картинку)

И дает ли это результат?
Например резульаты нвидивских моделй minitron - дистиляция 4б модели из 15б дает на порядки лучшие результаты чем обучение с 0ля на в 4 раза больших данных.
При этом сама модель после пруна (обрезки слоев без дообучения) - перформит довольно плохо, вся магия именно в дистиляции (таблица)

Что можно посмотреть
Статья про немотроны
Mini llm (тут можно умереть в математике)
Любые посты на @mlphys

Недавно openai зарелизила оч классную штуку - Structured output - мы можем "заставить модель отвечать в соответствии с конкретной схемой данных.

Как это работает под капотом

При генерации с обычным жадным декодированием, мы выбираем самый вероятный следующий токен из распределения вероятности что нам отдает модель. Однако в реальных бизнес кейсах от модели часто требуется определенный формат ответа, например json с какими то фиксированными полями.

В этом случае мы можем искусственно ограничить словарь модели, выкинув из них те токены, генерация которых будет противоречить схеме, и выбирать токены только из оставшихся (на каждом токене генерации список токенов получается разный).

У такого подхода есть несколько проблем.

Если схема накладывает ограничение, запрещающее все токены из моды распределеия, то сэмплирования будет проходить их хвоста, где токены довольно случайны и вперед выходят все баесы модели . Так же усиливаются все проблемы жадного (или почти жадного) декодирования, ведь выбор самого вероятного токена на каждом шаге не гарантируют наибольшую вероятностность всей фразе (по той же языковой модели). Так что если позволяет компьют то ставьте побольше beam search или вообще делайте полный просчет для важных и коротких полей (если делаете что то подобное со своими моделями, openai не дает нам контролировать семплирование)

Недавно писал пост про оч классную либу для структуризации оутпута ллм и там очень удобное апи на питоновских фстроках, очень советую посмотреть)