Не поиском едины.

Вчера вечером посмотрел интересное от Яндекса.

Митап ML в Белграде. Команда поиска рассказывала о своём опыте с LLM.

Мне были интересны первые два доклада. Поэтому мои заметки ниже.

Доклад 1. Про генерацию рекламных предложений в поиске:

Ситуация такая, что ребята делают генерацию шаблонов предложений на GPTlike. Далее при помощи DSSM-BERT + catboost выдают лучший кандидат. Радует, что схема классическая, энкодеры и бустинги всё ещё живут и помогают в выдаче. А не "давайте всё перенесём на генеративные с К бошками, пусть и генерит и реранкит".

От себя. Я бы в кандидаты добавил кроме сгенерированных шаблонов, созданные при помощи людей, преднаписанные или вообще конструктор на аннотаторах (модели такие а-ля NER, topic и тп), где в шаблоны просто филятся кандидаты по полям. Далее это всё вместе уже с генеративной реранкал, чтобы добавить надёжности.

Доклад 2. Сладкий RLHF в LLM для поиска.
(Крч хайп, балдёж и всё такое.)

Очень интересный срез опыта команды alignment LLM в поиске.

Рассказали важное, tldr:

1. Ещё раз напомнили, что PPO не стабильно и делают DPO.
2. Схема CCE => DPO работает хорошо.
3. Best of N или RL для бедных, всё ещё лутает и на батч генерации и на инференсе.
4. DPO требователен к размеру сета.
5. Умный сэмплинг с параметров, ранее полезных для оценки на корзинках, даёт направленное выравнивание.

Теперь подробнее про DPO пункты 2-4:

В общем, ребята не юзают PPO, но берут reward модельку для получения синтетики. А именно, гоняют пассажи и генерации к ним через модель награды и кормят DPO алгоритму эту разметку, получают +5% качества.

Потом идут ещё дальше, и берут
топ2 по скору пары из reward для дообучения в cross entropy (по сути ещё шаг файнтюна) с их LLM. После врубают DPO и модель радостно сходится и даёт ещё +4% win rate.
При этом, CE шаг работает с DPO дословно: ТОЛЬКО в последовательности сначала sft-CE на top2 потом DPO. Отмечают, что ещё DPO требователен к размеру дата сета и нужно порядка 50-100к пар, чтобы завелось.
Ну и такой сэмплинг не только помогает на обучении, но и на генерации ответа, выбор топ1 по награде даёт лучший winrate +7%. Правда зовут они это фильтрацией 😁

В общем, зачем козе баян CE+DPO и почему это работает?
Такие вопросы я задал себе. И подумав, предположил, что дело в направленной сходимости к некоторой области весов сети. Эту область мы достигаем через reward sampling+CE файнтюн (как прям при прогреве ???). Далее уже в этой области мы при помощи DPO доусаживаем веса до оптимального набора и не разлетаемся к хренам. Таким образом ,CE подход напоминает направленную регуляризацию, по аналогии с KLD в PPO? А почему бы не делать для надежности сходимости в PPO также. N шагов с CE, K шагов с PPO и по кругу 🤔

Замечание: тк в центре всего тут reward моделька, то её нужно натренировать максимально качественно и надёжно. Быть уверенным , что она реально хорошо отражает preferences. От себя добавлю, для обучения такой модели нужен сбалансированный сет, без перекосов по стилю и длине текстов. Иначе ваша награда быстро найдёт как разделить такие тексты (по тому же стилю или длине).

На сладкое пункт 5. Что это за такой сэмплинг умный?

Ответ простой. Давайте будем просить размечать генерации не только как хороший/плохой, а ставить доп параметры: безопасный, интересный, информативный и тп.
Далее будем использовать это one-hot кодирования для того, чтобы сэмплить примеры с нужным набором 0/1 по данным осям. Так мы получили на батч генерации направленное выравнивание по нужным нам свойства на оценке метрик! Вот западает у вас безопасность и интересность, берём и семплим где стоят у примеров 1ки по этим параметрам. Но ребята пошли дальше, и разбили такие наборы на группы и раздали веса (экспертно или на прогонах выбрали) для сэмплирования, аля вероятности взять в батч. Ещё +1.5% к качеству. Красиво, молодцы. 😏

Фух, вроде всё. Советую очень посмотреть это 📹 по ссылке во вложении. Я кайфанул, думаю вы тоже оцените.

Интересное открытие flex дня.
Или не BERT и LLM живёт земля...

Был сегодня на встрече со своими коллегами по цеху и даже с бывшими коллегами по работе.

Вот один из таких коллег, сообщил, что моя модель пару лет была бессменно в одном важном сервисе по автоматизации поддержки звонков клиентов крупного банка... 😎

Что же за модель спросите вы?

BERT? Нет. GPT? Нет.

Ответ:
BiLSTM+attention+glove и fastext 💃 эмбеддинги. Обучены конечно эмбы на логах той же системы. Как сейчас помню 15 гигов логов.
Обучение на CPU макбука в ночь перед уходом с работы, утром проверил метрики и собрал новую ветку на релиз... Вот такие пирОги.

Забавно, что все несли BERTы (ну как же хайпово), а приросту значимого не было...

А вы LLM, трансформеры.. Остальное умерло (хотя кто-то уже и BERTы хоронит).

Кстати тут прошёл сорев, где один человек завёл классик пайп на DeBERTa + почистил данные, ушёл на месяц в свои дела. Через месяц внезапная радость 3е место, золото, призовые. А вокруг один decoder-like... 🚬

Говорит закат энкодеров пошёл... Ага щаз... Всему своё место.

Выводы: юзайте сначала что-то простое, если уже сливки с метрики собрали, упёрлись в потолок, усложняйте пайп, чтобы правый хвост добить качества. Если оно вам конечно надо.

Юмор выходного дня 😂

Наткнулся в ленте.

Какой у тебя длинный... 🫢
Вход в transformer. 📝

Или пара вредных советов для создания вашего longformer...

Тут давече вышел хабропост про то, как из вашей модели сделать longformer и расширить вход за 512 seqlen.

Нас это зацепило и мы решили, что можем воспроизвести. Засучили рукава и принялись за работу. В процессе подготовки словили несколько факапов и набили пару шишек. Поэтому, думаю, дополнения от Жеского Дяди не помешает.

Итого, что советуем:

1. При расширении контекста, нужно довыровнять global position embeddings и attention, тк мы же увеличили seqlen. Для адаптации автор поста врубал MLM и фризил всё остальное,кроме указанных выше позиций и внимания. На данном этапе не забудьте расфризить MLM head.

2. Когда собрали и запустили код, обнаружили, что при сетапе из п1. у нас стали умирать конечные эмбеды. Наши метрики упали. А хотелось бы их сохранить. Поэтому автор предлагает 30% доливать коротких текстов. Но на модели с нашим числом весов (large) пришлось увеличить долю до 40%.

3. Но и доработки п.2 не хватало. Обнаружили проблемы с прогревом, снизили его с 15к шагов до 2-5к , иначе всё сходилось не к той области весов и после отключения прогрева разлетелось к чертям.

4. Катастрофическая забывчивость для малых текстов за 2-3 пункты поличилась, но зазор всё ещё был 2-3%
качества, а хотелось воспроизвести результат поста и получить минимум разницы или даже прирост.

Поэтому дядя вспомнил про ChatGPT и как там в RLHF PPO используют KLD регуляризации к reference модели. По сути self дистилляция. И тут мы врубили её к изначальной версии без выравнивания (она учитель) и только для коротких текстов.

Крч дописали ещё одну голову совместно с MLM. В итоге получили даже где-то прирост 0.5% , что радует.

Почему в посте на хабр так всё вышло гладко и сладко? Особенно для tiny модельки. Думаю дело в числе весов и модель успела быстро сойтись и не разлететься по лоссу не в том пространстве. Сетап изначально был напомню 1 в 1. Для больших моделей от large и выше пользуйтесь советами выше.

Как-то так. Дерзайте и кидайте свои наблюдения, советы в комментариях.

Новый любимый лось:
SigLIP Log-Sigmoid loss 🌿

Крч, недавно ребята анонсировали в SigLIP модифицированный log-sigmoid лосс. И да, это тот, который в reward юзают для обучения. 😎

Об этом уже писал тут. Обещали быстрый, с малыми затратами по компьюту эффект для contrastive learning. В их случае image2text на примере CLIP-like.

А так как я маньяк на всякие self-supervised штуки а-ля metric/contrastive learning, взял да и реализовал лосю со статьи, но в своём стиле.

Было:
LogSigmLoss = -E[LogSigmoid(Ri -Rj)],
где R=dot(emb1, emb2.T) - значение близости между двумя эмб матрицами. Там могут лежать текст эмбы или текст эмбы и картиночные эмбы.

В статье: добавляется температура и биас так, что R=dot(emb1, emb2.T)*exp(T)+bias

При этом близость косинусная, тк эмбы перед этим L2 нормализуют.

У меня чет не завелось для текстов с нормализацией L2. Поэтому я просто модифицировал свой adaptive margin loss к виду SigLIP. А именно везде, где у нас близости, добавил обучаемый T и bias и загнал в LogSigmoid, где пары имеют близость:

PosSim - без изменений dot-prod между позитивной парой.

NegSim=Log[Sum(exp(neg_mul*exp(T) +bias))] , - это чудовище плата за отсутствие нормализации.

Итого сравнил до и после результаты с добавлением и без обучаемых параметров температуры и смещения. На наших метриках ранжирования recall@10 сходится к лучшим значениям в 3-4 раз быстрее! Это при одинаковом батче, схеме lr scheduling и тп. К примеру recall@10 = 0.74 был достигнут за 27 эпох против 102 до! 📈

Это успех, господа и дамы. Мой новый фаворит. 💃