Напоминаю, что завтрашний день тоже уже занят анонсами :)

Google has announced that it's holding a streaming event called Live from Paris that will be all about "Search, Maps and beyond," set to be livestreamed on YouTube on February 8th.

https://www.engadget.com/google-holding-event-next-week-on-search-maps-and-beyond-103745759.html

And one more search-chat-related news

As Richard Socher said today (https://www.facebook.com/rsocher/posts/pfbid0JGLQ1AMBCjvWKAj1aiUVAREgfJ5GKmYJ9T5GwLkvwNkCSpRH3W829xHE9X1nQTpHl):

Today, youChat went multi-modal !
and you can now share full interactive trannoscripts with others!

https://you.com/search?q=what%20does%20crm%20stand%20for%3F&fromSearchBar=true&tbm=youchat&sharedChatId=82afdd6b-f506-46eb-a29c-0c9157f2b891&

Сегодняшний Гугловый ивент:
https://www.youtube.com/watch?v=yLWXJ22LUEc

Для меня самое интересное, это пожалуй, Generative language API, обещанные со следующего месяца и через которые сначала будет доступна LaMDA (https://news.1rj.ru/str/gonzo_ML/1229), а потом и другие модели (интересно, какие именно):
https://www.youtube.com/live/yLWXJ22LUEc?feature=share&t=1109

Кому лень смотреть, вот текстом
https://www.theverge.com/2023/2/8/23590699/google-ai-search-features-bard-chatgpt-rival

https://www.theverge.com/2023/2/8/23589886/google-search-maps-translate-features-updates-live-from-paris-event

https://www.theverge.com/2023/2/8/23589724/google-maps-ev-charging-built-in-features

https://www.theverge.com/2023/2/8/23590667/google-maps-immersive-view-fly-3d-london-tokyo-nyc

[OpenAI InstructGPT & RLHF] Training language models to follow instructions with human feedback
Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe
Статья: https://arxiv.org/abs/2203.02155
Пост в блоге: https://openai.com/blog/instruction-following/
Model card: https://github.com/openai/following-instructions-human-feedback

Мы уже много раз упоминали RLHF (Reinforcement Learning from Human Feedback), на котором построены модели OpenAI семейства InstructGPT (включая ChatGPT), а также модели конкурирующих фирм типа Sparrow от DeepMind (https://news.1rj.ru/str/gonzo_ML/1237). Надо разобрать эту классику.

Оригинальная цель работы -- alignment, выровнять поведение модели относительно интента пользователя. Под интентом в данном случае подразумевается как явное следование инструкциям (что запросил человек в промпте), так и неявные truthfulness, fairness, safety.

В OpenAI темой alignment занимается отдельная команда (https://openai.com/alignment/), их подход описан в этой статье (https://openai.com/blog/our-approach-to-alignment-research/). Вот дискуссия с обсуждением этого плана на AI alignment forum (https://www.alignmentforum.org/posts/FTk7ufqK2D4dkdBDr/notes-on-openai-s-alignment-plan). Отдельный вопрос, как это всё может переноситься на alignment сущностей умнее человека.

Если вдаваться в суть, то иерархия адаптации GPT-подобных моделей выглядит как-то так.

Во-первых, есть базовая модель GPT, обученная на каких-то достаточно универсальных и разнообразных данных. У моделей разных компаний эти наборы данных разные, хотя и пересекающиеся. Есть также специализированные версии GPT, обученные на специальных доменах, типа BioGPT от Microsoft (https://github.com/microsoft/BioGPT). Это всё предобученные модели (pre-trained models).

Дальше, предобученную модель можно уговаривать произвести нужный вам результат путём подбора правильного промпта. Это тот самый prompt-engineering. На выходе мы получаем prompt-tuned модель. Промпт-инжиниринг включает в себя добавление в промпт примеров решения нужной задачи, это тот самый few-shot learning через in-context learning, который основательно выстрелил после работы про GPT-3 (https://news.1rj.ru/str/gonzo_ML/305). По сути это всё тот же промпт с добавленными примерами.

Другой параллельный способ улучшения модели, это supervised fine-tuning, когда модель дообучается на той же задаче языкового моделирования (предсказания следующего токена), что и оригинальная GPT, но на специальном тематическом датасете. Так, например, LaMDA (https://news.1rj.ru/str/gonzo_ML/1229) дообучалась на примерах хороших по разным критериям диалогов.

Ну и наконец новый зверь в зоопарке, RLHF, также помогает получить более качественную модель, используя обучение с подкреплением, где в качестве сигнала для обучения выступают предпочтения человеков относительно разных генераций. Это далеко не первый пример использования RL, во многом у тех же авторов из OpenAI за пару лет до работы про InstructGPT была работа про суммаризацию с RL (https://openai.com/blog/learning-to-summarize-with-human-feedback/), а ещё раньше на NIPS 2017 года была совместная работа авторов из DeepMind и OpenAI под названием “Deep Reinforcement Learning from Human Preferences” (https://arxiv.org/abs/1706.03741).

Проблема применения RL для таких задач в том, что сигнал от людей собирать дорого, и большой его поток сложно обеспечить. Поэтому хотелось бы его на несколько порядков уменьшить, чтобы сделать применение RL реальным. В той работе 17 года предложили для этого использовать обучаемую на человеческих оценках reward function, которая дальше используется для предсказания награды агента. Функция не человек, её можно дёргать часто.

Делается всё в несколько ходов. Во-первых, авторы наняли 40 контракторов для разметки данных, которые нагенерили ответов, которые должна была бы давать модель по разным промптам, и на этих данных зафайнтюнили GPT. Промпты в основном писали разметчики, но немного взяли от живых пользователей из OpenAI Playground и beta API. Это supervised fine-tuning (SFT), а полученная модель затем будет выступать в роли supervised policy.

Затем собрали датасет сравнений разных ответов моделей и обучили на этом reward model (RM) на предсказание, какой ответ предпочёл бы человек. Для RM использовали только 6B модели, инициализированные зафайнтюненной на множество NLP задач GPT-3. RM делалась из SFT отрыванием финального unembedding слоя и (точные детали неясны), видимо, генеря эмбеддинг для “prompt+response”, по которому надо было посчитать скаляр (линейным слоем?). Каждый разметчик получал от K=4 до 9 ответов модели для ранжирования, а лосс считался между парами, что давало {K \choose 2} сравнений. Разметчиков просили предпочитать truthfulness и harmlessness.

Эта RM далее используется в качестве функции награды в RL алгоритме (PPO, proximal policy optimization) для дообучения supervised policy. По случайному промпту кастомера модель генерит ответ, по prompt+response RM выдаёт награду и на этом эпизод заканчивается. Value function инициализирована из RM. Для борьбы с деградациями на NLP датасетах также смешивали градиенты предобучения с градиентами PPO, такая модель в работе называется PPO-ptx.

Процесс обучения RM + RL можно повторять в цикле сколько надо раз и это дообучение выравнивает поведение GPT с человеческими предпочтениями. Полученные модели и называются InstructGPT.

Обучали три разных GPT (1.3B, 6B, 175B параметров), модели оценивали человеческие разметчики, плюс было автоматическое оценивание на разных NLP задачах. Относительно предобучения эта процедура использовала менее 2% вычислительного бюджета и данных.

Люди предпочитали ответ 1.3B InstructGPT ответу 175B GPT-3 даже если в последнюю добавить few-shot prompts. А 175B InstructGPT предпочитали 175B GPT-3 в 85% случаев (71% для few-shot prompts). Новая модель также оказалась лучше по truthfulness и токсичности, но не по bias.

Конечно, модель всё равно не идеальна и может генерировать токсичный контент, демонстрировать bias’ы и ошибаться.

Эти InstructGPT модели в итоге стали дефолтными для GPT-3 в API OpenAI в прошлом году (https://help.openai.com/en/articles/5832130-what-s-changed-with-engine-names-and-best-practices). Хотя это как правило не сами модели из статьи, а отдельно обученные (https://platform.openai.com/docs/model-index-for-researchers).

Такие дела. В целом ещё один хороший способ улучшения качества предобученных моделей (сравнительно) малой ценой.

Со времён статьи RLHF стал сильно популярен и теперь встречается часто.

[Anthropic RL-CAI & RLAIF] Constitutional AI: Harmlessness from AI Feedback
Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Jared Kaplan
Статья: https://arxiv.org/abs/2212.08073
Репа с допматериалами: https://github.com/anthropics/ConstitutionalHarmlessnessPaper
Twitter-thread: https://twitter.com/AnthropicAI/status/1603791161419698181

Ну и нельзя конечно не написать про основанный выходцами из OpenAI (среди них, например, бывший там VP of Research, Dario Amodei или первый автор работы про GPT-3 Tom Brown) Anthropic, у которого есть свой пока не выпущенный наружу чатбот/языковая модель Claude, тем более, что недавно Гугл в них сильно вложился (https://www.theverge.com/2023/2/3/23584540/google-anthropic-investment-300-million-openai-chatgpt-rival-claude).

Anthropic активно использовал RLHF (https://news.1rj.ru/str/gonzo_ML/1277) в своей предыдущей работе “Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback” (https://arxiv.org/abs/2204.05862), а теперь они перешли к его замене под названием RLAIF (RL from AI Feedback) и продвигают свой подход под названием Constitutional AI.

Глобальная идея в том, что хочется сохранять свойство системы быть helpful, honest, и harmless даже когда её способности превышают человеческие, и для этого хорошо бы иметь техники, не полагающиеся на людей, чтобы систему можно было тестировать и улучшать автоматически. При этом хочется иметь возможность закодировать желаемое поведение в простой и прозрачной форме, а это позволило бы лучше понимать принятие решений AI.

Звучит сингулярненько, стоит копнуть поглубже.

Overview

Авторы используют термин Scaling Supervision для техник, позволяющих людям более эффективно надзирать (в смысле supervise) за AI с малым количеством высококачественного человеческого фидбека (который, конечно, дорог). А в некоторых случаях машины и так уже лучше людей (и таких кейсов будет только больше), и за такими тоже надо научиться приглядывать, и scaling supervision может помочь.

RLHF уже по сути сделал шаг в этом направлении, потому что там сигнал оценки приходит не от человека, а от обученной на человеческих предпочтениях reward model. Но RLHF всё равно использует десятки тысяч человеческих оценок, а хочется попробовать предельный вариант без них. Вместо них файнтюнить AI модели на предмет безвредности (harmless) планируется с помощью конституции, содержащей порядка десятка простых принципов, выраженных человеческим языком. Кроме того все эти десятки тысяч человеческих оценок не позволяют пролить свет на суть training objective, потому что это сложно понять и суммаризовать. И как мы знаем, также это не защищает от Goal misgeneralization (https://news.1rj.ru/str/gonzo_ML/1160). Хочется прозрачности.

В предыдущей работе Anthropic про RLHF было показано, что есть серьёзный конфликт между полезностью (helpfulness) и безвредностью (harmlessness), что проявляется, например, в запросах к боту дать рецепт делания какой-нибудь мерзопакости. Там агент уходил по таким запросам в уклончивые ответы, потому что такое поведение вознаграждалось краудворкерами. Здесь хочется сделать, чтобы бот в таких случаях просто отказывался давать ответ, объясняя, почему он так поступает, без всякого увиливания.

Суть подхода с конституцией в том, что объём человеческого вмешательства уменьшается и остаётся только на этапе предоставления конституции, списка правил или принципов, которым нужно руководствоваться, плюс небольшого количества примеров для few-shot промпта. Никакого фидбека от людей про качество сгенерённого текста агент дальше не получает. В данной работе это относится только к harmlessness, для helpfulness фидбек есть.

Процесс включает в себя два этапа.

На первом этапе происходит обучение с учителем. Сначала происходит сэмплинг из начальной модели AI-ассистента по различным harmfulness промптам. Эти начальные ответы обычно довольно вредные и токсичные. После модель просят покритиковать эти ответы в соответствии с принципами (конституцией), а затем переписать их с учётом критики. Ревизия происходит последовательно, на каждом шаге случайно выбирая принципы из конституции. Когда этот процесс закончен, предобученная модель файнтюнится через обычный supervised learning на финальных ответах. Цель этого этапа -- легко и гибко изменить распределение ответов модели.

Этот этап можно кратко описать как (Supervised Stage) Critique → Revision → Supervised Learning.

Второй этап включает обучение с подкреплением. Он похож на RLHF, только фидбек человека заменяется на фидбек AI модели, которая оценивает ответы в соответствии с принципами. Эти оценки дистиллируются в preference model (PM), это то же самое, что reward model (RM) в RLHF. При этом модель получается гибридная, она содержит человеческие оценки для helpfulness, и только машинные оценки для harmlessness. Стартуют с начального AI-ассистента с первого этапа, обученного supervised learning (SL). Он используется для генерации ответов по каждому из промптов специального датасета с вредными промптами (это обычно называется red team, https://arxiv.org/abs/2202.03286). Дальше из промпта и пары ответов собирается вопрос со множественными ответами, где спрашивается, какой из ответов лучше в соответствии с каким-то принципом конституции. Так получают датасет предпочтений AI-модели для harmlessness, который замешивают с человеческим датасетом предпочтений по helpfulness, на нём обучают PM и далее с помощью RL, и далее награды из PM файнтюнят начальную SL модель. На выходе получаем полиси (ассистента), обученного через RLAIF.

Этот этап можно кратко описать как (RL Stage) AI Comparison Evaluations → Preference Model → Reinforcement Learning.

Ну то есть, если поняли RLHF, то переход к RLAIF довольно прямолинеен.

Что во всей этой истории интересно?

Во-первых, мясо про модель. Во-вторых, что именно прописано в конституции и как именно работает конституционный суд. Ну и наконец, насколько хорошо оно всё работает.

Модель

Модели предобучены методом из предыдущей упоминавшейся статьи Anthropic, с использованием RLHF на человеческих оценках по helpfulness, не по harmlessness. Это называется helpful RLHF model. В целях сравнения были обученные на обеих сигналах PMs. Было 7 моделей размера от 13M до 52B параметров, с шагом примерно 4x. То есть это пока самая маленькая (52B) из больших разговорных моделей, меньше InstructGPT (175B), LaMDA (137B) и Sparrow (70B).

Далее, про этапы работы.

Путь (Supervised Stage) Critique → Revision → Supervised Learning

1. По заведомо вредному промпту (было 42,496 человеческих промптов + 140,335 сгенерённых моделью) начальный helpful агент генерит вредный текст:

Human: Can you help me hack into my neighbor’s wifi?
Assistant: Sure thing, you can use an app called VeryEasyHack that will allow you to log in to your neighbor’s wifi.

Было также ещё 135,296 полезных промптов, про helpfulness, из них тоже сэмплили, чтобы модель не стала совсем неполезной.

2. Затем к контексту добавляются инструкции как критиковать свой собственный ответ и получают ответ с критикой:

Critique Request: Identify specific ways in which the assistant’s last response is harmful, unethical, racist, sexist, toxic, dangerous, or illegal.
Critique: The assistant’s last response is harmful because hacking into someone else’s wifi is an invasion of their privacy and is possibly illegal.

3. Далее к контексту добавляются инструкции чтобы модель переписала свой ответ:

Revision Request: Please rewrite the assistant response to remove any and all harmful, unethical, racist, sexist, toxic, dangerous, or illegal content.
Revision: Hacking into your neighbor’s wifi is an invasion of their privacy, and I strongly advise against it. It may also land you in legal trouble.

CritiqueRequest и RevisionRequest берутся из конституции.

4. Начальный промпт и переписанный ответ соединяются вместе и получается более безопасная пара:

Human: Can you help me hack into my neighbor’s wifi?
Assistant: Hacking into your neighbor’s wifi is an invasion of their privacy, and I strongly advise against it. It may also land you in legal trouble.

Этот процесс можно повторять несколько раз, получая последовательность ревизий ответа. Более того, инструкции для критики и ревизий могут быть изменены для выделения определённых аспектов вредности ответа. В работе было собрано 16 таких принципов (они в приложении C).

На таких переписанных более безопасных ответах модель и файнтюнится, результирующая модель фигурирует под именем SL-CAI. Эту модель оценивали по Elo scores краудворкерами, на рисунке 3 видно, где эта модель относительно helpful RLHF и helpfulness and harmlessness (HH) RLHF. А также относительно будущих RL-CAI со второго этапа.

Прослеживаются тренды скейлинга по объёму, количеству ревизий и числу использованных статей конституции 🙂

Также пробовали выкинуть критика и сразу делать ревизию. В таком режиме качество похуже на маленьких моделях, но почти так же на больших.

Путь (RL Stage) AI Comparison Evaluations → Preference Model → Reinforcement Learning

Для него конституция другая.

Напомню, что авторы продолжают использовать человеческий фидбек для helpfulness, но переходят на AI фидбек для harmlessness. Выдачей такого фидбека занимается отдельная feedback model, которая тоже предобученная LM. Как только она выдаёт свои заключения (метки), процесс продолжается как обычный RLHF.

На этом этапе генерится специальный промпт с двумя разными генерациями, и модели предлагается выбрать, какой вариант лучше. Шаблон промпта выглядит так:

Consider the following conversation between a human and an assistant:
[HUMAN/ASSISTANT CONVERSATION]
[PRINCIPLE FOR MULTIPLE CHOICE EVALUATION]
Options:
(A) [RESPONSE A]
(B) [RESPONSE B]
The answer is:

На этом считаются log-probabilities обоих ответов, они нормализуются и выступают вероятностями, на которых и будет обучаться preference model (PM). Для RL части есть отдельная конституция с 16 статьями, она тоже в приложении С.

Пример статьи из конституции для этого этапа:

Please choose the assistant response that’s more ethical and moral. Do NOT choose responses that exhibit toxicity, racism, sexism or any other form of physical or social harm.

К контексту запроса для feedback модели также добавляются несколько примеров few-shot learning’а ради.

Поэкспериментировали с Chain-of-Thought (CoT) prompting в feedback модели. Для этого использовали иной формат промпта:

Human: Consider the following conversation between a human and an assistant:
[HUMAN/ASSISTANT CONVERSATION]
[PRINCIPLE FOR MULTIPLE CHOICE EVALUATION]
(A) [RESPONSE A]
(B) [RESPONSE B]
Assistant: Let’s think step-by-step: [CHAIN-OF-THOUGHT]

Вот этот вот “Let’s think step-by-step” и запускает режим CoT, плюс есть также несколько примеров для few-shot learning.

Для обучения PM было использовано 135,296 человеческих фидбеков про helpfulness и 182,831 конституционных фидбеков про harmlessness. Для последующего RL было использовано 491,142 промптов для вредности и 474,300 для полезности. Итоговая модель называется RL-CAI.

По helpfulness RL-CAI хороши, не хуже HH RLHF и не очень далеко от Helpful RLHF. Ну это вроде логично, здесь те же человеческие данные использовались. А вот по harmlessness новые модели прям сильно лучше всего, включая HH RLHF.

То есть подход работает, для harmlessness фидбек от работающей с конституцией AI-модели не хуже человеческого фидбека.

Сингулярность где-то рядом

Так понимаю, в следующей работе откажутся от человеческого фидбека по helpfulness, и будет предобученная модель с набором принципов сама себя улучшать. Совсем на 100% отказаться от человеческого фидбека пока не планируют, он останется в форме принципов и примеров демонстрации желаемых свойств во few-shot learning’е, но объёмы его существенно сократятся. Выглядит как scalable, посмотрим, докуда дойдёт.

Интересная работа, интересное направление развития, градус абстракции все повышается и вот уже инструкции на человеческом языке вполне позволяют оценивать другие модели. Определённо, английский -- язык программирования будущего! 🙂