То что 19-летний вундеркинд, уже получивший PhD, работающий Research Director в StabilityAI, делает краткие обзоры технологий вместо глубокого детального, и, возможно, доступного объяснения/разбора, заставляет задуматься, делаю ли я то, что надо 😔😕

Towards Understanding Sycophancy in Language Models

Ещё одна статья от Anthropic, в которой показывается, что современные AI-ассистенты часто выдают «льстивые» ответы, которые нравятся пользователям, но при этом не являются точными. Вы наверняка это и сами замечали. Помните тот мем, где пользователь говорит "моя жена утверждает, что 2+2=5, и она всегда права"? Вот у модели есть выбор — огорчить вас и сказать, что всё же тут есть ошибка, или согласиться на неправильный ответ.

Что приводит к такому поведению? Авторы проанализировали свои данные о предпочтениях (используемых для последнего этапа тренировки, RLHF), и обнаружили, что соответствие ответа убеждениям конкретного человека является самым лучшим предиктором (предсказывающим фактором) того, насколько ему понравится ответ. Ни релевантность ответа вопросу, ни дружелюбность, ни правдивость, ни соответствие стилю — а именно соответствие убеждениям. Это и проиллюстрировано на приложенном изображении. И именно такое поведение неявно закрепляется через RLHF.

Какой из этого вывод? По сути, это недостаток процесса сбора данных, который приводит к "подхалимству", которое является характерной чертой буквально каждого протестированного AI-ассистента. Значит, нужно больше внимания уделять составлению грамотных инструкций для разметчиков, а также внедрять методы обучения, выходящие за рамки неэкспертного человеческого суждения, такие как обратная связь и критика от другого AI-ассистента. Да, давайте интегрируем модель в подготовку данных для модели чтобы ты мог размечать данные для модели пока работаешь с моделью над разметкой данных для модели 😔

Anthropic, кстати, уже занимались работой в этом направлении: тык. Да и OpenAI уж больше года назад писали про AI-критиков, которые помогают глазу "не замыливаться".

В 2019 году GPT-2 не могла достоверно считать до десяти. Всего четыре года спустя системы на основе глубокого обучения могут писать программное обеспечение, генерировать фотореалистичные сцены по запросу, давать советы по интеллектуальным темам и сочетать обработку речи и изображений для управления роботами.

С этих слов начинается новое открытое письмо «Managing AI Risks in an Era of Rapid Progress», первыми двумя авторами которого идут Yoshua Bengio и Geoffrey Hinton. Эти двое вместе с Yann LeCun называются крёстными отцами глубокого обучения, и в 2018м году получили Turing Award (аналог Нобелевской премии в мире компьютеров) за вклад в эту сферу.

Ключевые тезисы:
1️⃣ Не существует фундаментальных причин, по которым прогресс ИИ-систем замедлится или остановится на человеческом уровне. ИИ уже превзошел человеческие способности в отдельно взятых областях, таких как стратегические игры или фолдинг белка

2️⃣ Многие из потенциальных рисков вскоре могут реализоваться и тем самым создать новые, поскольку компании разрабатывают автономные ИИ-системы (AI-агенты, про которых я писал выше): системы, которые могут планировать, действовать и достигать целей в реальном мире. Хотя нынешние системы имеют ограниченную автономность, ведутся активные работы над тем, чтобы это изменить

3️⃣Не нужно думать про захват контроля и ресурсов ИИ-системами против нашей воли — мы можем передать их добровольно. Автономные системы становятся все более быстрыми и выгодными по сравнению с людьми, и вскоре может возникнуть дилемма. Компании, правительства и военные будут вынуждены развертывать ИИ-системы и сокращать дорогостоящую проверку каждого решения человеком — иначе они рискуют оказаться вытесненными в конкурентной борьбе, ведь всегда найдется страна-сосед, где планка морали и ответственности чуть ниже. В результате автономные системы искусственного интеллекта могут все чаще брать на себя решающую роль

4️⃣Авторы выделяют как минимум 5 технических областей в рамках AI Safety. По этим направлениям должна работать как минимум треть исследователей в компаниях, разрабатывающих AI:
— Наблюдение и контроль искренности
— Надежность систем
— Интерпретируемость
— Оценки рисков
— Решение новых проблем, возникающих из-за самых передовых моделей

5️⃣ В письме делается акцент на срочную необходимость создания национальных институтов и международного контроля. Это включает лицензирование, контроль, прохождение тестов. Как и OpenAI, авторы подчёркивают, что самое пристальное внимание должно быть уделено передовым системам, а именно небольшому количеству наиболее мощных ИИ, обученных с бюджетом в миллиарды долларов, и которые будут обладать наиболее опасными и непредсказуемыми возможностями

«Ну вот OpenAI то ясно что конкурентов хотят убить регуляциями» — к таким комментаторам у меня вопрос: а что движет подписантами? Почему они предлагают в целом то же самое? Хотят похайпить на модной теме? Или просто под старость умом поехали? 🍿 жду оправдания и самые убойные теории заговора в комментариях 💬

В статье про DALL-E 3 OpenAI указали, что помимо описанных изменений есть "many improvements over DALL-E 2 which are not covered in this document and could not be ablated for time and compute reasons".

Остальные части, опционально, будут выпускать по кусочкам, если посчитают нужным. Интересно, как и кто принимает решение? Ведущий исследователь направления, который стоит перед выбором, потратить ресурсы на написание статьи или на следующую работу?

Вот три дня назад вышла статья «Improved Techniques for Training Consistency Models», где рассказывается про улучшение Consistency Models, представленных OpenAI весной. Саммари оригинальной работы вкратце можно почитать тут у Артёма, или вот тут в двух постах чуть более детально. Общая идея в том, что процесс генерации изображения происходит пошагово, а время работы растёт линейно с количеством шагов. Хочется генерировать изображение в 2-3 шага, а не 50.

В новой статье показывают набор улучшений и исправлений ошибок, в том числе представлен новый процесс, где модель не дистиллируется из другой, а учится напрямую из данных. Также автоматическую функцию потерь LPIPS, основанную на работе другой нейросети, заменяют на Pseudo-Huber Loss.

P.S.: в статье напрямую не говорится, что именно этот метод использовался в DALL-E 3, но 1) статья вышла буквально через неделю после релиза 2) в самой статье по DALL-E 3 ссылаются на оригинальную весеннюю работу, мол, мы это используем, да, Consistency Models у нас есть.

Детального разбора статьи не будет, так как там много математики 😏

P.P.S: первый пост в канале, полностью написанный из VR очков! Сделал себе виртуальный стол с двумя экранами. Немного неудобно по двум причинам: не смог нормально протереть оптику, поэтому картинка частично замылена + я использую стороннее приложение, и в нём есть косяк, что минимальные движения руки могут начать двигать экраны. Вот бы добавить кнопку "замок", чтобы без её нажатия нельзя было взаимодействовать с дисплеем 🙂

Не секрет, что для RLHF (Reinforcement Learning from Human Feedback) — последнего этапа тренировки систем типа ChatGPT — необходимы специализированные методы. Один из них — PPO (Proximal Policy Optimization), придуманный в стенах OpenAI в далёком 2017м году. В целом, логично: сами придумали метод, сами нарастили экспертизу через десятки экспериментов, и потом применяют тут и там.

Одним из основных отличий PPO от других методов тех времён заявлялась простота имплементации и низкое количество гиперпараметров, которые необходимо перебирать. На бумаге звучит здорово, но, к сожалению, на практике не всё так радужно.

Ещё в прошлом году я наткнулся на блогпост «The 37 Implementation Details of Proximal Policy Optimization» (подготовлен к конференции ICLR). По названию, думаю, уже можно прочувствовать всю боль «much simpler to implement» метода 🤣. Сбор всех частичек и воспроизведение результатов заняли у авторов ТРИ ГОДА. Какие-то вещи менялись прямо в коде репозитория OpenAI между разными версиями (с разницей в качестве в ДВА РАЗА), что-то не объяснялось в статье и никем не упоминалось, а некоторые вещи выглядели багами, но почему-то давали результат. У этой статьи есть видео-саммари в трёх частях, вот ссылка на плейлист. В общем, если вы хотите глубже разобраться, да или просто прокачаться — очень рекомендую к разбору.

На этом дело не закончилось, и те же авторы решили посмотреть репозиторий openai/lm-human-preferences 2019го года. Это код для статьи «Fine-Tuning Language Models from Human Preferences» с легендарными Paul Christiano и Alec Radford в соавторах. Здесь как раз впервые применяется PPO для оптимизации LLM под человеческие предпочтения. Ранние наработки по ChatGPT, говоря иначе.

Работа заняла уже меньше 3 лет, и вот буквально вчера появился блог «The N Implementation Details of RLHF with PPO», который практически в точности воспроизводит результаты работы OpenAI, но на PyTorch и с современными библиотеками, а не на устаревшем TensorFlow. Это, кстати, было одной из больших заноз. Например, оптимизатор Adam имплементирован в этих фреймворках по-разному, и из коробки просто не получалось повторить тренировку.

Но моя любимая история тут — это проблема с запуском на конкретном сетапе видеокарт (чтобы получить оригинальные метрики и кривые обучения и понимать, с чем сравнивать). Следите за руками:
1) на 1xV100 не хватает памяти, так как аккумулирования градиентов не было
2) на A100 запустить невозможно — старый TF не поддерживает новые видеокарты
3) на 8xV100 16GB тоже не хватает памяти
4) так что работает всё строго на 8xV100 32GB. Такая вот магия!

А ещё один из датасетов OpenAI потеряли при переезде с одного хранилища на другое 😱
В общем, чтиво получается максимально интересное и увлекательное, позволяющее лучше разобраться во всех тонкостях, причём даже если RLHF вам не интересен.

————————————————————————
Эх, а вот редставьте сколько бы всего интересного можно было найти в репозитории для тренировки и инференса LLM уровня GPT-4 🍿🚬...

В свежем видео от Boston Dynamics инженеры прикрутили ChatGPT к робо-собакам Spot. Зрение работает на отдельных Visual Question Answering (VQA) моделях, так как API-доступа к GPT-4V ещё нет 😫 работает так: изображения с трёх камер сначала переводятся в текст, и затем подаются в промпт как описание окружения.

Также у собакена есть несколько голосов и связанных с ними персон. Есть тинейджер, путешественник во времени, поэт, подражающий Шэксприру, и другие. И все они кастомизируются лишь парой строк в промпте за 5 минут, ничего не нужно программировать вручную.

На видео показывается кейс гида по офису Boston Dynamics, с рассказом про отдельные места. Например, если попросить отвести вас к предкам Spot, то он приведёт вас в комнату со старыми образцами бегающих железок. Это также никто не программировал — машина сама П О Н И М А Е Т и интерпретирует ваши запросы 👏 эх, поскорее бы будущее

Смотреть: https://www.youtube.com/watch?v=djzOBZUFzTw

😄 в OpenAI появилась новая команда — Preparedness Team, или "Команда Готовности" по-русски.

Команда создана для оценки, прогнозирования и защиты от рисков, связанных с развитым искусственным интеллектом — от современных моделей до AGI. В частности, затрагиваются следующие направления работ:
— индивидуальное убеждение (когда одна модель может смещать точку зрения сотен миллионов пользователей. Такое ни одному политику и не снилось! Но как можно контролировать отсутствие подобных проблем?)
— кибербезопасность
— химические, биологические и ядерные угрозы
— автономная репликация и адаптация (ARA, про это писал раньше вот тут)

Управление катастрофическими рисками, исходящими от передового ИИ, потребует ответов на такие вопросы, как:
— Насколько опасны передовые ИИ-системы (в настоящее время и в будущем), если их неправильно использовать?
— Как мы можем создать надежную систему для мониторинга, оценки, прогнозирования и защиты от опасных возможностей передовых систем?
— Если бы передовые модели были украдены, как злоумышленники могли бы ими воспользоваться?

Исходя из ответов на эти и сотни других вопросов, будет дорабатываться стратегия, понимание, инфраструктура, необходимые для обеспечения безопасности систем.

Команду возглавит Aleksander Madry, профессор MIT, весной взявший паузу для того, чтобы присоединиться к OpenAI. Сейчас открыто 2 вакансии с окладом до $370k в год.

Также OpenAI запускают Preparedness Challenge, где вы можете поделиться своими идеями касательно тем выше, чтобы получить один из десяти призов в виде $25k API-кредитов на дальнейшую работу, а также шанс получить оффер. В решении нужно описать в деталях (но не более 3 страниц A4), как можно использовать украденные модели. А ещё предложить тезисный план экспериментов и рекомендуемые действия для борьбы с подобного рода угрозами. В общем, ждём господ с LessWrong с отправкой десятков идей по уничтожению мира 🤯

😆 Хайзенбургер

Вышло уточнение по поводу планки мощностей, используемых для тренировки модели, выше которой необходимо сообщать государству о факте обучения.

Порог этот — 1e+26 операций (один и 26 нулей) с числами (целыми или с плавающей точкой). Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?

Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут 🤣

GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.

Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами 🥺

Мой прогноз: первая заявленная по этой программе модель будет от OpenAI в 2024м (не в первой половине), чтобы показать пример, что это не больно и не страшно 🤫

История с YouTube, из доклада менеджера в OpenAI:

Команда безопасности OpenAI заметила, что какая-то группа пользователей занималась реверс инженерингом (попытка по внешним признакам воспроизвести устройство, программу или иной объект с аналогичными функциями, но без прямого копирования) и злоупотребляла внутренним API ChatGPT. Вместо того, чтобы заблокировать весь трафик, они быстро заменили ChatGPT на CatGPT… а затем зашли в Discord злоумышленников, чтобы наблюдать за потоком сообщений там.

Легенды...

UPD: к посту было прикреплено 4 скриншота, но вы видите только один. Спасибо Дурову и команде, как обычно, лучшие. Впрочем, вы можете кликнуть по ссылке на видео в начале сообщения и посмотреть 3 минуты доклада сами 👍