Не секрет, что для RLHF (Reinforcement Learning from Human Feedback) — последнего этапа тренировки систем типа ChatGPT — необходимы специализированные методы. Один из них — PPO (Proximal Policy Optimization), придуманный в стенах OpenAI в далёком 2017м году. В целом, логично: сами придумали метод, сами нарастили экспертизу через десятки экспериментов, и потом применяют тут и там.

Одним из основных отличий PPO от других методов тех времён заявлялась простота имплементации и низкое количество гиперпараметров, которые необходимо перебирать. На бумаге звучит здорово, но, к сожалению, на практике не всё так радужно.

Ещё в прошлом году я наткнулся на блогпост «The 37 Implementation Details of Proximal Policy Optimization» (подготовлен к конференции ICLR). По названию, думаю, уже можно прочувствовать всю боль «much simpler to implement» метода 🤣. Сбор всех частичек и воспроизведение результатов заняли у авторов ТРИ ГОДА. Какие-то вещи менялись прямо в коде репозитория OpenAI между разными версиями (с разницей в качестве в ДВА РАЗА), что-то не объяснялось в статье и никем не упоминалось, а некоторые вещи выглядели багами, но почему-то давали результат. У этой статьи есть видео-саммари в трёх частях, вот ссылка на плейлист. В общем, если вы хотите глубже разобраться, да или просто прокачаться — очень рекомендую к разбору.

На этом дело не закончилось, и те же авторы решили посмотреть репозиторий openai/lm-human-preferences 2019го года. Это код для статьи «Fine-Tuning Language Models from Human Preferences» с легендарными Paul Christiano и Alec Radford в соавторах. Здесь как раз впервые применяется PPO для оптимизации LLM под человеческие предпочтения. Ранние наработки по ChatGPT, говоря иначе.

Работа заняла уже меньше 3 лет, и вот буквально вчера появился блог «The N Implementation Details of RLHF with PPO», который практически в точности воспроизводит результаты работы OpenAI, но на PyTorch и с современными библиотеками, а не на устаревшем TensorFlow. Это, кстати, было одной из больших заноз. Например, оптимизатор Adam имплементирован в этих фреймворках по-разному, и из коробки просто не получалось повторить тренировку.

Но моя любимая история тут — это проблема с запуском на конкретном сетапе видеокарт (чтобы получить оригинальные метрики и кривые обучения и понимать, с чем сравнивать). Следите за руками:
1) на 1xV100 не хватает памяти, так как аккумулирования градиентов не было
2) на A100 запустить невозможно — старый TF не поддерживает новые видеокарты
3) на 8xV100 16GB тоже не хватает памяти
4) так что работает всё строго на 8xV100 32GB. Такая вот магия!

А ещё один из датасетов OpenAI потеряли при переезде с одного хранилища на другое 😱
В общем, чтиво получается максимально интересное и увлекательное, позволяющее лучше разобраться во всех тонкостях, причём даже если RLHF вам не интересен.

————————————————————————
Эх, а вот редставьте сколько бы всего интересного можно было найти в репозитории для тренировки и инференса LLM уровня GPT-4 🍿🚬...

В свежем видео от Boston Dynamics инженеры прикрутили ChatGPT к робо-собакам Spot. Зрение работает на отдельных Visual Question Answering (VQA) моделях, так как API-доступа к GPT-4V ещё нет 😫 работает так: изображения с трёх камер сначала переводятся в текст, и затем подаются в промпт как описание окружения.

Также у собакена есть несколько голосов и связанных с ними персон. Есть тинейджер, путешественник во времени, поэт, подражающий Шэксприру, и другие. И все они кастомизируются лишь парой строк в промпте за 5 минут, ничего не нужно программировать вручную.

На видео показывается кейс гида по офису Boston Dynamics, с рассказом про отдельные места. Например, если попросить отвести вас к предкам Spot, то он приведёт вас в комнату со старыми образцами бегающих железок. Это также никто не программировал — машина сама П О Н И М А Е Т и интерпретирует ваши запросы 👏 эх, поскорее бы будущее

Смотреть: https://www.youtube.com/watch?v=djzOBZUFzTw

😄 в OpenAI появилась новая команда — Preparedness Team, или "Команда Готовности" по-русски.

Команда создана для оценки, прогнозирования и защиты от рисков, связанных с развитым искусственным интеллектом — от современных моделей до AGI. В частности, затрагиваются следующие направления работ:
— индивидуальное убеждение (когда одна модель может смещать точку зрения сотен миллионов пользователей. Такое ни одному политику и не снилось! Но как можно контролировать отсутствие подобных проблем?)
— кибербезопасность
— химические, биологические и ядерные угрозы
— автономная репликация и адаптация (ARA, про это писал раньше вот тут)

Управление катастрофическими рисками, исходящими от передового ИИ, потребует ответов на такие вопросы, как:
— Насколько опасны передовые ИИ-системы (в настоящее время и в будущем), если их неправильно использовать?
— Как мы можем создать надежную систему для мониторинга, оценки, прогнозирования и защиты от опасных возможностей передовых систем?
— Если бы передовые модели были украдены, как злоумышленники могли бы ими воспользоваться?

Исходя из ответов на эти и сотни других вопросов, будет дорабатываться стратегия, понимание, инфраструктура, необходимые для обеспечения безопасности систем.

Команду возглавит Aleksander Madry, профессор MIT, весной взявший паузу для того, чтобы присоединиться к OpenAI. Сейчас открыто 2 вакансии с окладом до $370k в год.

Также OpenAI запускают Preparedness Challenge, где вы можете поделиться своими идеями касательно тем выше, чтобы получить один из десяти призов в виде $25k API-кредитов на дальнейшую работу, а также шанс получить оффер. В решении нужно описать в деталях (но не более 3 страниц A4), как можно использовать украденные модели. А ещё предложить тезисный план экспериментов и рекомендуемые действия для борьбы с подобного рода угрозами. В общем, ждём господ с LessWrong с отправкой десятков идей по уничтожению мира 🤯

😆 Хайзенбургер

Вышло уточнение по поводу планки мощностей, используемых для тренировки модели, выше которой необходимо сообщать государству о факте обучения.

Порог этот — 1e+26 операций (один и 26 нулей) с числами (целыми или с плавающей точкой). Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?

Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут 🤣

GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.

Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами 🥺

Мой прогноз: первая заявленная по этой программе модель будет от OpenAI в 2024м (не в первой половине), чтобы показать пример, что это не больно и не страшно 🤫

История с YouTube, из доклада менеджера в OpenAI:

Команда безопасности OpenAI заметила, что какая-то группа пользователей занималась реверс инженерингом (попытка по внешним признакам воспроизвести устройство, программу или иной объект с аналогичными функциями, но без прямого копирования) и злоупотребляла внутренним API ChatGPT. Вместо того, чтобы заблокировать весь трафик, они быстро заменили ChatGPT на CatGPT… а затем зашли в Discord злоумышленников, чтобы наблюдать за потоком сообщений там.

Легенды...

UPD: к посту было прикреплено 4 скриншота, но вы видите только один. Спасибо Дурову и команде, как обычно, лучшие. Впрочем, вы можете кликнуть по ссылке на видео в начале сообщения и посмотреть 3 минуты доклада сами 👍

Тут в Twitter умелец запилил игру «Angry Pumpkins 🎃» по мотивам классической Angry Birds, но к Хэллоуину. Фишка в том, что всю работу делали генеративные модели. GPT-4 писала код, а Midjourney / DALLE рисовали графику. Всего 600 строк кода, а там даже редактор уровня есть — можно отстроить своё гнездо и попытаться его разбомбить!

Комментарий автора проекта:
— Должен признаться, я искренне потрясен. Я верю, что мы живем в исторический момент, который до сих пор видели только в научно-фантастических фильмах. Это эпоха новых рабочих процессов, позволяющих создавать что угодно, используя только естественный язык, и это изменит мир, каким мы его знаем.


Мой комментарий:
Я не смог быстро понять, есть ли у автора опыт в программировании, но как мне кажется это не важно. У наших детей будет GPT-N+1, которая будет куда реже делать ошибки, и схватывать смысл слов на лету. Можно будет уже со средней школы начать экспериментировать не только с наколеночными играми, но и полноценными оригинальными проектами. В ближайшее время нейронки не заменят игроделов, но позволят новым людям вкатываться куда быстрее, да ещё и на дизайне/арте экономить 👀

Играть тут (работает только в браузере компьютера, без смартфонов)
Прочитать детальный гайд от автора тут (внутри промпты для генерации графики)

Пока готовил другой пост, наткнулся на Ted Talk от Luis Von Ahn. Он — гватемалец, которому повезло получить хорошее образование из-за усилий матери-одиночки, затем он уехал учитьcя в США и получил PhD, стал профессором.

Luis Von Ahn долгое время был озабочен вопросом того, как можно сделать образование более доступным. И к тому же ещё надо ответить на два вопроса: чему учить и как учить эффективно?

Ответ на вопрос "чему учить" получился "иностранным языкам", и вот две причины, на которые ссылается рассказчик:
— большая аудитория (2 миллиарда людей учат иностранные языки, при этом примерно 80% из них изучают английский)
— знание англйиского может увеличивать доход человека. Само по себе знание, например, математики не даёт такого эффекта: нужно её учить, чтобы потом учить физичку, чтобы потом стать инженером в промышленном строительстве. С англйиским такие цепочки короче. Официант в обычном кафе -> официант в международном отеле.

Получается, хорошая точка входа. А вот вопрос "как учить эффкективно" менее тривиален. С самых первых дней хотелось использовать смартфоны, так как предвиделось их масштабное распространение — у каждого он был бы в руках. С другой стороны, приходится соревноваться не с другими приложениями по изучению языков, но и...с социальными сетями. Поэтому Ted Talk и называется "How to Make Learning as Addictive as Social Media".

В дело пошли грязные приёмы, которые используют тиктоки и фейсбуки. Появилась геймификация, дневные стрики, етц — не потому, что компания злая и хочет замкнуть вас на своё приложение, а потому что иначе невозможно соревноваться, и пользователи просто забивают на обучение. Подробнее про влияние таких фичей на рост пользовательской базы можно почитать в детальном разборе акулы продуктовой разработки Lenny Rachitsky: How Duolingo reignited user growth. Да-да, история выше — про того самого зелёного совёнка с пассивно-агрессивными наклонностями 🫂

Ещё Luis рассказал интересную шутку. Они обучали модели машинного обучения (в народе — "AI"), чтобы определять, когда отправлять уведомления пользователям, чтобы напомнить об уроках. В итоге миллионы долларов, потраченных на исследования, показали, что лучшее время для отправки — ровно через 24 часа после последнего захода. Если вчера в 15:00 вы были свободны — вероятнее всего, вы и сегодня в это время свободны. От такой простой трюк. Интересно, уволили ли ответственных 🤔

Мой мозг так работает, что запоминает очень много фраз и цитат из разных источников, от мемов и фильмов до игр и книг (но только бесполезных! 😆).

Одна из моих самых любимых цитат — из анонсирующего трейлера Civilization VI:

There is no end to our imagination
and no limit ... to civilization.

🙈 фраза очень хорошо передаёт мою радость от возможности жить в эпоху, когда столько всего интересного происходит вокруг. И AI развивается, и в космос летаем-ракеты строим, и искуственные органы печатаем, и дополненная реальность потихоньку входит в массы, и чего только нет. Всё это казалось бы магией еще 100 лет назад — о чем говорить, первый полёт братьев Райт был в 1903м году. Полёт Гагарина был ближе к этому событию, нежели к нашему времени 🤯

Гордость за землян берёт 😭 (не за всех)