A recent interview with Ilya Sutskever with a lot of history inside. And more.

“Existing alignment methods won’t work for models smarter than humans because they fundamentally assume that humans can reliably evaluate what AI systems are doing,” says Leike. “As AI systems become more capable, they will take on harder tasks.” And that—the idea goes—will make it harder for humans to assess them. “In forming the superalignment team with Ilya, we’ve set out to solve these future alignment challenges,” he says.

...

But, for Sutskever, superalignment is the inevitable next step. “It’s an unsolved problem,” he says. It’s also a problem that he thinks not enough core machine-learning researchers, like himself, are working on. “I’m doing it for my own self-interest,” he says. “It’s obviously important that any superintelligence anyone builds does not go rogue. Obviously.”

...

“Once you overcome the challenge of rogue AI, then what? Is there even room for human beings in a world with smarter AIs?” he says.

“One possibility—something that may be crazy by today’s standards but will not be so crazy by future standards—is that many people will choose to become part AI.” Sutskever is saying this could be how humans try to keep up. “At first, only the most daring, adventurous people will try to do it. Maybe others will follow. Or not.”

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

Mindstorms in Natural Language-Based Societies of Mind
Mingchen Zhuge, Haozhe Liu, Francesco Faccio, Dylan R. Ashley, Róbert Csordás, Anand Gopalakrishnan, Abdullah Hamdi, Hasan Abed Al Kader Hammoud, Vincent Herrmann, Kazuki Irie, Louis Kirsch, Bing Li, Guohao Li, Shuming Liu, Jinjie Mai, Piotr Piękos, Aditya Ramesh, Imanol Schlag, Weimin Shi, Aleksandar Stanić, Wenyi Wang, Yuhui Wang, Mengmeng Xu, Deng-Ping Fan, Bernard Ghanem, Jürgen Schmidhuber
Статья: https://arxiv.org/abs/2305.17066

Сегодня воскресный лонгрид. Для тех, кто любит позабористее! И Шмидхубера.

Работа отсылает к “society of mind” (SOM, не путать с Self-organizing Maps) Марвина Минского (https://www.youtube.com/watch?v=-pb3z2w9gDg), модели разума, составленного из множества взаимодействующих агентов.

Эта работа в чём-то близка к другой недавней клёвой работе про Generative agents (https://news.1rj.ru/str/gonzo_ML/1481), которая мне очень нравится.

В нейросетевом мире многое при желании можно трактовать как SOM (Шмидхубер трактует как SOM даже RNN’ки), потому что есть множество сетей, собранных из других сетей, те же GAN’ы, например. Но эти, назовём их, “старые SOM” имеют жёсткие фиксированные интерфейсы заточенные под задачу. С прошлой десятилетки идёт движение к большей гибкости интерфейсов, у Шмидхубера была тема про рекуррентные модели мира и learning to think (https://arxiv.org/abs/1511.09249) и ОДНУ БОЛЬШУЮ СЕТЬ (https://arxiv.org/abs/1802.08864). В этой менее жёсткой коммуникации сеть могла опрашивать другие сети через векторные интерфейсы. В развитии это ведёт к мультимодальным нейросообществам, состоящим из множества интервьюирующих друг друга сетей.

Для решения задачи различные модули SOM могут общаться между собой и вести так называемый “мозговой штурм” (mindstorm) со множеством раундов коммуникации. Авторы были вдохновлены успехом различных форм коммуникации в человеческих обществах типа мозгового штурма, который brainstorm. А с расцветом LLM’ок, можно собрать SOM с отдельными модулями в виде предобученных LLM и символьным интерфейсом между ними, то есть с общением между собой на естественном языке вместо обмена тензорами. Такие SOM называются natural-language SOMs (NLSOMs).

У языкового интерфейса есть определённые преимущества:
* модульность и расширяемость: модули можно заменять на другие, или добавлять новые, не меняя интерфейс между ними
* объяснимость: человек может лучше понять, о чём “думает” SOM. К тому же в NLSOM можно включать и людей (а с нейролинком, наверное, и в любой SOM).
* Human-Biased AI: благодаря bias’ам встроенным в язык, вероятно, будет тенденция к более человеческому мышлению и рассуждениям.

Работа открывает большую поляну на будущее: какие формы организации сообществ более эффективны для решения определённых задач. В каком случае лучше нейромонархия с NN King Abdullah, а где лучше нейродемократия? Как агенты могут образовывать группы с общей экспертизой и интересами? Как нейроэкономика (не та, что обычно зовётся этим словом), где сети платят друг другу за сервисы, может использоваться в RL с NLSOM? Ждём следующих работ на эти темы.

NLSOM задаётся комбинацией агентов (каждый со своей objective) и оргструктурой, которая определяет как агенты взаимодействуют и коллаборируют. Агенты могут воспринимать, обрабатывать и пересылать уни- и мульти-модальную информацию. Агенты могут воспринимать разные типы информации, кто текст, кто звук, кто картинки. Некоторые агенты даже могут быть физически embodied и действовать в реальном мире. Это всё можно считать развитием парадигмы LLM Programs (https://news.1rj.ru/str/gonzo_ML/1584), её следующим этапом, LLM Programs 2.0 или Multi-agent Programs.

Фреймворк NLSOM приложили к набору разных задач.

1) Visual Question Answering. Есть картинка, надо ответить на набор текстовых вопросов по ней (multiple choice).

NLSOM состоит из пяти агентов (предобученных сетей). Двое (organizer, leader) построены на базе text-davinci-003, ещё трое -- картиночно-языковые модели (VLM, https://news.1rj.ru/str/gonzo_ML/1364): BLIP2 (https://arxiv.org/abs/2301.12597), OFA (https://arxiv.org/abs/2202.03052), mPLUG (https://arxiv.org/abs/2205.12005).

Организатор получает вопрос и генерит другой вопрос (sub-question), все VLM на него отвечают и отправляют результат организатору, а тот на основе этих ответов генерит следующий под-вопрос. Этот пинг-понг продолжается заданное число ходов, затем лидер просит организатора суммаризировать историю общения. Наконец, лидер читает полученную саммари и выбирает ответ на оригинальный вопрос. Такая иерархическая структура может считаться монархической. Пробовали также и демократическую, где агенты видят ответы других и могут за них голосовать.

Монархический LNSOM побил другие индивидуальные модели в бенчмарке A-OKVQA, а также демократического коллегу (KAUST счастлив!). При увеличении VLM от 1 до 3 качество стабильно росло. Но возможно это из-за качества самих VLM, которые для понимания текста не очень.

2) Image Captioning. Сгенерить описание картинки, при этом со сложными примерами, требующими детального описания.

Тот же сетап, 2 LLM + 3 VLM с заменой промптов с VQA на captioning. Оценивались на датасете TARA, для сравнения взят BLIP2 и после десяти раундов mindstorm’а LNSOM лучше.

3) Prompt Generation for Text-to-Image Synthesis. Надо улучшить промпт для DALL-E 2, изначально заданный человеком.

В конфигурации работают 26 artists, 50 critics, и 1 collector. Каждый художник в свою очередь включает 3 LLM: a questioner, an answerer, and a leader. Все эти модели GPT3.5-turbo. Дополнительно есть модель painter (DALL-E 2). Каждый answerer промптом настроен на один конкретный (из 26) стиль рисования. Также им поступает общий запрос на рисование. Затем questioner за несколько раундов mindstorm’а получает уточнённые промпты для рисования. Каждый leader собирает всю эту коммуникацию и генерит более детальный промпт с конкретным стилем. Эти промпты оцениваются критиками. Для разнообразия мнений каждому критику заданы свои профессии (типа “You are a lawyer”). Критики голосуют за предложенные промпты. Collector агрегирует все голоса критиков, считает и продуцирует выигравший промпт, который и отправляется живописцу. Получилась иерархическая NSLOM, где на нижнем уровне Questioner-Answerer NLSOM для художников, а на верхнем Artist-Critic NLSOM. Итого 128 LLMs + 1 vision expert. Результаты прикольные.

4) 3D Generation. Надо сгенерить 3D модель из текстового описания.

В NLSOM входит 3D дизайнер (Luma AI’s Imagine3D), LLM leader (GPT3.5-turbo) и 3 критика (BLIP2). Дизайнер генерит начальную версию модели по запросу, критики получают 2D рендеры модели и пишут что про это думают, а лидер на основе этого фидбека модифицирует промпт.

Оценивают на наборе промптов, измеряя средний Clip score по нескольким view получившейся модели. Больших изменений после двух раундов взаимодействия не видно. Но даже этот примитивный mindstorm показывает неплохой результат.

5) Egocentric Retrieval. Парсинг видео от первого лица и поиск специально заданного сегмента видео (типа, в видео с поваром, готовившим спагетти, найти сегмент, где видно сколько сыпали соли).

В NLSOM пять агентов: четыре дебатёра и один редактор, все GPT3.5-turbo. Описание видео даётся извне человеком. Каждый дебатёр получает свой кусок сцены затем они обсуждают между собой как ответить на вопрос. Через несколько раундов обсуждений приходит лесник и всех разгоняет редактор и генерит саммари дискуссии, а из него и ответ на вопрос. Это тоже монархическая структура, в демократической дебатёры голосуют и выбирают сами.

Проверялись на части Ego4D датасета, получается намного лучше, чем с одним агентом (который не перебил рандомный бейзлайн). В этой конкретной задаче и конфигурации демократия рулила.

6) Embodied AI. Среди задач исследование роботом неизвестной среды и затем ответы на его основе (embodied question answering).

Здесь три агента: капитан (LLM), контролирующий робота; наблюдатель (observer VLM), отвечающий на вопросы про картинки из наблюдений; первый помощник (first mate LLM), опрашивающий VLM и докладывающий капитану. Агенты на BLIP2 и GPT3.5-turbo.

Тестировали на одном из датасетов Habitat (кстати недавно вышла третья версия этого симулятора, https://ai.meta.com/blog/habitat-3-socially-intelligent-robots-siro/) с 3D интерьерами жилищ. NLSOM исследует среду лучше, чем равномерный рандом (не уверен, что нельзя было взять более мощный бейзлайн), осваивает бОльшую часть среды.

7) General Language-based Task Solving. Надо предложить решение для произвольной языковой задачи. Очень открытая постановка.

Использовали KAUST’овский же фреймворк CAMEL (https://arxiv.org/abs/2303.17760), сделали три агента (все на GPT3.5-turbo). Один агент специфицирует задачу на основе пользовательского промпта. Два других агента исполняют роли, заданные пользователем. Агенты могут коллаборировать и решать заданные задачи. Например, “Python Programmer” и “Game Developer” агенты вместе делают игру с костями.


Короче, прикольные результаты. Я думаю, будущее где-то здесь. На одних промптах, очевидно, далеко не уедешь, во многих сколь-нибудь серьёзных задачах уже нужна внешняя оркестрация и работа в парадигме LLM Programs. Здесь добавляется новое измерение, когда одного агента уже недостаточно, и задач с такой постановкой тоже может быть много. При желании это можно рассматривать как Chain-of-Thought (https://news.1rj.ru/str/gonzo_ML/1885), но не в одной модели, а между разными. Или на это можно посмотреть как на ансамблирование, но с более богатыми коммуникационными протоколами. Как минимум в этой парадигме уже можно оформить любой кейс, где надо оценивать результат внутри процедуры, и критик вполне может быть одним из агентов. Это по идее классно ложится на акторную модель и языки типа Erlang/Elixir, было бы интересно, если бы на их базе появился какой-нибудь DSL или вообще аналог OTP (https://www.erlang.org/).

---

Дальше в работе начинается другая забористая тема.

Отдельный интересный вопрос -- credit assignment для отдельных модулей в NLSOM в парадигме Reinforcement Learning. И шире экономика агентов. Стандартный путь это policy gradients для LSTM, которая обучает участников NLSOM. Но у Шмидхубера есть и другие варианты, например, старый добрый локальный механизм Neural Bucket Brigade (NBB) (https://people.idsia.ch/~juergen/FKI-124-90ocr.pdf), где соревнующиеся нейроны платят "weight substance” активировавшим их нейронам. Кажется, этот метод является развитием ещё более старого Bucket Brigade (https://gwern.net/doc/reinforcement-learning/multi-agent/1985-holland.pdf) Джона Холланда, который очень много сделал для генетических алгоритмов (моя отдельная любовь).

Далее, если речь идёт про NLSOM, то и общаются они между собой на человеческом языке, а тогда и вознаграждения тоже можно сделать в человечески понятной форме -- натурой деньгами.

И дальше просто пир духа!

Некоторые члены NLSOM могут взаимодействовать со средой, а среда платить им деньгами (USD). Допустим, некий член NLSOM, M вначале наделён некой суммой USD. Но он должен платить ренту, налоги, счета внутри NLSOM и другим релевантным игрокам в среде. Если M банкротится, то он исключается из NLSOM. Всё это можно обозвать Economy of Minds (EOM). M может платить другим членам NLSOM за услуги, тогда некий другой член N может принять оффер, оказать услугу M и получить от него оплату. А контракт между M и N должен пройти проверку на валидность и исполнимость, например, в соответствии с законами ЕС. Нужен некий legal authority, валидирующий такой контракт. Например, это может быть LLM, прошедшая legal bar exam. Она же в случае диспутов будет решать разногласия. А ещё богатые члены NLSOM могут заводить детей (как свои копии или как модификации) и передавать им часть своего благосостояния.

LLM-based EOMs могут быть слиты с другими EOMs, или даже встроены в реальные человеческие экономики и маркетплейсы. Ещё различные EOMs (и NLSOMs в общем) могут частично пересекаться: агент может быть членом разных группировок. EOMs могут кооперироваться и конкурировать как корпорации. Они могут обслуживать различных заказчиков. Должны иметь место правила для предотвращения конфликта интересов (типа, одни EOM не должны шпионить за другими). Ну и в целом человеческие общества могут знатно подпитать воображение для дальнейшего развития этой темы.

Закончу фразой из работы:

“Just like current LLMs consist of millions of neurons connected through connections with real-valued weights, future AIs may consist of millions of NLSOMs connected through natural language, distributed across the planet, with dynamically changing affiliations, just like human employees may move from one company to another under certain conditions, in the interest of the greater good. The possibilities opened up by NLSOMs and EOMs seem endless. Done correctly, this new line of research has the potential to address many of the grand challenges of our time.”