Managing AI Risks in an Era of Rapid Progress
Статья: https://managing-ai-risks.com/managing_ai_risks.pdf
Сайт: https://managing-ai-risks.com/

Вышло программное заявление от кучи значимых людей в AI и не только. Кроме Бенжио, Хинтона, Рассела и других там есть, например, Харари и Канеман.

Прогресс в AI быстр. Четыре года назад GPT-2 не умела считать до десяти, а сегодняшние модели помогают писать код, генерируют офигенные картинки, дают советы на интеллектуальные темы. И прогресс может ещё ускориться, потому что мы находимся в ситуации гонки. Кроме того прогресс в AI ускоряет сам себя, например, помогая в программировании новых систем и сборе данных для их обучения.

Нет оснований считать, что прогресс остановится или замедлится по достижении человеческого уровня. Местами этот уровень и так превзойдён, а искусственные системы обладают способностями, недоступными для человека -- могут работать быстрее, переваривать огромные объёмы данных, скейлиться в огромных масштабах. У компаний есть деньги, чтобы запустить обучение на порядки большее, чем максимальное на сегодня.

Авторы считают, что мы должны серьёзно отнестись к возможности появления в течение текущей или следующей декады AI-генералиста, превзойдущего (совсем другая тема, но забавно, что “официально” то, что я только что употребил, это несуществующая форма в русском языке -- причастие будущего времени) человеческие способности во многих критических областях.

Что будет дальше? В хорошем варианте с аккуратным управлением и справедливым распределением, вся жизнь может улучшиться. Плохой вариант связан с крупномасштабными рисками, которые мы недостаточно готовы адресовать. Основные ресурсы вливаются в создание всё более мощных систем ИИ, а не в безопасность и предотвращение вреда. Мы должны это поменять, погоня лишь за одними способностями недостаточна. И мы отстаём от графика в этом процессе. Мы должны предвидеть усиление имеющихся опасностей и появление новых, и готовиться к большим рискам до их материализации. С изменением климата на принятие ушли десятки лет, у нас нет такого же количества времени на ИИ.

Есть множество рисков масштаба общества (Societal-scale risks): усиление несправедливости, эрозия стабильности, ослабление общего понимания реальности. Здесь же крупномасштабные действия преступников и террористов. ИИ может оказаться в руках небольшого числа акторов и усилить глобальное неравенство, способствовать автоматизации войны, персонализированным массовым манипуляциям и всепроникающему наблюдению.

Эти риски только усилятся с развитием автономного ИИ, который может планировать, действовать в мире и преследовать свои цели. Эти цели могут быть нежелательными для нас, а в случае злонамеренных акторов и откровенно вредными. Как решить проблему AI Alignment, выравнивания поведения ИИ с нашими сложными целями, на данный момент неясно. А в условиях гонки, если цель -- её выиграть, мерами безопасности особенно легко пренебречь.

Мы не очень хорошо контролируем обычный софт, что говорить про продвинутые ИИ системы, совершенствующиеся в хакинге, социальной инженерии, обмане и стратегическом планировании. Автономные ИИ системы могут выучить это у людей или разработать самостоятельно.

Эти системы могут завоёвывать доверие, получать финансовые ресурсы, влиять на ЛПР, и образовывать коалиции с людьми и другими системами. Они могут копировать себя по сети как червь. ИИ-ассистенты уже сейчас помогают писать огромное количество кода, будущие системы могут встроить эксплойты в различные критические системы. В открытом конфликте системы ИИ могут угрожать автономным или биологическим оружием или использовать его. Это всего лишь продолжение текущих трендов на автоматизацию войны, биологических исследований или создания самого ИИ. Людям может оказаться слишком сложно вмешаться и противодействовать.

Им даже не нужно добиваться этого от нас, во многих случаях мы готовы передать бразды сами. В конкурентной среде многие люди и компании сами готовы внедрять такие системы из-за боязни проиграть конкуренцию.

Вред от дискриминации и дезинформации виден уже сейчас. Другие риски тоже демонстрируют признаки появления. Важно адресовать и имеющиеся риски и предвещать новые.

Если бы продвинутые автономные системы появились сейчас, мы бы не знали ни как сделать их безопасными, ни как протестировать их на безопасность. А если бы даже и знали, то у правительств нет институтов для предотвращения злоупотреблений и внедрения безопасных практик. Авторы выступают за переориентацию R&D на безопасность и этику и за установление эффективного правительственного надзора.

Среди челленджей в R&D, которые не решатся созданием более способных систем ИИ: контроль и честность (oversight and honesty -- более продвинутые системы могут обхитрить тестирование, выдавая ложные, но убедительные ответы), робастность (в новых условиях при distribution shift или adversarial inputs), интерпретируемость (понимание работы), оценка рисков (возникают новые способности, которые трудно предсказать), появление новых челленджей (невиданные прежде failure modes).

Авторы предлагают аллоцировать минимум треть AI R&D бюджетов на безопасность и этику.

В контексте национальных институтов и международного управления нужно навязывать стандарты. Такие вещи есть в фарме, финансах и ядерной энергии, но не в ИИ. У стран и компаний сейчас есть стимулы для срезания углов за счёт безопасности. Подобно тому как производства сливают отходы в реки, компании могут пожинать плоды ИИ разработок, оставляя обществу разбираться с последствиями.

Национальным институтам нужна сильная техническая экспертиза и право действовать быстро. В международном поле нужны соглашения и партнёрства. Для защиты низкорисковых использований и академических исследований надо избежать бюрократических барьеров для малых и предсказуемых моделей. Наибольшее внимание нужно направить на фронтирные модели -- небольшое количество наиболее мощных систем, обучающихся на миллиардных суперкомпьютерах. Для эффективной регуляции правительствам нужна большая прозрачность разработок. Регуляторы должны требовать регистрацию моделей, защищать осведомителей внутри компаний, требовать репортинга инцидентов и мониторить разработку моделей и использование суперкомпьютеров (привет, KYC, скоро на AWS!). Регуляторам также нужен доступ к таким системам до их выкатывания в прод для оценки опасных способностей типа саморепликации, проникновения в другие системы, создание патогенов.

Для систем с опасными способностями нужна комбинация управляющих механизмов. Также разработчики фронтир-моделей должны юридически отвечать за вред своих систем, который можно было бы предотвратить. Это должно создать стимулы для инвестиций в безопасность. Для крайне способных систем возможно понадобится что-то ещё, включая правительственное лицензирование, возможность приостановки разработки в ответ на опасные способности, контроль доступа и меры информационной безопасности, устойчивые к state-level hackers.

Пока регуляций нет, компании должны незамедлительно сформулировать свои if-then обязательства в виде конкретных мер, которые они предпримут, если конкретные способности в их моделях пересекут красную черту. Эти меры должны быть детально описаны и независимо проверены.

Такие дела.

Выжимка тезисов собрана в отдельном Policy supplement (https://managing-ai-risks.com/policy_supplement.pdf).

А вот и OpenAI готовится...

https://openai.com/blog/frontier-risk-and-preparedness

A shortened version for those who likes smaller decks :)

https://docs.google.com/presentation/d/1nbVm5CBRG5JBhU2pD1AVELEm9crLN3NApgopfLZLc8w/edit

И это

https://openai.com/blog/frontier-model-forum-updates

С другой стороны для контексту...

ConvNets Match Vision Transformers at Scale
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De
Статья: https://arxiv.org/abs/2310.16764

Империя наносит алаверды #2 (#1 было тут https://news.1rj.ru/str/gonzo_ML/819).

Есть мнение (™) что свёрточные сети хороши на малых и средних объёмах данных, а на датасетах супер большого размера проигрывают трансформерам (ViT в частности, https://news.1rj.ru/str/gonzo_ML/434). Текущая работа от DeepMind разрушает этот миф.

Считается, что скейлинг трансформеров идёт лучше, чем у свёрточных сетей, но подтверждений этому мало. Кроме того, многие работы изучающие ViT сравниваются с довольно слабыми свёрточными бейзлайнами, сами при этом порой обучаясь с безумными вычислительными бюджетами более 500k TPU-v3 core hours (что уже $250k по нынешним ценам on-demand, https://cloud.google.com/tpu/pricing). Это сильно за границами бюджетов для обучения свёрточных сетей.

Авторы берут семейство NFNet (Normalizer-Free ResNets, https://arxiv.org/abs/2102.06171) с последовательно увеличивающимися шириной и глубиной сетей. Это чисто свёрточная архитектура, последняя из подобных, получившая SoTA на ImageNet. Эти архитектуры без существенных изменений (кроме подбора простых гиперпараметров обучения) предобучают на большом датасете JFT-4B (4B размеченных картинок с 30к классов) с вычислительными бюджетами от 0.4k до 110k TPU-v4 core compute hours (у TPU-v4 примерно в два раза более высокие флопсы, чем у v3, но такая же память). Затем предобученные сети файнтюнят на ImageNet (используют Sharpness-Aware Minimization, SAM, https://arxiv.org/abs/2010.01412) и получают перформанс аналогичный ViT с сопоставимыми бюджетами. Все модели стабильно улучшаются при добавлении вычислений. Самая большая модель NFNet-F7+ предобучается 8 эпох (110k TPU-v4 hrs), файнтюнится (1.6k TPU-v4 hrs) и даёт 90.3% top-1 accuracy (а с 4x аугментацией и 90.4%).

Из наблюдений по ходу, кривая валидационного лосса даёт чёткий линейный тренд, консистентный с log-log scaling law между валидационным лоссом и объёмом вычислений в предобучении. Это матчится с такими же scaling laws для трансформеров в языковом моделировании. Авторы нашли оптимальный режим скейлинга, когда размер модели и количество эпох обучения увеличиваются с одинаковой скоростью. Также нашли значения для оптимальных learning rates.

Ещё из интересного, претрейны с минимальным валидационным лоссом не всегда дают топовое качество после файнтюна. На трансформерах мы тоже такое где-то видели. Для файнтюнинга стабильно хороши модели чуть покрупнее и чуть поменьше обученные. Иногда ещё и с чуть большим learning rate.

Мораль? The bitter lesson! Чего думать, трясти надо! Компьют и данные -- главные факторы.

Но таки inductive biases у моделей разные и авторы признают, что ViT может быть более хорошим выбором в определённых условиях, например, за счёт возможности использовать одинаковые компоненты для разных модальностей.

И ещё про проверенные временем архитектуры

A recent interview with Ilya Sutskever with a lot of history inside. And more.

“Existing alignment methods won’t work for models smarter than humans because they fundamentally assume that humans can reliably evaluate what AI systems are doing,” says Leike. “As AI systems become more capable, they will take on harder tasks.” And that—the idea goes—will make it harder for humans to assess them. “In forming the superalignment team with Ilya, we’ve set out to solve these future alignment challenges,” he says.

...

But, for Sutskever, superalignment is the inevitable next step. “It’s an unsolved problem,” he says. It’s also a problem that he thinks not enough core machine-learning researchers, like himself, are working on. “I’m doing it for my own self-interest,” he says. “It’s obviously important that any superintelligence anyone builds does not go rogue. Obviously.”

...

“Once you overcome the challenge of rogue AI, then what? Is there even room for human beings in a world with smarter AIs?” he says.

“One possibility—something that may be crazy by today’s standards but will not be so crazy by future standards—is that many people will choose to become part AI.” Sutskever is saying this could be how humans try to keep up. “At first, only the most daring, adventurous people will try to do it. Maybe others will follow. Or not.”

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

Mindstorms in Natural Language-Based Societies of Mind
Mingchen Zhuge, Haozhe Liu, Francesco Faccio, Dylan R. Ashley, Róbert Csordás, Anand Gopalakrishnan, Abdullah Hamdi, Hasan Abed Al Kader Hammoud, Vincent Herrmann, Kazuki Irie, Louis Kirsch, Bing Li, Guohao Li, Shuming Liu, Jinjie Mai, Piotr Piękos, Aditya Ramesh, Imanol Schlag, Weimin Shi, Aleksandar Stanić, Wenyi Wang, Yuhui Wang, Mengmeng Xu, Deng-Ping Fan, Bernard Ghanem, Jürgen Schmidhuber
Статья: https://arxiv.org/abs/2305.17066

Сегодня воскресный лонгрид. Для тех, кто любит позабористее! И Шмидхубера.

Работа отсылает к “society of mind” (SOM, не путать с Self-organizing Maps) Марвина Минского (https://www.youtube.com/watch?v=-pb3z2w9gDg), модели разума, составленного из множества взаимодействующих агентов.

Эта работа в чём-то близка к другой недавней клёвой работе про Generative agents (https://news.1rj.ru/str/gonzo_ML/1481), которая мне очень нравится.

В нейросетевом мире многое при желании можно трактовать как SOM (Шмидхубер трактует как SOM даже RNN’ки), потому что есть множество сетей, собранных из других сетей, те же GAN’ы, например. Но эти, назовём их, “старые SOM” имеют жёсткие фиксированные интерфейсы заточенные под задачу. С прошлой десятилетки идёт движение к большей гибкости интерфейсов, у Шмидхубера была тема про рекуррентные модели мира и learning to think (https://arxiv.org/abs/1511.09249) и ОДНУ БОЛЬШУЮ СЕТЬ (https://arxiv.org/abs/1802.08864). В этой менее жёсткой коммуникации сеть могла опрашивать другие сети через векторные интерфейсы. В развитии это ведёт к мультимодальным нейросообществам, состоящим из множества интервьюирующих друг друга сетей.

Для решения задачи различные модули SOM могут общаться между собой и вести так называемый “мозговой штурм” (mindstorm) со множеством раундов коммуникации. Авторы были вдохновлены успехом различных форм коммуникации в человеческих обществах типа мозгового штурма, который brainstorm. А с расцветом LLM’ок, можно собрать SOM с отдельными модулями в виде предобученных LLM и символьным интерфейсом между ними, то есть с общением между собой на естественном языке вместо обмена тензорами. Такие SOM называются natural-language SOMs (NLSOMs).

У языкового интерфейса есть определённые преимущества:
* модульность и расширяемость: модули можно заменять на другие, или добавлять новые, не меняя интерфейс между ними
* объяснимость: человек может лучше понять, о чём “думает” SOM. К тому же в NLSOM можно включать и людей (а с нейролинком, наверное, и в любой SOM).
* Human-Biased AI: благодаря bias’ам встроенным в язык, вероятно, будет тенденция к более человеческому мышлению и рассуждениям.

Работа открывает большую поляну на будущее: какие формы организации сообществ более эффективны для решения определённых задач. В каком случае лучше нейромонархия с NN King Abdullah, а где лучше нейродемократия? Как агенты могут образовывать группы с общей экспертизой и интересами? Как нейроэкономика (не та, что обычно зовётся этим словом), где сети платят друг другу за сервисы, может использоваться в RL с NLSOM? Ждём следующих работ на эти темы.

NLSOM задаётся комбинацией агентов (каждый со своей objective) и оргструктурой, которая определяет как агенты взаимодействуют и коллаборируют. Агенты могут воспринимать, обрабатывать и пересылать уни- и мульти-модальную информацию. Агенты могут воспринимать разные типы информации, кто текст, кто звук, кто картинки. Некоторые агенты даже могут быть физически embodied и действовать в реальном мире. Это всё можно считать развитием парадигмы LLM Programs (https://news.1rj.ru/str/gonzo_ML/1584), её следующим этапом, LLM Programs 2.0 или Multi-agent Programs.

Фреймворк NLSOM приложили к набору разных задач.

1) Visual Question Answering. Есть картинка, надо ответить на набор текстовых вопросов по ней (multiple choice).

NLSOM состоит из пяти агентов (предобученных сетей). Двое (organizer, leader) построены на базе text-davinci-003, ещё трое -- картиночно-языковые модели (VLM, https://news.1rj.ru/str/gonzo_ML/1364): BLIP2 (https://arxiv.org/abs/2301.12597), OFA (https://arxiv.org/abs/2202.03052), mPLUG (https://arxiv.org/abs/2205.12005).

Организатор получает вопрос и генерит другой вопрос (sub-question), все VLM на него отвечают и отправляют результат организатору, а тот на основе этих ответов генерит следующий под-вопрос. Этот пинг-понг продолжается заданное число ходов, затем лидер просит организатора суммаризировать историю общения. Наконец, лидер читает полученную саммари и выбирает ответ на оригинальный вопрос. Такая иерархическая структура может считаться монархической. Пробовали также и демократическую, где агенты видят ответы других и могут за них голосовать.

Монархический LNSOM побил другие индивидуальные модели в бенчмарке A-OKVQA, а также демократического коллегу (KAUST счастлив!). При увеличении VLM от 1 до 3 качество стабильно росло. Но возможно это из-за качества самих VLM, которые для понимания текста не очень.

2) Image Captioning. Сгенерить описание картинки, при этом со сложными примерами, требующими детального описания.

Тот же сетап, 2 LLM + 3 VLM с заменой промптов с VQA на captioning. Оценивались на датасете TARA, для сравнения взят BLIP2 и после десяти раундов mindstorm’а LNSOM лучше.

3) Prompt Generation for Text-to-Image Synthesis. Надо улучшить промпт для DALL-E 2, изначально заданный человеком.

В конфигурации работают 26 artists, 50 critics, и 1 collector. Каждый художник в свою очередь включает 3 LLM: a questioner, an answerer, and a leader. Все эти модели GPT3.5-turbo. Дополнительно есть модель painter (DALL-E 2). Каждый answerer промптом настроен на один конкретный (из 26) стиль рисования. Также им поступает общий запрос на рисование. Затем questioner за несколько раундов mindstorm’а получает уточнённые промпты для рисования. Каждый leader собирает всю эту коммуникацию и генерит более детальный промпт с конкретным стилем. Эти промпты оцениваются критиками. Для разнообразия мнений каждому критику заданы свои профессии (типа “You are a lawyer”). Критики голосуют за предложенные промпты. Collector агрегирует все голоса критиков, считает и продуцирует выигравший промпт, который и отправляется живописцу. Получилась иерархическая NSLOM, где на нижнем уровне Questioner-Answerer NLSOM для художников, а на верхнем Artist-Critic NLSOM. Итого 128 LLMs + 1 vision expert. Результаты прикольные.

4) 3D Generation. Надо сгенерить 3D модель из текстового описания.

В NLSOM входит 3D дизайнер (Luma AI’s Imagine3D), LLM leader (GPT3.5-turbo) и 3 критика (BLIP2). Дизайнер генерит начальную версию модели по запросу, критики получают 2D рендеры модели и пишут что про это думают, а лидер на основе этого фидбека модифицирует промпт.

Оценивают на наборе промптов, измеряя средний Clip score по нескольким view получившейся модели. Больших изменений после двух раундов взаимодействия не видно. Но даже этот примитивный mindstorm показывает неплохой результат.

5) Egocentric Retrieval. Парсинг видео от первого лица и поиск специально заданного сегмента видео (типа, в видео с поваром, готовившим спагетти, найти сегмент, где видно сколько сыпали соли).

В NLSOM пять агентов: четыре дебатёра и один редактор, все GPT3.5-turbo. Описание видео даётся извне человеком. Каждый дебатёр получает свой кусок сцены затем они обсуждают между собой как ответить на вопрос. Через несколько раундов обсуждений приходит лесник и всех разгоняет редактор и генерит саммари дискуссии, а из него и ответ на вопрос. Это тоже монархическая структура, в демократической дебатёры голосуют и выбирают сами.

Проверялись на части Ego4D датасета, получается намного лучше, чем с одним агентом (который не перебил рандомный бейзлайн). В этой конкретной задаче и конфигурации демократия рулила.

6) Embodied AI. Среди задач исследование роботом неизвестной среды и затем ответы на его основе (embodied question answering).

Здесь три агента: капитан (LLM), контролирующий робота; наблюдатель (observer VLM), отвечающий на вопросы про картинки из наблюдений; первый помощник (first mate LLM), опрашивающий VLM и докладывающий капитану. Агенты на BLIP2 и GPT3.5-turbo.

Тестировали на одном из датасетов Habitat (кстати недавно вышла третья версия этого симулятора, https://ai.meta.com/blog/habitat-3-socially-intelligent-robots-siro/) с 3D интерьерами жилищ. NLSOM исследует среду лучше, чем равномерный рандом (не уверен, что нельзя было взять более мощный бейзлайн), осваивает бОльшую часть среды.

7) General Language-based Task Solving. Надо предложить решение для произвольной языковой задачи. Очень открытая постановка.

Использовали KAUST’овский же фреймворк CAMEL (https://arxiv.org/abs/2303.17760), сделали три агента (все на GPT3.5-turbo). Один агент специфицирует задачу на основе пользовательского промпта. Два других агента исполняют роли, заданные пользователем. Агенты могут коллаборировать и решать заданные задачи. Например, “Python Programmer” и “Game Developer” агенты вместе делают игру с костями.


Короче, прикольные результаты. Я думаю, будущее где-то здесь. На одних промптах, очевидно, далеко не уедешь, во многих сколь-нибудь серьёзных задачах уже нужна внешняя оркестрация и работа в парадигме LLM Programs. Здесь добавляется новое измерение, когда одного агента уже недостаточно, и задач с такой постановкой тоже может быть много. При желании это можно рассматривать как Chain-of-Thought (https://news.1rj.ru/str/gonzo_ML/1885), но не в одной модели, а между разными. Или на это можно посмотреть как на ансамблирование, но с более богатыми коммуникационными протоколами. Как минимум в этой парадигме уже можно оформить любой кейс, где надо оценивать результат внутри процедуры, и критик вполне может быть одним из агентов. Это по идее классно ложится на акторную модель и языки типа Erlang/Elixir, было бы интересно, если бы на их базе появился какой-нибудь DSL или вообще аналог OTP (https://www.erlang.org/).

---

Дальше в работе начинается другая забористая тема.

Отдельный интересный вопрос -- credit assignment для отдельных модулей в NLSOM в парадигме Reinforcement Learning. И шире экономика агентов. Стандартный путь это policy gradients для LSTM, которая обучает участников NLSOM. Но у Шмидхубера есть и другие варианты, например, старый добрый локальный механизм Neural Bucket Brigade (NBB) (https://people.idsia.ch/~juergen/FKI-124-90ocr.pdf), где соревнующиеся нейроны платят "weight substance” активировавшим их нейронам. Кажется, этот метод является развитием ещё более старого Bucket Brigade (https://gwern.net/doc/reinforcement-learning/multi-agent/1985-holland.pdf) Джона Холланда, который очень много сделал для генетических алгоритмов (моя отдельная любовь).

Далее, если речь идёт про NLSOM, то и общаются они между собой на человеческом языке, а тогда и вознаграждения тоже можно сделать в человечески понятной форме -- натурой деньгами.

И дальше просто пир духа!

Некоторые члены NLSOM могут взаимодействовать со средой, а среда платить им деньгами (USD). Допустим, некий член NLSOM, M вначале наделён некой суммой USD. Но он должен платить ренту, налоги, счета внутри NLSOM и другим релевантным игрокам в среде. Если M банкротится, то он исключается из NLSOM. Всё это можно обозвать Economy of Minds (EOM). M может платить другим членам NLSOM за услуги, тогда некий другой член N может принять оффер, оказать услугу M и получить от него оплату. А контракт между M и N должен пройти проверку на валидность и исполнимость, например, в соответствии с законами ЕС. Нужен некий legal authority, валидирующий такой контракт. Например, это может быть LLM, прошедшая legal bar exam. Она же в случае диспутов будет решать разногласия. А ещё богатые члены NLSOM могут заводить детей (как свои копии или как модификации) и передавать им часть своего благосостояния.

LLM-based EOMs могут быть слиты с другими EOMs, или даже встроены в реальные человеческие экономики и маркетплейсы. Ещё различные EOMs (и NLSOMs в общем) могут частично пересекаться: агент может быть членом разных группировок. EOMs могут кооперироваться и конкурировать как корпорации. Они могут обслуживать различных заказчиков. Должны иметь место правила для предотвращения конфликта интересов (типа, одни EOM не должны шпионить за другими). Ну и в целом человеческие общества могут знатно подпитать воображение для дальнейшего развития этой темы.

Закончу фразой из работы:

“Just like current LLMs consist of millions of neurons connected through connections with real-valued weights, future AIs may consist of millions of NLSOMs connected through natural language, distributed across the planet, with dynamically changing affiliations, just like human employees may move from one company to another under certain conditions, in the interest of the greater good. The possibilities opened up by NLSOMs and EOMs seem endless. Done correctly, this new line of research has the potential to address many of the grand challenges of our time.”