Классный доклад Дэвида Чалмерса с NeurIPS 2022 про сознание у LLM:
https://nips.cc/virtual/2022/invited-talk/55867

Кто любит в письменной форме, есть эти же мысли оформленные в препринт:
Could a Large Language Model be Conscious?
https://arxiv.org/abs/2303.07103

Generative Agents: Interactive Simulacra of Human Behavior
Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein
Статья: https://arxiv.org/abs/2304.03442

Недавно упоминал эту прикольную работу (https://news.1rj.ru/str/gonzo_ML/1467) от команды из Стэнфорда и Гугла, она прям классная, хочется её рассмотреть.

В работе создают генеративных агентов, симулирующих человеческое поведение. Агенты живут своей жизнью: просыпаются, готовят завтрак, идут на работу и т.п., общаются с другими агентами, сохраняют воспоминания, планируют следующий день.

Для агентов собрали сэндбокс под именем Smallville в виде маленького городка. Там есть дома, колледж, магазины, парк, кафе и т.п. В домах есть отдельные комнаты, в них есть предметы типа столов и шкафов. Этот мир описывается деревом, где в листьях отдельные предметы.

Отображается всё в виде спрайтовой 2D-игры (собрана на Phaser, https://phaser.io/). Написанный сервер обеспечивает передачу состояния мира агентам и отвечает за перемещение агентов и их взаимодействия. Внутри себя он поддерживает JSON-структуру с состояниями агентов.

Агентом является аугментированная памятью событий LLM, в данном случае ChatGPT (gpt3.5-turbo), GPT-4 в момент написания статьи была invite-only, поэтому её использовать не смогли (но должно быть лучше и дороже).

В основе архитектуры агента три компонента:
1) Memory stream для хранения жизненного опыта (experiences) агента.
2) Reflection, синтезирующий воспоминания в более высокоуровневые выводы.
3) Planning, транслирующий умозаключения агента и состояние среды в верхнеуровневые планы и детальные поведения.

Memory stream, база жизненного опыта агента, по сути центральный элемент архитектуры агента. Записи в базе и умозаключения агента идут на естественном языке, для этого и используется LLM. В случае когда агент участвует в куче событий челленджем является поднятие из памяти наиболее релевантных, иначе можно тупо перестать влезать в промпт. Суммаризацией тоже не всегда можно добиться нужного результата, важные вещи могут выпасть, тем более что важность может меняться в зависимости от ситуации. Поэтому важно вытягивать релевантное.

У каждого объекта в памяти есть текстовое содержимое, дата создания и дата последнего обращения. Самый базовый тип элемента в памяти -- это наблюдение (observation), то что агент напрямую воспринимает. Это могут быть действия самого агента или наблюдаемые поведения других агентов или предметов.

Пример наблюдений из памяти Изабеллы Родригес, работающей в кофейне: "(1) Isabella Rodriguez is setting out the pastries, (2) Maria Lopez is studying for a Chemistry test while drinking coffee, (3) Isabella Rodriguez and Maria Lopez are conversing about planning a Valentine’s day party at Hobbs Cafe, (4) The refrigerator is empty".

Специальная retrieval-функция получает на вход текущую ситуацию агента и возвращает подмножество событий из памяти, чтобы передать в LLM. Скор каждого элемента зависит от трёх факторов:
- Recency, экспоненциально затухающая свежесть, вычисляемая из времени последнего обращения к элементу.
- Importance, что прикольно, получаемая из LLM по целочисленной шкале от 1 до 10, где 1 это что-то совсем бытовое и незначительное (чистил зубы), а 10 что-то очень важное (развод, поступление в колледж).
- Relevance, которая считается через косинусную близость полученных через LLM эмбеддингов запроса и элемента памяти.

Все три фактора нормализуются к диапазону [0, 1] и суммируются с весами (в текущей работе веса одинаковые). Лучшие кандидаты из памяти, что влезают в промпт, оставляются.

Reflection это второй тип памяти после observation, более высокоуровневый и абстрактный, генерируемый агентом. Они тоже хранятся в memory stream и достаются retrieval’ом. Рефлексии генерируются периодически, когда сумма importance скоров для последних событий агента превосходит некоторый порог. На практике это происходит два-три раза в день.

Рефлексия делается через LLM, для этого берутся 100 самых свежих воспоминаний агента и отправляются в LLM с промптом “Given only the information above, what are 3 most salient high-level questions we can answer about the subjects in the statements?”. По полученным вопросам делаются запросы в memory stream, поднимаются релевантные воспоминания, по ним генерятся инсайты со ссылками на конкретные воспоминания через промпт “What 5 high-level insights can you infer from the above statements? (example format: insight (because of 1, 5, 3))”. Например, получается что-то такое “Klaus Mueller is dedicated to his research on gentrification (because of 1, 2, 8, 15).”. Рефлексии могут генерироваться в том числе и на базе других рефлексий.

Наконец, Planning и Reacting. Планирование даёт консистентность и правдоподобное поведение. Иначе, если делать без планов и спрашивать LLM в каждый момент времени, что будет делать агент, что есть шанс, что агент пообедает сначала в полдень, потом ещё через полчаса, и потом ещё. Планы тоже хранятся в memory stream и так же из него достаются, если релевантны. К генерации планов подход рекурсивный top-down. Сначала генерится общий план на день из 5-8 пунктов, потом уточняется и детализируется. Начальный план генерится по общему описанию агента (имя, свойства, саммари свежего опыта) и саммари предыдущего дня. Затем эти элементы уточняются сначала с часовым разрешением, а потом с 5-15 минутным.

Агент постоянно в цикле воспринимает мир, сохраняет в memory stream, и через LLM решает продолжать следование плану или отреагировать на что-то. К запросу в LLM также подтягивается релевантный контекст про наблюдаемую entity, для этого промптами “What is [observer]’s relationship with the [observed entity]?” и “[Observed entity] is [action status of the observed entity]” достаются и суммаризируются релевантные воспоминания. Если в итоге LLM предлагает отреагировать, план перегенерируется с учётом этого. Если подразумевается интеракция между двумя агентами, то генерируется их диалог (обусловленный памятью агентов друг о друге).

Всего в Смоллвилле 25 агентов. Личность каждого агента описывается одним параграфом текста на английском. В описании есть фразы, разделённые точкой с запятой, такие фразы перед началом симуляции вводятся в память агента в качестве воспоминаний.

Вот пример описания одного агента:

“John Lin is a pharmacy shopkeeper at the Willow Market and Pharmacy who loves to help people. He is always looking for ways to make the process of getting medication easier for his customers; John Lin is living with his wife, Mei Lin, who is a college professor, and son, Eddy Lin, who is a student studying music theory; John Lin loves his family very much; John Lin has known the old couple next-door, Sam Moore and Jennifer Moore, for a few years; John Lin thinks Sam Moore is a kind and nice man; John Lin knows his neighbor, Yuriko Yamamoto, well; John Lin knows of his neighbors, Tamara Taylor and Carmen Ortiz, but has not met them before; John Lin and Tom Moreno are colleagues at The Willows Market and Pharmacy; John Lin and Tom Moreno are friends and like to discuss local politics together; John Lin knows the Moreno family somewhat well — the husband Tom Moreno and the wife Jane Moreno.”

Агент может выполнять действия и общаться с другими агентами. В каждый временной отсчёт сэндбокса агент выдаёт текст, описывающий его текущее действие. Типа, например, "Isabella Rodriguez is writing in her journal", "Isabella Rodriguez is checking her emails", "Isabella Rodriguez is talking with her family on the phone", или "Isabella Rodriguez is getting ready for bed". Этот текст транслируется в действие в среде.

Отдельная языковая модель транслирует этот текст в набор эмоджи, который высвечивается над аватаром агента в среде.

Между собой агенты общаются на английском. Они знают о наличии других агентов в окрестности и решают, пройдут ли они мимо или вступят в беседу. Агент может перемещаться по миру, входить в здания, подходить к другим агентам. Если модель агента направляет его в какое-то место в Смоллвилле, среда просчитывает путь и агент движется по нему.

Оператор симуляции может вступать с агентом в беседу, а также давать ему/ей директивы через “внутренний голос”. Пользователи могут заходить в Смоллвилл в виде агентов, новых или имеющихся. Все больше вспоминаю фильм “13-й этаж” (https://www.youtube.com/watch?v=Cbjhr-H2nxQ)...

С новым агентом другие агенты взаимодействуют как и с любым другим, за исключением того, что про нового агента в Смоллвилле нет никакой истории.

При взаимодействии с миром, агенты меняют состояния объектов. Так, кровать может быть кем-то занята, холодильник опустошён, плита включена. Пользователь также может вмешиваться и менять состояние объектов мира. Например, можно сделать душ в ванной комнате протекающим, агент тогда начнёт это исправлять. Для выполнения действия запрашивается LLM, чтобы узнать как изменится состояние объекта.

Агенты строят свои деревья с подграфами всей среды по мере перемещения по миру. Деревья могут устаревать. Каждый агент инициализируется деревом, включающим важные места, про которые агент должен знать (дом, работа, магазины).

Для передачи агенту состояния среды дерево описания мира разворачивается в описание на естественном языке. Чтобы определить подходящее место для какого-то действия, делается обход дерева, разворачивание текущей порции дерева в текст и запрос LLM на предмет поиска наиболее подходящего места.

Для оценки работы всей этой кухни сделали несколько вещей.

Во-первых, можно опрашивать агентов, чтобы выяснить их способности вспоминать прошлый опыт, планировать действия и адекватно реагировать на неожиданные события. Для этого агенты должны вспоминать и синтезировать информацию. Проверялись пять областей: maintaining self-knowledge, retrieving memory, generating plans, reacting, and reflecting. Результаты оценивали люди по критерию правдоподобности (believability) поведения. Сравнивали с вариантами архитектуры с отключенными типами памяти (без планирования, + без рефлексии и + без наблюдений), также сравнили с какими-то (не лучшими) краудворкерами. Полная архитектура оказалась самой правдоподобной. Но даже без планирования и рефлексии в принципе результат ничё. В работе много анализа этих результатов. Из интересного, рефлексия нужна для хорошего синтеза и принятия решений. Как это по-человечески!

Во-вторых, пронаблюдали эмерджентное поведение. Проверяли на трёх типах такого поведения: information diffusion, relationship formation, and agent coordination.

Information diffusion -- это когда важная информация распространяется между агентами. Проверили на теме про выдвижение на выборы мэра и про планирование пати на Valentine’s day. Вначале знание было только у агентов-инициаторов, а по прошествии двух игровых дней опросили всех агентов. Убеждались, что это не галлюцинации LLM и находили конкретные диалоги в подтверждение передачи. Процент знающих агентов значимо повысился в обоих случаях (4% в 32% или в 48%).

В плане связей между агентами спрашивали знают ли они друг друга в начале симуляции и в конце. Плотность связей заметно увеличилась.

По части координации проверили как много агентов в итоге пришло на тусовку в правильное время и место после того как про неё услышали. 5 из 12 приглашённых пришли. Остальных семерых опросили, трое сослались на конфликты, помешавшие прийти, ещё четверо выразили интерес, но ничего не запланировали.

Авторы проанализировали ошибочное поведение агентов, выделили три типа.

1) Синтез большого объёма воспоминаний это челлендж как с точки зрения поднятия релевантного, так и с точки зрения выбора правильного места действия, особенно если у агента большая карта мира.

2) В некоторых случаях агенты неправильно классифицировали приемлемость поведений, например, когда агент считал, что college dorm bathroom вмещает более одного человека, или когда шёл в магазин, который уже закрыт. Это по идее лечится более явным добавлением норм в состояния среды и описания.

3) Вероятно из-за instruction tuning поведение агентов было в целом более вежливым и кооперативным. Иногда диалоги выглядели слишком формальными, агенты редко говорили “нет”.

Такие дела.

Текущая симуляция с 25 агентами была на два дня игрового времени и потребовала “тысяч долларов” и сколько-то (multiple) дней реального времени.

В целом очень прикольная и проработанная работа. Она рождает новый класс интересных симуляций. Вопросов и челленджей ещё много, но мне кажется, что computational social studies получают неожиданный новый турбо-буст. Наверняка это приведёт и к появлению нового класса NPC в играх и метавёрсах.

Мне кажется это ещё и средство сборки прототипов когнитивных архитектур. Можно экспериментировать с разными модулями, алгоритмами, способами организации.

Прикольно как LLM стала волшебной пылью, которой можно посыпать разные сложно формализуемые куски программы, и они начинают успешно работать. Или волшебным клеем для сшивания разных кусков.

Посмотрим, куда это вырулит.

Some interesting educational materials

1) Intento prepared a set of learning materials on machine translation (MT) called Machine Translation University. It's completely FREE!

https://inten.to/machine-translation-university/

The topics include:
- Why Machine Translation (MT): An Introduction
- Selecting and Customizing Machine Translation Engines. An Overview
- An overview of the MT landscape
- Considerations for Selecting Machine Translation Engines
- Best Practices for Training MT Models using Translation Memories and Glossaries
- Mastering Custom Machine Translation: A Practical Guide
- Selecting MT systems based on available assets

More topics coming soon!
- Automated scoring and evaluation of MT engines
- Linguistic quality analysis and ROI estimation

2) Andrew Ng prepared a beginner-friendly course on Prompt Engineering called "ChatGPT Prompt Engineering for Developers"

https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

It's a short course taught by Isa Fulford (OpenAI) and Andrew Ng (DeepLearning.AI) who will describe how LLMs work, provide best practices for prompt engineering, and show how LLM APIs can be used in applications for a variety of tasks, including:
- Summarizing (e.g., summarizing user reviews for brevity)
- Inferring (e.g., sentiment classification, topic extraction)
- Transforming text (e.g., translation, spelling & grammar correction)
- Expanding (e.g., automatically writing emails)

In addition, you’ll learn two key principles for writing effective prompts, how to systematically engineer good prompts, and also learn to build a custom chatbot.

Happy Learning!

In the meantime, a nice old talk by Charles Stross at the 34th Chaos Communication Congress in Leipzig, December 2017.

It's about different things, including AI and paperclip maximizers that are already among us.

Video:
https://www.youtube.com/watch?v=RmIgJ64z6Y4

Trannoscript & discussions:
http://www.antipope.org/charlie/blog-static/2018/01/dude-you-broke-the-future.html

Some GPT fun from Yejin Choi.

Actually a talk about common sense in LLMs.

https://www.youtube.com/watch?v=SvBR0OGT5VI

Ну и раз видеовыходные, вот ещё воскресное.

https://www.youtube.com/watch?v=qyUedvOEum4

https://www.nytimes.com/2023/05/01/technology/ai-google-chatbot-engineer-quits-hinton.html

"Until last year, he said, Google acted as a “proper steward” for the technology, careful not to release something that might cause harm. But now that Microsoft has augmented its Bing search engine with a chatbot — challenging Google’s core business — Google is racing to deploy the same kind of technology. The tech giants are locked in a competition that might be impossible to stop, Dr. Hinton said."

“The idea that this stuff could actually get smarter than people — a few people believed that,” he said. “But most people thought it was way off. And I thought it was way off. I thought it was 30 to 50 years or even longer away. Obviously, I no longer think that.”