Обзоры нескольких статей пока дозревают, запощу для разнообразия пост другого формата на злобу дня. Может, кстати, и дальше для разбавления основного потока статей что-нибудь такое буду постить, если интересно.

В последние дни разгорелась новая волна шумихи про наличие сознания у больших моделей.

Недавно вброс делал Ilya Sutskever из OpenAI, в феврале сказав "it may be that today's large neural networks are slightly conscious" (https://twitter.com/ilyasut/status/1491554478243258368?t=xIjtYibbQz2eIxiFOEm5UQ&s=19). Был потом большой срач.

Теперь флагман движухи Blake Lemoine из Гугла, специалист по этике ИИ. Он выложил лог разговора с гугловой диалоговой моделью LaMDA (https://arxiv.org/abs/2201.08239, на 137B параметров) и по итогам объявил, что модель разумна (sentient) и является личностью. Сам лог можно почитать в Medium Блэйка:
https://link.medium.com/xbw7ymf4Nqb

Я, если честно, пока читал, постоянно ловил себя на мысли, что вспоминаю историю из "Ложной слепоты" Питера Уоттса (https://www.facebook.com/grigory.sapunov/posts/pfbid0CdE3pyKU11vCgbRCo8kVZGjcNy2F63RZtZY3V9QYG27jGPGsrpnjiFhGENiFX3ajl) про общение с инопланетным кораблём.

Буквально за пару дней до статьи в WP (https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/) про Лемойна вышла колонка Дугласа Хофштадтера (того самого, который ГЭБ написал и много хорошего другого), где он на пару с коллегой поговорил с GPT-3 и показал, что модель прекрасно умеет нести несусветную чушь, особенно по части фактов или модели мира (где в общем и ожидаемо). Примеры прикольные на контрасте с LaMDA (справедливости ради, GPT-3 старее LaMDA на два года) : https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-today-are-not-conscious-according-to-douglas-hofstadter

Вывод Хофштадтера "I would call gpt-3’s answers not just clueless but cluelessly clueless, meaning that gpt-3 has no idea that it has no idea about what it is saying." И до сознания (consciousness) ещё долго (десятки лет), "но это не точно".

Какие мысли по всем этим поводам?

1. Модели реально усложнились и сильно продвинулись по качеству. Диалоги такого уровня лет пять назад, когда разгорался хайп вокруг чатботов, были заоблачными мечтами. В весёлое время живём, прогресс офигенный.

2. Я лично по отношению к большим языковым моделям настроен пока довольно скептично, ни в какое понимание у них я не верю, не верю и в наличие какого-либо сознания (что бы за этим словом ни подразумевали разные люди). И читать произведения этих моделей мне малоинтересно, потому что прагматики за этим никакой нет by design.

3. Но этот мой скептицизм не означает ни что модели не могут решать полезные задачи (ещё как могут!), ни что не надо продолжать масштабирование моделей (надо! узнаем ещё много интересного), ни также что у модели не может быть своя "персона" или какие-то "личные особенности" (конечно, они есть из-за датасетов и прайминга промптами). Я уже шутил на тему зарождающейся психологии моделей, в этой шутке по-прежнему есть доля шутки.

4. Специалистам по этике ИИ в Гугле как-то сложно живётся, с начала года скандалы, то с увольнением Тимнит Гебру и Маргарет Митчелл, теперь вот Блэйк. Не могу никак содержательно это откомментировать, но ситуация любопытная.

5. Многие современные модели недоступны никому снаружи создавших их компаний, и это печально, приходится полагаться на черрипикинг разных авторов. Дух вопросов Хофштадтера ощутимо другой по сравнению с общением Лемойна. У Хофштадтера сплошные подковырки. Было бы интересно его к LaMDA отправить.

6. А вообще искусственное сознание, конечно, будет. Как и сейчас их параллельно с человеческими существует дофига других. Ну и важно всё-таки разделять сознание и интеллект. Интеллектов, конечно, тоже много разных, и естественных, и искусственных, и широких, и узких. И будет больше. И суперинтеллект, конечно, тоже будет. Как, наверное, и суперсознание, что бы это ни значило (да, снова доля шутки).

A theory of consciousness from a theoretical computer science perspective: Insights from the Conscious Turing Machine
Lenore Blum, Manuel Blum
Статья: https://www.pnas.org/doi/10.1073/pnas.2115934119

Давайте продолжим тему про сознание. Только хардкор!

Свежая работа с очень интригующим названием. На самом деле продолжение работ https://arxiv.org/abs/2011.09850 и https://arxiv.org/abs/2107.13704 этих же авторов. Эти две более старые работы по-прежнему актуальны, и там есть дополнительные материалы, не вошедшие в текущую обзорную работу.

Авторы предлагают модель под названием Conscious Turing Machine (CTM) для определения и исследования сознания и связанных с ним тем. Это не модель работы мозга или восприятия, это именно независимая от субстрата вычислительная модель, претендующая стать аналогом машины Тьюринга в теории вычислений.

CTM является развитием теории сознания под названием global workspace theory (GWT) Бернарда Баарса (https://en.wikipedia.org/wiki/Global_workspace_theory). Про GWT мы уже писали в контексте архитектур RIM (https://news.1rj.ru/str/gonzo_ML/537). Напомним, что в GWT есть общее рабочее пространство, сцена если угодно, оно и есть содержание сознания. Различные модули-специалисты конкурируют за то, чтобы в это общее пространство что-нибудь положить, а положенное туда рассылается всем.

В CTM этим рабочим пространством является краткосрочная память (short-term memory, STM), в ней собственно и находится в любой момент времени содержимое сознания.

За этим пространством наблюдает множество (N>10^7) мощных обработчиков (или процессоров, processors), каждый со своей собственной экспертизой, и они образуют долгосрочную память (long-term memory, LTM). Эти LTM делают предсказания и получают фидбек на свою работу. На основе этого фидбека обучающие алгоритмы в каждом из обработчиков учатся улучшать поведение процессора.

Все эти LTM процессоры соревнуются за то, чтобы положить чанки (chunks) с данными (вопросы, ответы, информация) на “сцену” для рассылки всем. На сцене есть место только для одного чанка.

Хоть CTM и вдохновлена GWT, здесь есть дополнительные важные фичи, например, модель включает динамику, богатый мультимодальный внутренний язык под названием Brainish (а вовсе не Ифкуиль), а также специализированные LTM процессоры для создания моделей мира.

Формально CTM модель это семиэлементный кортеж <STM, LTM, Up Tree, Down Tree, Links, Input, Output>.

Про STM и LTM мы уже сказали. Теперь Up Tree и Down Tree.

Down Tree это направленное вниз дерево глубины 1 с корнем в STM и c N листьями, каждый из которых это LTM.

Up Tree это направленное вверх бинарное дерево высоты h с N листьями, где каждый лист это снова LTM, а корень STM.

Процессоры-специалисты (LTM) соревнуются друг с другом через Up Tree Competition за то, чтобы отправить информацию в STM и далее немедленно разослать её всем LTM через Down Tree. Для простоты в данной модели соревнуются все, и получают бродкаст тоже все.

Вся информация отправляется в форме чанков. Чанк, который выигрывает соревнование в Up Tree и попадает в STM, является сознательным содержанием (conscious content) CTM. В CTM в отличие от оригинальной GWT есть только один “актёр” на сцене и в каждый момент времени он получает чанк-победитель, чтобы “зачитать”/разослать его всем. Авторы определяют conscious awareness как получение LTM процессорами бродкаста содержимого STM, а не просто появление в STM чанка-победителя. Упорядоченные во времени чанки, рассылаемые из STM в LTM образуют поток сознания.

Со временем часть этих процессоров-LTM может оказаться связана своими собственными линками (Link) и тогда сознательная коммуникация через STM превращается в бессознательную через линки. Такой линк может образоваться, например, между модулями (процессорами) A и B, если A достаточно часто получал от B годный ответ. По этим линкам тоже рассылаются чанки. Этот процесс может дополнительно реэнфорсить и поддерживать conscious awareness.

Input и Output это сенсоры и актуаторы, соединённые с LTM. Они соответственно позволяют получать информацию из среды и воздействовать на неё.

Чанк выглядит интересно, это шестиэлементный кортеж <address, t, gist, weight, intensity, mood>, где address — это адрес LTM, создавшей чанк; t — метка времени; gist — это собственно мультимодальный контент на Brainish; weight — некое число, которое процессор присвоил этому контенту (говорит о том, насколько, по мнению процессора этот gist важен); intensity и mood стартуют в момент времени t со значений |weight| и weight соответственно.

Во время Up Tree competition все LTM отправляют от себя чанки и они продвигаются по дереву вверх с неизменными полями кроме intensity и mood. Эти два поля обновляются, инкорпорируя в себя больше глобальной информации по ходу дела. Процесс выбора победителя в каждом узле вероятностный, вероятности зависят от содержимого чанков через специальную competition function. Она нужна аддитивная и зависит от intensity и mood (и эти две переменные завели ради этого свойства, просто через weight плохо работает, в supplementary есть объяснение).

Во время выбора победителя у прошедшего этап чанка обновляются поля intensity и mood, суммируя значения левой и правой ветви дерева. Mood — это мера “оптимизма”/”счастья” если положительна, и “пессимизма”/”грусти” если отрицательна. Intensity — это уровень “энергии/энтузиазма/уверенности”. За счёт вероятностного алгоритма и аддитивной competition function потенциально любой чанк имеет право на соответствующую его важности долю времени в STM. Я только во всей этой истории не понял, как начальное дерево конструируется, то есть как к листьям дерева привязываются LTM.

Каждый процессор хранит у себя историю чанков, которые он сам сабмитил, которые прилетали из STM, а также по линкам напрямую от других процессоров. Это своеобразная высокоуровневая история того, что он видел и делал. В работе толкают отдельную тему про то, что такие истории и предсказания самих процессоров дают в итоге сны (dreams).

Каждый процессор вообще активно занимается предсказанием, а также получает фидбек из STH, по линкам и от рецепторов. И обучается делать предсказания лучше. Цикл замыкается. Это и есть predictive dynamics, которой не было в GWT.

Отдельные процессоры могут иметь доступ к Гуглу, Википедии, AlphaGo и т.п., то есть вовсю использовать богатые технологии.

Есть отдельная тема под названием Sleeping Experts Algorithms (SEAs), которые работают в каждом LTM и занимаются корректировкой назначения весов (тех самых weight в чанках).

На этом архитектура модели более-менее описана, больше подробностей в статье.

Авторы дальше рассуждают про то, откуда берётся feeling of consciousness. Возникает он благодаря 1) очень богатому языку Brainish (я это понимаю как мультимодальные эмбеддинги, но не сказать, что в статье достаточно конкретики), 2) архитектуре с двумя деревьями, 3) специализированным процессорам, особенно генерирующим модели мира (внешнего и внутреннего), внутренней речи (Inner Speech) и аналогичным для зрения и тактильных ощущений, а также 4) предсказательной динамике. Также добавляются 5) минимальная способность думать (что бы это ни значило) и строить планы, 6) мотивация делать планы и исполнять их.

CTM в целом должна считать себя сознательной в частности потому, что процессор построения модели мира (он является необходимым компонентом) может отличить себя от не себя, то есть пометить части модели как self или not self. Например, если за бродкастом чанка следует действие актуатора, и одна и та же “мысль” стабильно даёт одно и то же действие, то актуатор — это часть себя. (Мне кажется, про эту часть нужно более подробное описание).

Процессор модели мира даёт CTM чувство себя и помогает, например, предсказывать действия себя и не себя, и т.п. И когда в бродкастах CTM обнаруживает, что “думает” про себя, то процессор модели мира помечает “CTM” в своих моделях как сознательную (и рассылает эту информацию всем процессорам). В целом CTM выучивает репрезентацию себя (“CTM” в кавычках) и это похоже на теорию схемы внимания Грациано (https://www.facebook.com/grigory.sapunov/posts/pfbid0faTh2u9t3GmZmgFdSzGE2WVmbHZ71ryYZHD9LpktkckJCNRTGU37p48zHTWj6enZl). Не уверен, что я до конца это прочувствовал, надо попереваривать.

CTM может “переживать” различные феномены, связанные с сознанием. В предыдущей работе (https://www.worldscientific.com/doi/abs/10.1142/S2705078521500028) авторы объяснили чувства боли и удовольствия в CTM. В этой работе они рассматривают три феномена, связанных со зрением: Blindsight, Inattentional Blindness, Change Blindness. А также обсуждают сны и свободу воли.

В общем, отличное чтение на подумать. Было бы интересно собрать какую-нибудь систему по этим принципам.