Месяц назад я делал доклад на Datafest Yerevan про NLP в 2023.

Видео пока ещё не готово, но слайды тут:

https://docs.google.com/presentation/d/1gpJI83p_FYvQt7Qog7B4zGf2fUYNq_m-PndPe2syXe0/edit

Лекун расшарил ссылку на статью "Decoding speech perception from non-invasive brain recordings", наверное пойдёт хайп.

Но вот у Сергея Шишкина она уже разобрана давно, со времён препринта.

Вышла статья группы Жана-Реми Кинга (Meta AI*) о неинвазивном декодировании речи

Использовались большие открытые датасеты МЭГ и ЭЭГ, записанные при прослушивании аудиокниг -- на них обучали "мозговой модуль". Кроме того, был использован ранее самообучившиийся на еще большем объеме сугубо языковых данных "речевой модуль" wav2vec 2.0 -- из него брались контекстные языковые репрезентации.

here we propose to decode speech from non-invasive brain recordings by using (1) a single architecture trained across a large cohort of participants and (2) deep representations of speech learned with self-supervised learning on a large quantity of speech data

Alexandre Défossez, Charlotte Caucheteux, Jérémy Rapin, Ori Kabeli, Jean-Rémi King. Decoding speech perception from non-invasive brain recordings. Nature Machine Intelligence, 5 October 2023 https://doi.org/10.1038/s42256-023-00714-5 (Open Access)

Код: https://github.com/facebookresearch/brainmagick

Препринт был опубликован больше года назад, мы тогда о нем писали, и далее посвятили ему еще несколько постов (большинство ссылок на них собрано тут). Напомним, это никакое не "чтение мыслей", а весьма неточное гадание о том, что человек слушал в тот момент, когда у него регистрировали МЭГ (или ЭЭГ, но с нею получалось, разумеется, еще хуже). Но, понятное дело, наш канал далеко не все читают, так что сейчас пойдет очередная волна фанфар, рукоплесканий и рассуждений о замечательном открытии и вскоре предстоящем нам всем чтении наших мыслей (вот уже тут написали в таком духе). Поэтому еще раз напоминаем о недавно вышедшем в издании ТрВ — наука весьма качественном и написанном понятным языком разборе этого семейства исследований, которое, надеюсь, поможет вам понять, почему угадывание прослушиваемого и просматриваемого к "чтению мыслей" имеет очень мало отношения, если вы все еще это не поняли.

* Meta в РФ забанена и признана экстремистской (и, возможно, уже скоро посты о ее исследованиях больше нельзя будет публиковать в РФ, в связи с готовящимися очередными новациями в законодательстве...)

Интересный поворот

Discussions of AI chip strategies within the company have been ongoing since at least last year, according to Reuters, as the shortage of chips to train AI models worsens. OpenAI is reportedly considering a number of strategies to advance its chip ambitions, including acquiring an AI chip manufacturer or mounting an effort to design chips internally.

https://techcrunch.com/2023/10/06/openai-said-to-be-considering-developing-its-own-ai-chips/

Не про AI, но не менее важно

https://dublinlongevitydeclaration.org/#sign

Borges and AI
Léon Bottou, Bernhard Schölkopf
Статья: https://arxiv.org/abs/2310.01425
Код: https://www.penguin.co.uk/authors/181249/jorge-luis-borges

Формат выходного дня.

Работа для любителей Борхеса и AI (для меня бинго). Название работы -- аллюзия на Борхесовский рассказ о Борхесе, “Борхес и я” (“Borges and I”).

Современное понимание LLM (и шире AI) выстраивается через призму картинок, популяризируемых научной фантастикой. Ну вот это всё: обретёт ли машина сознание, восстанет ли, случится ли скрепочный апокалипсис. Но сперва стоит спросить, является ли эта картинка хорошим описанием имеющегося феномена? Авторы работы выступают за понимание LLM через призму Хорхе Луиса Борхеса и выводят отсюда новую перспективу, высвечивающую отношения между языковым моделированием и искусственным интеллектом.

Представьте бесконечную коллекцию всех возможных правдоподобных (plausible, that a human could read and at least superficially comprehend) текстов, произведённых людьми. Она может включать книги, диалоги, статьи, молитвы, веб-страницы, компьютерные программы, в любой форме и на любом языке. Теперь представьте длинную бумажную ленту с несколькими начальными словами текста. Аппарат (“Машина Борхеса”?) сканирует ленту, находит в бесконечной коллекции какое-то вхождение этого текста (рандомное, одно из), выбирает оттуда слово-продолжение, и печатает его на ленте после предшествующих слов. Далее процесс повторяется, добавляя и добавляя слова на ленту. В каждый момент последовательность напечатанных слов на ленте также может быть найдена где-то в этой бесконечной коллекции, и образует одно из правдоподобных продолжений изначального набора слов. Авторы называют это совершенной языковой моделью (perfect language model).

Такую модель легко сконвертировать в чат-бота, введя специальное ключевое слово, аналог кнопки “Send” в мессенджере, передающее ход от модели к человеку и наоборот.

Как в “Саду расходящихся тропок” (“El jardín de senderos que se bifurcan”) каждый добавленный текст ограничивает историю, персонажей, их роли и идеи, будущее, но в то же время выступает стартовой точкой для бесконечной последовательности разветвлений.

Написать такую книгу нереально, но можно её представить аналогично тому, как мы представляем число π, не пиша всех его знаков. Может ли компьютер предоставить аппроксимацию бесконечного сада всех возможных текстов аналогичным образом?

Коллекции присуща внутренняя структура. Каждый текст может быть трансформирован в другой текст множеством способов. Одна из самых простых трансформаций -- замена слова; среди более продвинутых будут изменение времени, тона текста, переименование персонажей, переписывание текста от имени другого персонажа и т.д.

Лингвист Зеллиг Харрис (https://zelligharris.org/) считал, что все предложения на английском могут быть сгенерированы из небольшого числа базовых форм применением последовательности чётко определённых трансформаций. Обучение LLM’ки может быть понято как анализ большого корпуса текста и обнаружение этих трансформаций и базовых форм. Забавно, что первая реально успешная в этой нейросеть была названа “трансформером”. Возможно, будут найдены новые методы обучения, лучше аппроксимирующие совершенную языковую модель.

Машина ограничена тем, что уже напечатано на ленте. Машина может продолжать текст заимствуя факты из обучающих данных (не обязательно истинные) и генерируя подходящие выдумки (не обязательно ложные). То, что принято называть галлюцинациями, лучше называть конфабуляциями (https://www.beren.io/2023-03-19-LLMs-confabulate-not-hallucinate/).

То есть совершенная языковая модель -- это машина, пишущая беллетристику (fiction machine) и из этого и надо исходить в попытках понять, как это на нас влияет. И истории Борхеса могут в этом помочь.

В “Вавилонской библиотеке” (The Library of Babel) содержатся все возможные книги с 410 страницами и с алфавитом в 25 символов, потенциально содержащие все созданные (и не созданные) человечеством тексты, включая и огромную массу фигни.

“the detailed history of the future, the autobiographies of the archangels, the faithful catalogue of the Library, thousands and thousands of false catalogues, the proof of the falsity of those false catalogues, the proof of the falsity of the true catalogue, the gnostic gospel of Basilides, the commentary upon that gospel, the commentary on the commentary on that gospel, the true story of your death, the translation of every book into every language” (русский перевод)

Это всё похоже на выдачу языковых моделей. Совершенная языковая модель даёт нам возможность навигации по Библиотеке, подавая в модель начальные слова текста. Но никак нельзя отличить ложь от истины, полезное от вводящего в заблуждение, верное от неверного. Библиотекари тщетно пытались это делать.

Это иллюзия, считать LLM настоящим ИИ с энциклопедическими знаниями и безупречной логикой вместо машин для генерации выдумки. Ни истина, ни намерение не важны для работы такой машины, только требования нарратива.

В рассказе кроме библиотекарей упоминаются очистители, уничтожавшие бессмысленные книги. Это похоже на попытки ограничить выдачу LLM, не дать ей сгенерировать вредные идеи, или что-то нерелевантное. Сейчас предпринимается множество таких попыток через промпты, файнтюнинг или RLHF. Но многое всё равно обходится созданием более изощрённой истории (привет, jailbreak). Более эффективные методы “alignment” могут потребовать постоянного мониторинга моделей и направления их вывода в нужное русло.

Но,

Far worse than a privacy invasion, in a future where almost everyone uses language models to enrich their thinking, a power over what language models write becomes a power over what we think. Can such a formidable power exist without being misused?

Многие опасаются этих fiction machines как всеведущего интеллекта, который может пережить нас. Однако более тёмным искушением может быть желание “сдать” все наши мысли этой современной Пифии, манипулируемой другими.

If we persistently mistake the fiction machine for an artificial intelligence that can spare us the burden of thinking, the endless chatter of the language models will make us as insane as the struggling Librarians.

Эти fiction machines с их историями могут и обогатить наши жизни, помочь переосмыслить прошлое, понять настоящее, уловить будущее. Нам могут понадобиться более приземлённые верификационные машины (verification machines) для проверки создаваемых историй относительно холодной реальности. Будут это отдельные машины, какой-то совмещённый вариант, или же техники выравнивания смогут преобразовать одни в другие -- открытый вопрос.

The invention of a machine that can not only write stories but also all their variations is thus a significant milestone in human history. It has been likened to the invention of the printing press. A more apt comparison might be what emerged to shape mankind long before printing or writing, before even the cave paintings: the art of storytelling.

Вот и всё. Вряд ли получившийся текст является точным пересказом статьи, скорее это моё продолжение заданного нарратива. Так что, возможно, оригинальную статью тоже стоит прочитать.

Ну и до кучи вам реализацию Вавилонской библиотеки в Интернете:
https://libraryofbabel.info/

И рассказ про создание этого проекта:
https://electricliterature.com/putting-borges-infinite-library-on-the-internet/

Свежий Хинтон.

В принципе наверное ничего нового для тех, кто смотрел предыдущие видео с ним в последние полгода.

Но зато кратко за 13 минут его основные мысли.

https://www.cbsnews.com/news/geoffrey-hinton-ai-dangers-60-minutes-trannoscript/

Питер Норвиг, соавтор классического учебника по AI, соавтор первого MOOC (который тоже был про AI) и вообще значимый человек ещё лет десять назад, которого я уже давно не слышал, вместе с вице-президентом Google Research написали статью про то, что AGI уже здесь.

Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer.

https://www.noemamag.com/artificial-general-intelligence-is-already-here

TWIMC

Nathan and his team just published their fresh annual report on the state of AI

https://www.stateof.ai/