#исследования Несмотря на то что канал совсем не про мейнстрим-подходы, вроде LLM, а скорее наоборот про мысль, что всё это — прекрасные вещи, но вряд ли путь к сильному ИИ; некоторые темы из мира глубокого обучения все же актуальны в разрезе этого вопроса. Таковым стало выступление Михаила Бурцева — «Learning Cellular Automata with Transformers».

Тема клеточных автоматов с ранних лет очаровывала меня. В статье и прикрепленном докладе, пытаясь понять, происходит ли абстрагирование внутри LLM, Михаил использует одномерный клеточный автомат как простейшую модель мира, и обучает трансформер предсказывать следующие состояния.

Казалось бы, что может быть еще проще? Клеточный автомат — это то что можно «рассчитать» с ребенком на салфетке. Автор показывает, что модель в целом справляется с этой задачей неплохо, но никогда не достигает предельной точности, особенно если мы просим прогнозировать ее хотя бы на несколько шагов вперед. А ведь это простейшая и полностью детерминированная бинарная система.

Примерно то же самое проделывает Стивен Вольфрам в своей статье «Can AI Solve Science?». И приходит к следующим выводам:

«Мы видим то, что и ожидали: пока поведение достаточно простое, сеть в большинстве случаев предсказывает правильно. Но когда поведение становится более сложным, модель справляется уже не так хорошо. Она все равно зачастую делает это «примерно правильно» — но не в деталях».

При этом, ни размер архитектуры, ни объем или глубина обучения, принципиально не меняют картину.

#исследования Хорошее дополнение к прошлому посту — выступление Андрея Кузнецова (его канал — @complete_ai) «Можно ли научить модель text-to-video физике?».

Он разбирает статью «How Far is Video Generation from World Model: Physical Law Perspective» от команды Bytedance (китайский холдинг, который владеет TikTok). Ребята сделали также хороший лендинг-эксплейнер для публикации и выложили код.

Исследователи пытаются понять, насколько генеративные модели способны «ухватить» законы физики и качественно их воспроизводить в дальнейшем. Даже передовые модели вроде Sora до сих пор не могут похвастаться этим.

Для этого они написали простейший двумерный симулятор физики. И сгенерировали большую выборку коротких видеороликов, на которых происходят элементарные физические взаимодействия, вроде столкновений, падений и т.д.

Модель ожидаемо демонстрирует самые общие закономерности, но постоянно ошибается, галлюцинирует и показывает полное «непонимание» даже самых простых законов, вроде поступательного движения или постоянства объектов, спонтанно разворачивая катящийся при горизонтальном движении круг в обратном направлении или превращая круг в квадрат и обратно.

Генеративные модели потрясающе себя показали на статичных изображениях, но видео — это переход «zero to one», т.к. у нас появляется компонента времени, то есть проявление причинно-следственных связей, продиктованных законами физики. И для этого модели нужно иметь хотя бы возможность перемещения в среде, если мы говорим о трехмерном пространстве. А это уже сенсомоторное действие, т.к. каждый акт движения изменяет проекцию сцены и понимание положения в пространстве. И далее — взаимодействовать с объектами. Как это делает, к примеру, команда Thousand Brains.

Мы с детства начинаем разбираться в модели мира не потому что «сидим в углу комнаты» и наблюдаем, а через сенсомоторное взаимодействие. Мы понимаем «смысл» веса и инерции через приложение к предметам разных усилий. Каким образом, к примеру, без этого можно понять «по видео» как некий шар соударится с другим при одинаковых размерах, если вы не «попробовали покатать или поднять их»?

#события 13 февраля в 18:30 в рамках лектория Нейрокампуса пройдет первая в сезоне лекция, посвященная нейронаучным итогам прошедшего года.

Научные журналисты, создатели телеграм-канала «Новости нейронаук и нейротехнологий» Алексей Паевский и Анна Хоружая расскажут о самых значимых открытиях в области нейронаук в 2024 году.

Для живого посещения необходимо зарегистрироваться до 13 февраля 12:00 и иметь с собой паспорт. Также будет доступна онлайн-трансляция на VK Видео.

Хорошее #видео «A Surprising Way Your Brain Is Wired» от Артема Кирсанова, про баланс локальных кластеров и глобальных связей в сетях.

Если связать каждый элемент сети со всеми остальными, то, с одной стороны, это удобно и можно в один шаг передать куда угодно информацию. С другой стороны, крайне затратно в количестве соединений или вычислений. Кроме того, бо́льшая часть этих соединений никогда не будет использована. К слову сказать, новорожденный мозг сначала имеет избыток связей, но со временем те что не передают сигналы — редуцируются.

Намного эффективнее соблюдение баланса между кластерами сильно связанных элементов и глобальными связями между этими кластерами.

#события 19 февраля в 19:00 в центре «Архэ» пройдет лекция Константина Анохина «Мозг: итоги 2024 года». Речь в первую очередь пойдет о связи нейронаук и искусственного интеллекта.

«В 2024 году было опубликовано около 550 тыс. статей о мозге и его функциях. После краткого обзора статей на эту тему в ведущих научных журналах группы Nature, Science и Cell разберем подробнее работы, составляющие один из главных трендов 2024 года — мозг и ИИ.

Рассмотрим, какие ранее неизвестные стороны работы мозга раскрывают методы искусственного интеллекта, какие новые понимания принципов работы мозга можно вынести из принципов работы искусственных нейронных сетей, и что нового для создания таких сетей приносят знания о биологическом мозге»

Посетить ее можно будет как вживую, так и в виде онлайн-трансляции. Мероприятие бесплатное, но можно купить билет с благодарностью.

По результатам прошедшей лекции Константина Анохина составил конспект, в котором привел и разобрал все ссылки на упомянутые статьи и технологии. А также привел ссылки на все интерактивные демонстрации.

Длительное время я работал над началом цикла статей по Thousand Brains Project и наконец-то опубликовал первую часть на Хабре, в которой рассказал немного теории, про общие принципы, базовую архитектуру модулей и показал пример архитектуры «в сборке». Обратите внимание на судьбоносный номер, который мне сгенерировал Хабр для статьи — 886868 🤘🏻

Я уже писал на канале про книгу Хокинса «1000 мозгов». И собственно, начало каналу как раз положил анонс запуска проекта Thousand Brains. Поэтому данный цикл статей, помимо глубокого уважения к работе Хокинса, имеет особую важность для меня.

Кроме того, то что они делают — это один из немногих подходов (а может единственный такого уровня), который основан на изучении колонок неокортекса и имеет по-настоящему сенсомоторные и пространственные механизмы в основе.

Не успел я опубликовать статью по Thousand Brains, которая начиналась со слов «несмотря на некоторые успехи VLA-моделей», Google DeepMind анонсировали свою новую VLA-модель Gemini Robotics. Сделал об этом по горячим следам новость на Хабре.

В любом случае, подход VLA-моделей и Thousand Brains не имеют ничего общего. О чем я, собственно, писал в статье выше. Thousand Brains не использует не только языковых моделей, но и самого принципа глубокого обучения.

#книги В эпоху «больших языковых моделей» не лишним иногда спрашивать себя — что такое вообще язык, как он работает, как зародился. На последнюю тему закончил читать как раз великолепную книгу Светланы Бурлак «Происхождение языка».

Автор не только разбирает гипотезы, но и дает целый антропологический экскурс, от археологических находок до особенностей физиологии и того, как осваивают в раннем возрасте язык дети. Но что еще более интересно лично мне, часть книги посвящена исследованиям языка животных. Как существующих между ними сигналам, так и экспериментам, когда животных обучали какой-то форме языка искусственно.

Я и раньше читал про обучение обезьян (обезьянообразных, если быть точнее) языку жестов, но некоторые записи из реальных экспериментов меня поразили. К примеру, жестовый диалог гориллы Коко со своей наставницей (просто оцените):

Коко: ЭТО Я (показывает на птицу)
Воспитатель: РАЗВЕ?
Коко: КОКО ХОРОШАЯ ПТИЧКА
Воспитатель: Я ДУМАЛА ТЫ ГОРИЛЛА
Коко: КОКО ПТИЦА
Воспитатель: ТЫ МОЖЕШЬ ЛЕТАТЬ?
Коко: ДА
Воспитатель: ПОКАЖИ
Коко: ПТИЦА ПОНАРОШКУ ДУРАЧУСЬ (смеется)
Воспитатель: ТАК ТЫ МЕНЯ ДУРАЧИЛА?

Коко смеется.

Воспитатель: А КТО ТЫ НА САМОМ ДЕЛЕ?
Коко (смеется): КОКО ГОРИЛЛА

Книга чрезвычайно содержательная. Каждая страница — это обязательно набор фактов, экспериментов, отсылок, цитат. Много качественной графики — целый ряд схем, иллюстраций, фотографий, спектров сигналов, таблиц и т.д.

Очень рекомендую для прочтения практически всем. И специалистам близким к ИИ для понимания важнейшей (но не первостепенной как в языковых моделях) части интеллекта. И самому широкому кругу читателей.

#лекции В 2019 году мне посчастливилось вживую попасть на экспериментальный курс ВШЭ по «Вычислительной нейробиологии» моих друзей из лабораторий JetBrains. В ковидный год они записали и выложили в свободный доступ этот цикл лекций. С 22 года из-за переезда компании курс больше не ведется, но актуальность материалов, по большому счету, не изменилась.

Для меня в свое время курс был чрезвычайно полезным. И в первую очередь он даже не про «вычислительную» часть, а про базу самой нейробиологии. Поэтому может быть интересен самому широкому кругу слушателей.

Содержание слайдов на английском, но курс читается на русском языке. В плейлисте курса собраны следующие темы:

1. Introduction
2. Biological perspective
3. Neuron physiology and biophysics
4. Neuron models
5. Large-scale electrophysiology
6. Conductances and morphology
7. Neurotransmitters and receptors
8. Neural encoding
9. Plasticity and learning
10. Networks in brain
11. Neural system regulation
12. Neural tissue development
13. Machine learning and neuroscience

#события На предстоящей неделе в центре «Архэ» начнется курс лекций Ольги Сварник «Введение в когнитивную нейронауку». Как минимум часть лекций лично я планирую послушать.

Когнитивная наука — это междисциплинарная область исследований на стыке психологии и нейробиологии (или нейронауки), имеющая много названий, в том числе, в российской традиции, психофизиология. Основная цель этого раздела науки — описание нейронных основ ментальных (психических) процессов человека и других животных и установление соотношений психических и физиологических процессов. В рамках этого курса будут рассмотрены основные принципы функционирования мозга и представлено современное понимание процессов, лежащих в основе нашего поведения, субъективного опыта, когнитивных процессов.

Программа курса:

1. Принципы функционирования мозга (8.04.2025)
2. «Чтение» нейронных групп (15.04.2025)
3. «Чтение» мозга (22.04.2025)
4. Процессы научения в мозге (24.04.2025)
5. Процессы памяти в мозге (6.05.2025)
6. Мозг во сне (13.05.2025)
7. Нейронные основы сознания (20.05.2025)
8. Нарушения функционирования мозга (27.05.2025)

Лекции можно будет посетить как вживую в Москве, так и онлайн. Регистрация и оплата на сайте «Архэ». Не реклама, рекомендую исключительно по тематике канала.

Как мёд для моих ушей 🍯 Наконец кто-то из значимых фигур мира ИИ обозначил реально важную вещь.

В начале месяца вышло отличное интервью Яна Лекуна, в котором он говорит, что эра LLM как инновации закончилась. Всё, что сейчас происходит — это инженерная гонка: больше параметров, больше обучающих данных. Но никакой новой парадигмы, никакого сдвига в понимании интеллекта уже не произойдет.

Он прямо говорит: «такие модели не могут по-настоящему понимать реальный мир». Фундаментальные модели должны опираться на фундаментальные свойства мира. Гравитацию, причинно-следственные связи, постоянство объектов и т.д. Язык лишь поверхностно описывает их. Это скорее иллюзия интеллекта. Китайская комната, которая стала реальностью.

Какие-то альтернативные идеи уже существуют. В академических кругах, в препринтах, в статьях, которые пока никто не читает. То, что сегодня кажется «маргинальным», через несколько лет может стать мейнстримом.

Путь к настоящему сильному ИИ — не в следующем «GPT 6», а в теоретических сдвигах. В попытке понять, как работает разум. И это главный смысл канала — найти, из каких «фотонов» состоит это вечное сияние ✨

В качестве субботнего поста для вдохновения хочу рассказать про конкурс научной микрофотографии Small World, которому в этом году исполняется, на секундочку, 50 лет! Номинация Photomicrography Competition существует с 1975 года. А с 2011 года была добавлена еще номинация Small World in Motion, в которой соревнуются видеоролики, отснятые так же под увеличением микроскопа.

Помимо возможности посмотреть работы по годам в каждой номинации (по ссылкам выше), их можно также отсортировать по технике съемки (а там чего только нет — стереомикроскопия, флуоресценция, оптогенетика, поляризованный свет, разные виды томографии и т.д.).

Но так как нас с вами в первую очередь интересует тема «нервной ткани», есть еще прекрасная сортировка по темам, среди которых можно найти, к примеру:
— Мозг
— Нейрон
— Мозжечок
— Гиппокамп

А также можно найти ретину, клетку Пуркинье (ту самую, что была на обложке книги The Beautiful Brain c рисунками Сантьяго Рамона-и-Кахаля, о которой я рассказывал ранее) и небольшие категории гипоталамуса и коры.

На обложке поста (ниже) ссылка на 48-часовой таймлапс роста нейронов нервной системы эмбриона курицы, занявший 1-е место в 2023 году.

В разрезе упомянутой книги, интересно наблюдать как развивались техники нейровизуализации, от метода Гольджи, который использовал Кахаль, до различных современных методов оптогенетики вроде Brainbow, который, к слову, тоже есть в техниках конкурса.

#исследования Авторы статьи «Neuroplasticity in Artificial Intelligence — An Overview and Inspirations on Drop In & Out Learning» предлагают переосмыслить архитектуру нейросетей, вдохновляясь нейропластичностью мозга.

Современные нейросети, включая LLM, имеют статичную структуру: количество и соединения нейронов фиксированы. Однако в мозге нейроны могут появляться (нейрогенез), погибать (апоптоз) и самое главное — перестраивать связи (нейропластичность).

Авторы предлагают комплексно перенести эти процессы в ИИ, чтобы модели могли динамически адаптироваться к новым задачам и данным.

Dropout — давно известная техника, в рамках которой отдельные нейроны отключаются во время обучения.

Dropin — подход, при котором в сеть вводятся новые нейроны, имитируя нейрогенез. Это позволяет модели расширять свои возможности по мере необходимости.

Таким образом, сеть может не только «забывать» ненужное, но и учиться новому, подобно мозгу. Менять размер своей архитектуры, оптимизируя объем памяти и вычислений.

В статье авторы также проанализировали другие публикации последних лет, в которых использовались сходные принципы.

Upd: Один из подписчиков поделился записью доклада «Нейросети с адаптивно обучаемой архитектурой через выращивание новых синапсов», который он делал на Data Fest 2024.

#исследования Некоторое время назад команда Google Research в коллаборации с другими лабораториями опубликовали в Nature исследование, в котором попытались найти сходства между паттернами активации нейронов в реальном мозге во время восприятия и производства речи и внутренними представлениями (эмбеддингами) трансформерной модели, распознающей речь (speech-to-text).

Несмотря на то что мозг и трансформерная модель имеют совершенно разную природу, исследователи обнаружили удивительно стойкую корреляцию. Кроме того, в дальнейшем это позволило предсказывать активность мозга по получаемым эмбеддингам.

✨ Когда человек воспринимает речь, сначала активируются слуховые области коры (например, верхняя височная извилина), и эта активность хорошо предсказывается акустическими эмбеддингами (speech embeddings) модели.

Когда начинается осмысление сказанного, активируются языковые области, такие как область Брока, активность которых хорошо предсказывается языковым эмбеддингами (language embeddings).

✨ При намерении произнести какую-то фразу, наоборот, сначала наблюдается активность в области Брока, которую можно так же предсказать по языковым эмбеддингам.

Затем активируется моторная кора, которая отвечает за подготовку артикуляции — хорошо прогнозируемая акустическими эмбеддингами модели.

Наконец, после произнесения слова, активируются слуховые области, когда человек слышит собственную речь — и это снова соответствует акустическим эмбеддингам.

В блоге Google Research есть хорошие анимации, наглядно объясняющие всю последовательность.

ㅤ
#лекции Посмотрел с удовольствием на днях лекцию Артема Яшина «Нужна ли философия наукам о мозге и разуме?».

Одной из характерных черт наук о мозге и разуме является использование ментальных терминов, восходящих к обыденному языку. Последние десятилетия показали, что сопоставление этих терминов с физиологическими механизмами и формулирование научных теорий на их основе представляет собой серьезную трудность.

Многие философы утверждают, что без прояснения таких понятий эмпирических данных недостаточно для ответа на фундаментальные вопросы о природе разума и сознания.

В лекции рассмотрены основные примеры взаимодействия философии и нейрокогнитивных наук. Приведены ссылки на важнейшие работы, с середины прошлого века до самых свежих публикаций 2024 года.
ㅤ

Некоторое время назад на канале Артема Кирсанова (которого я люблю за наглядные анимации) вышел хороший эксплейнер по Thousand Brains Theory (TBT). Ни много ни мало, я считаю TBT одним из важных пазлов к большой теории интеллекта. В общем то, ролик так и называется — A Fundamental Unit Of Intelligence. Видео на английском, но если сложно воспринимать на слух, на Ютубе есть прекрасная функция перевода субтитров.

Автор в анимированном формате разбирает базу теории:
— Колончатую организацию неокортекса
— Предиктивную модель мира
— Основные сенсомоторные механизмы
— Эволюционные предпосылки
— Послойную структуру колонки неокортекса
— Механизм «голосования» колонок

Ранее я уже писал на канале про книгу Хокинса «1000 мозгов» («A Thousand Brains» в оригинале). А также публиковал на Хабре первую часть перевода про Thousand Brains Project (программный ИИ-фреймворк на основе теории).

У меня в процессе изучения сейчас еще свежая статья от команды Thousand Brains Project. Поделюсь чуть позже разбором содержания.

Несколько дней назад Сергей Марков отметил, что мы незаметно подошли к большой годовщине — 70 лет назад официально появилось словосочетание «искусственный интеллект».

31 августа 1955 года четыре пионера будущей индустрии подготовили исследовательское предложение, где впервые был предложен термин.

Документ предлагал 10 ведущим специалистам собраться через год в Дартмутском колледже (Гановер, штат Нью-Гэмпшир) и в течение 2 месяцев обсудить ключевые вопросы зарождающейся области.

Каждый из четырех авторов документа (Клод Шеннон, Марвин Минский, Нэйтан Рочестер и Джон Маккарти) раскрывали свои темы для исследования.

В проспекте был посчитан даже точный бюджет проекта. Финансирование запрашивали (и в итоге получили) у фонда Рокфеллера, который поддерживал в то время многие научные инициативы.

Так, летом 1956 года состоялся исторический «Дартмутский семинар» (или «Дартмутская конференция»). Несмотря на то что про ИИ до этого размышляли уже многие великие умы (Тьюринг, фон Нейман, Маккаллок, Питтс, Винер и др.), именно от событий этого лета принято отсчитывать рождение ИИ как научной дисциплины.

Стал ли сегодня ИИ тем, о чем они мечтали тем летом? И да, и нет. С одной стороны, машины довольно быстро научились хорошо играть в шахматы, переводить тексты и решать логические задачи. Какие-то конкретные подходы получили развитие, другие заняли в лучшем случае узкие ниши. Но главное — пионеры ИИ сильно переоценивали скорость прогресса. С бурным развитием вычислительной техники казалось, что буквально в течение 10-20 лет мир увидит полноценный машинный разум (то что мы сегодня называем AGI), но в реальности задача оказалась намного сложнее.

Сложность эта во многом и сейчас упирается в формулировании самой идеи — а что именно мы подразумеваем под интеллектом? Если мы стремимся к «человеческому», а потом «сверхчеловеческому» уровню интеллекта, то как он устроен? У нас до сих пор нет единой теории интеллекта, нет системного понимания мозга. Нет даже намеков на полноценную теорию сознания (то что философы называют феноменальным сознанием).

В разрезе темы канала также важно отметить, что ученые-основатели большие надежды возлагали на биологическое подобие. Но по большому счету, сходство застыло на идеях искусственного нейрона Маккаллока и Питтса и сверточных нейросетей Фукусимы и ЛеКуна.

В прошлый раз я писал про Дартмутскую конференцию. Сегодня я хочу рассказать об одном из тех четырех «зачинщиков» — Клоде Шенноне. Несколько лет назад мне довелось прочесть прекрасную биографическую книгу «Игра разума» (в английском оригинале — «A Mind at Play»).

Его имя мало известно в широких кругах (что далеко ходить, редкий спец «информационных технологий» вспомнит), хотя именно ему мы обязаны теорией информации и вообще основой всей цифровой электроники.

Во времена, когда Шеннон начинал свою научную карьеру (а начал он в 21 год с магистерской диссертации, которая как раз и определила теоретическую основу современной электроники), многие задачи проектирования электрических цепей решались интуитивно, методом проб и ошибок, без какой-то системной теории.

Почти за век до этого Джордж Буль в своем «Исследовании законов мышления» описал основы двоичной логики, которые мы сегодня называем булевой алгеброй. Но длительное время она оставалась абстрактной математической концепцией. Шеннон осознал параллель с релейными переключателями и показал, что логику поведения электрической схемы можно проектировать в виде серии двоичных операций. Так, в 1937 году он защитил одну из самых влиятельных диссертаций века.

Спустя 11 лет (за которые он написал докторскую по генетике и ряд работ по связи и криптографии), работая в компании Bell Labs, в 1938 году Шеннон опубликовал еще одну выдающуюся работу, предопределившую технологический мир и теорию информации — A Mathematical Theory of Communication. Как и в случае с проектированием электрических цепей, в мире не было единого понимания, что такое вообще информация, как ее измерять. Именно Шеннон осознал, что для понимания сущности информации, как это ни странно, нужно абстрагироваться от ее содержания. Что любая информация (будь то голос, текстовый файл или изображение) может быть представлена минимальной единицей измерения — битом.

Шеннон был также косвенно одним из первопроходцев ИИ. Не только потому что разрабатывал теоретическую основу вычислительных машин или участвовал в Дартмутском семинаре. Он очень любил изобретать и воплощать все что приходило в голову, и дома у него была целая мастерская для подобных проектов. Одной из его разработок была электрическая мышь «Тесей», которая самостоятельно изучала металлический лабиринт и находила выход (ее можно увидеть в небольшом фильме Bell Labs). А также электромеханическая шахматная доска, которая могла принимать решения в некоторых упрощенных ситуациях.

В каком-то смысле Шеннон минимум дважды сделал то, чего сейчас так не хватает в области ИИ. Сегодняшние модели напоминают во многом те самые электрические схемы, которые создавали в большей степени опытным путем, чем через системное понимание. Так же как до теории информации, мы не очень понимаем, что такое информация интеллект.

Перед публикацией пересмотрел единственную полноценную документалку о Шенноне — The Bit Player (2018). В русском переводе обычно — «Жонглер битами и байтами». И это не метафора, т.к. он действительно обожал жонглировать. И это было не просто хобби, а скорее часть его характера «играющего» ученого. Многие вещи, которые он делал, просто доставляли удовольствие. Это зачастую была именно игра, азарт, нежели «великое озарение».

В одном из прошлых постов, посвященных Thousand Brains Theory, я обещал разобрать препринт свежей статьи команды Хокинса — «Hierarchy or Heterarchy? A Theory of Long-Range Connections for the Sensorimotor Brain».

Традиционно считается, что области неокортекса имеют иерархические связи. Этого же мнения придерживался и сам Хокинс в первые годы своих исследований, развивая идею иерархической временно́й памяти (англ. сокр. — HTM). В ряде областей связи во многом организованы именно таким способом. Хороший тому пример — зрительные и слуховые зоны.

Авторы статьи утверждают, что критическую роль в обработке образов и построения модели мира, играют также неиерархические (или гетерархические) связи, которые реализованы в первую очередь длинными аксонами, связывающими как области одной модальности, так и разных. Отсюда, собственно, и происходит название статьи.

Команда проекта пытается проанализировать связи не только внутри одной кортикальной колонки, но и понять, как устроены связи между колонками соседних и отдаленных областей. Колонки кортекса рассматриваются теорией Thousand Brains как универсальный сенсо-моторный модуль, каждый из которых строит свой набор моделей мира из доступных ему данных.

В традиционном иерархическом подходе, к примеру, если мы видим собаку, то нижние уровни иерархии обрабатывают простые геометрические элементы, вроде линий, расположенных под разным углом. Следующий уровень, условно, строит из них глаз или нос. На очередном уровне целые части тела. И так до полного образа животного.

В теории Thousand Brains какие-то массивы колонок могут обрабатывать информацию именно так. Но одновременно с этим, другой массив колонок или даже отдельная колонка может в один момент времени воспринимать животное целиком, потом глаз собаки, затем хвост и так далее. И из процесса голосования колонок (который является важной частью теории) складывается в итоге цельный стабильный образ.

Сенсомоторная модель предполагает, что получение информации не статично, а связано почти всегда с движением. К примеру, даже остановившийся по субъективным ощущениям взгляд на один и тот же предмет состоит из постоянных саккад. Именно так, в постоянной связке с тем, куда именно передвинулся сенсор, и составляется модель объекта. Об этом я подробнее писал на Хабре про Thousand Brains Project (техническая реализация теории).

Отдельное внимание в публикации уделяется попытке понять роль таламуса, через который проходят практически все сенсорные потоки неокортекса. Команда проекта предполагает, что одна из функций, которую выполняет таламус — это преобразование системы координат. Ведь данные, условно, от отдельного пальца поступают в «координатах пальца» — какое движение он совершил и какие ощущения на своей поверхности получил. А вот колонка должна строить универсальную модель в системе координат самой модели, а не отдельного сенсора. Именно это преобразование и происходит, по мнению авторов, в таламусе.

На сайте проекта в дополнение к статье есть небольшая заметка в блоге, в которой можно увидеть, в том числе, некоторые схемы связей и пример с восприятием собаки.