Google DeepMind выпустили занятную статью, в которой проверили, насколько хорошо Veo 3 понимает мир

Google уже долгое время говорят, что их Veo – это не просто моделька для генерации прикольных видосиков, а (потенциально) полноценная world modeling система, которую хотят использовать для обучения следующего поколения моделей, агентов и роботов.

А еще, возможно, такие модели как Veo сами по себе могут стать следующим шагом в развитии ИИ. Ведь ученые вроде Лекуна очень любят повторять, что именно отсутствие понимания материального мира – основная проблема современных LLM, которая отделяет нас от AGI.

Так вот. В Google решили проверить, насколько уже сейчас текущая версия Veo понимает физику и логику нашего мира. Ее прогнали по большому сету задач, среди которых были: лабиринты, моделирование физики, визуальные задачки на ризонинг, распознавание свойств объектов и тд и тп.

Все задачки и как с ними справилась Veo можно посмотреть тут. Если кратко:

– Модель действительно способна решать широкий набор задач, для которых ее не обучали. Пример: детекция, которой напрямую не было в трейне.

– Veo 3 решает задачи, требующие пошагового визуального мышления (которое авторы называют Chain-of-Frames (CoF), аналог Chain-of-Thought в LLM). Например, на лабиринтах 5 на 5 точность достигает 78% на pass@10. Для такой модельки это прямо неплохо.

– Хорошо понимает физику и может смоделировать сложные штуки типа плавучести, трения, отражений, преломлений и другого.

Вывод такой: подобные модели точно можно рассматривать как альтернативу обучению на тексте. Пока, конечно, их развитие все еще в зачатке. Но кто знает, что будет через год, два или три.

Статья

2. Тот самый вау-конструктор для агентов, о котором мы писали утром – Agent Builder.

Выглядит действительно привлекательно. Помимо автоматического построения воркфлоу (просто берешь и перетаскиваешь готовые блоки) есть еще галерея виджетов, готовый мега-простой механизм тестирования и много предустановленных инструментов вроде MCP и работы с файлами. Эвал и более глубокие настройки (см второй скрин) тоже доступны.

Выглядит все очень прозрачно, человек без опыта (совсем) действительно справится легко. Прикрутили даже Codex: если вам понадобится код того, что вы понастроили, его останется только скопировать.

Доступы уже раздают, проверяйте в своем аккаунте -> platform.openai.com/agent-builder

В польском стартапе Pathway создали новую архитектуру нейросетей – Biological Dragon Hatchling

Идея тут в основном в том, чтобы соединить две линии развития ИИ: всеми любимые трансформеры и модели мозга. Уже доказано, что между мозгом и трансформером есть связь (см эту статью от DeepMind). Тем не менее, до спопобностей нашей черепушки LLMкам пока далеко: не хватает нескольких основных свойств.

В общем, заканчивая лирическое вступление: тут взяли трансформер и решили впаять в него некоторые фичи из мозга. Получилась графовая архитектура, в которой нейроны – это вершины, а синапсы – рёбра с весами. Модель работает как распределённая система из нейронов, которые общаются только с соседями.

С обучением все тоже не как обычно. Наш мозг учится по правилу Хебба: нейроны, которые активируются вместе, укрепляют связь. Тут это реализовано без изменений, то есть если активность нейронов A и B часто совпадает, вес ребра между ними увеличивается, и логическая взаимосвязь становится крепче. Если присмотреться, то похоже на какой-то аналог механизма внимания.

И еще одно. Веса тут разделены на две группы: фиксированные и динамические. Аналог долговременной и кратковременной памяти. Фиксированные веса – это базовые знания, они обновляются только во время обучения и далее не меняются. Динамические веса нам нужны для ризонинга. Каждый шаг рассуждения – это локальное обновление связей.

Немного запутанно, НО авторы сделали тензорную версию (BDH-GPU). Она эквивалентна BDH, но выражена в виде обычных матриц и векторов, так что её можно обучать, как трансформер. По сути там все то же внимание, пару блоков MLP, ReLU и немного специфичные активации. Все знакомо.

Но оказалось, что система с такой архитектурой демонтрирует очень приятные свойства:

1. Интерпретируемость. Каждая пара нейронов (i, j) имеет свой синапс и хранит его состояние, которое можно наблюдать и отслеживать. Плюс, активации моносемантичны. Один нейрон действительно отвечает за одно понятие.

2. BDH может легко объединять две модели с помощью простой конкотенации. Представьте, какой простор для масштабирования.

3. И к слову про масштабирование: BDH показывает те же scaling laws, что и GPT-2, и при одинаковом числе параметров модель достигает схожей точности на ряде задач. Это значит, что основное свойство трансформера сохранено.

Красиво получилось. Если еще выпустят на этой архитектуре что-нибудь осязаемое, цены не будет.

Код | Статья