Neural Cellular Automata for ARC-AGI
Нейронные клеточные автоматы для ARC-AGI
https://www.alphaxiv.org/ru/overview/2506.15746v1

Исследователи изучили возможности и ограничения Neural Cellular Automata (Нейронных Клеточных Автоматов) на корпусе абстрактного мышления и рассуждений (ARC-AGI), бенчмарке для человекоподобного интеллекта.

NCA решили 23 из 172 выполнимых задач ARC, при этом каждая модель, специфичная для задачи, эффективно обучалась за считанные минуты на одном графическом процессоре.

Fast and Simplex: 2-Simplicial Attention in Triton
Быстрый и Симплекс: Двухсимплексное внимание в Тритоне
https://www.alphaxiv.org/ru/overview/2507.02754v1

В данной работе представлена реализация 2-симплексного Трансформера, который расширяет стандартный механизм внимания до трилинейных функций. 2-симплексное внимание включает дополнительный набор "вторичных" ключей для формирования трилинейных взаимодействий. Это позволяет модели рассматривать триплеты токенов, улавливая более сложные зависимости.

Ключевой вклад заключается в демонстрации того, что эта архитектура фундаментально изменяет показатель степени в законе масштабирования.

SingLoRA: Low Rank Adaptation Using a Single Matrix
SingLoRA: Низкоранговая адаптация на основе одной матрицы
https://www.alphaxiv.org/ru/overview/2507.05566v1

SingLoRA предлагает симметричное низкоранговое обновление (AAᵀ) с использованием одной обучаемой матрицы (A) вместо двух, что приводит к более стабильной динамике обучения и превосходной производительности.

Этот подход сокращает количество обучаемых параметров до 50% по сравнению с традиционными вариантами LoRA, при этом достигая более высокой точности на бенчмарках.

Forgetting Transformer: Softmax Attention with a Forget Gate
Забывающий Трансформер: Софтмакс-внимание с вентилем забывания
https://www.alphaxiv.org/overview/2503.02130v2

В механизм внимания softmax трансформера внедрён механизм вентиля забывания, что решает ограничение трансформеров как неспособность избирательно "забывать" или уменьшать вес прошлой информации.

Гейты забывания встраиваются в softmax как треугольная маска D.

𝐎 = softmax(𝐐𝐊ᵀ + 𝐃)V

Antidistillation Sampling
Антидистилляционное сэмплирование
https://www.alphaxiv.org/ru/overview/2504.13146v2

Исследователи разработали Antidistillation Sampling — метод, позволяющий большим языковым моделям генерировать цепочки рассуждений, менее эффективные для дистилляции моделей. Подход значительно ухудшает производительность дистиллированных моделей-учеников (например, точность ученика упала с ~60% до ~25% на GSM8K), сохраняя при этом исходную полезность модели-учителя.

Эффективность метода обусловлена внедрением тонких, но стратегически расположенных артефактов в трассы рассуждений. Эти артефакты, хотя и не оказывают существенного влияния на способность учителя приходить к правильным выводам, мешают процессу обучения ученика во время дистилляции. Примеры включают вставки нерелевантного текста, избыточные объяснения и вводящие в заблуждение промежуточные шаги, которые сбивают с толку распознавание образов в модели ученика, не влияя на получение учителем конечного ответа.

Hierarchy or Heterarchy? A Theory of Long-Range Connections for the Sensorimotor Brain
https://www.alphaxiv.org/ru/overview/2507.05888v1

https://x.com/1000brainsproj/status/1943729883273625761

https://www.youtube.com/watch?v=QIoENhFu2VU

Новая работа от Нументы.

Эта теоретическая работа оспаривает традиционный иерархический взгляд на организацию неокортекса, предлагая, что мозг функционирует как "гетерархия" — система, сочетающая как иерархические, так и неиерархические режимы обработки. Авторы представляют всеобъемлющую концепцию, названную Теорией Тысячи Мозгов (ТТМ), которая переосмысливает функцию дальних связей в мозге, уделяя особое внимание сенсомоторной интеграции и роли таламуса.

Sparse Hash AI

Thousand-Brains Systems: Sensorimotor Intelligence for Rapid, Robust Learning and Inference
Тысячемозговые системы: Сенсомоторный интеллект для быстрого и надёжного обучения и вывода
https://www.alphaxiv.org/ru/overview/2507.04494v1
https://www.youtube.com/watch?v=3d4DmnODLnE

Исследование представляет «Монти» — первую реализацию «системы тысячи мозгов», основанную на теории тысячи мозгов (ТТМ) об интеллекте. В отличие от традиционных подходов ИИ, которые обучаются на статических наборах данных, Монти познает мир через активное сенсомоторное взаимодействие, строя структурированные 3D-модели объектов посредством движения и осязания.

FLEXITOKENS: Flexible Tokenization for Evolving Language Models
ФЛЕКСИТОКЕНЫ: Гибкая токенизация для эволюционирующих языковых моделей
https://www.alphaxiv.org/ru/overview/2507.12720v1
https://github.com/owos/flexitokens

FlexıTokens представляет адаптивную стратегию токенизации для языковых моделей, которая динамически регулирует гранулярность токенизации в зависимости от ввода, что приводит к более высоким коэффициентам сжатия и улучшенной производительности для различных языков и доменов.

Veo 3 image-to-video. Требуется только фото локации и описание сцены.
X

Walker S2 от UBTech

Emergence and Evolution of Interpretable Concepts in Diffusion Models
Появление и Эволюция Интерпретируемых Концепций в Диффузионных Моделях
https://www.alphaxiv.org/overview/2504.15473v1

Эта статья исследует вопросы, как визуальные концепции возникают и развиваются во время генерации изображений.

Ключевой вывод заключается в том, что интерпретируемые концепции изображения формируются на удивление рано в процессе удаления шума (на первом шаге денойзинга), задолго до того, как визуальная связность станет очевидной для наблюдателей, при этом различные аспекты изображения "закрепляются" на разных этапах генерации.

Ранний этап (t=1.0): Устанавливается грубая компоновка объектов и композиция сцены.
Средний этап (t=0.5): Положения и идентичности объектов фиксируются.
Финальный этап (t=0.0): Уточняются мелкие детали и текстуры.

Манипулирование конкретными признаками SAE на разных временных шагах приводит к предсказуемым изменениям в сгенерированных изображениях.

Студеньческая работа.

MagicDog-W

Ещё один танцор. CL‑3