Vector Symbolic Algebras for the Abstraction and Reasoning Corpus
https://www.alphaxiv.org/overview/2511.08747v1
https://github.com/ijoffe/ARC-VSA-2025

Исследователи для решения ARC-AGI использовали Vector Symbolic Algebras (VSAs).

Sparse Hash AI

Sekiyado testflight 2025/11/08_2
https://www.youtube.com/watch?v=DXUuExL8Cac

Тестовый полёт "летающего крыла" из "Навсикая из долины ветров".

Sparse Hash AI

Pretraining Without Attention
https://www.alphaxiv.org/ru/overview/2212.10544v2
https://github.com/jxiw/BiGS

Работа из 23-го года*. State-Space Model, архитектура (Bidirectional Gated SSM, BiGS) которой без механизма внимания достигает производительности уровня BERT.

Архитектура с гейтированием (GATED / SSM) включает поэлементное умножение между преобразованными входными данными и выходами SSM. Этот механизм гейтирования, вдохновленный Gated Linear Units (GLUs), по-видимому, восстанавливает репрезентативную способность, необходимую для эффективного трансферного обучения.

* Из обратившего на себя моё внимание. Недавно нашумевшая работа Dragon Hatchling повторяет эту архитектуру за исключением того, что использует линейное внимание.

Sparse Hash AI

Eggie от калифорнийской Tangible.

Sparse Hash AI

ACT-1 от Sunday

Sparse Hash AI

Домашних роботов появилось уже немало, НО...

— Робот может написать симфонию почистить и пожарить картошку, разбить яйцо на сковородку и не сжечь омлет? 😄

Пока что таких ещё не завозили. 😐

Полноразмерный T800 от EngineAI. С начала бума/эры андроидов ещё не прошло даже полного года.

Sparse Hash AI

DARPA Challenge 10 лет назад.

Sparse Hash AI

Бегающий Figure

Sparse Hash AI

Мех ARCHAX японской компании Tsubame Industries для тяжелой работы.

9 камер дают пилоту полный обзор на 360°. Система обратной связи передаёт точное усилие захвата. Может работать удалённо, аккумулятора хватает на день, и может самостоятельно добираться до места работы со скоростью 10 км/ч.

Предназначен для поисково-спасательных работ, вывода из эксплуатации ядерных объектов, крупномасштабного сноса.

Sparse Hash AI

On the generalization of language models from in-context learning and finetuning: a controlled study
https://www.alphaxiv.org/ru/overview/2505.00661

Сравнивалось обобщение языковых моделей во время обучения in-context (ICL) vs finetuning. Исследование демонстрирует превосходство ICL над finetuning в обобщении знаний на задачах вроде реверсии фактов и силлогизмов.

В экспериментах ICL достигает ~100% точности на тесте Reversal Curse при размещении всего датасета в контексте.

Sparse Hash AI

CEO EngineAI vs T800

Sparse Hash AI

Convergence for Discrete Parameter Updates
https://www.alphaxiv.org/ru/overview/2512.04051
https://github.com/hellas-ai/neurips2025-convergence-for-discrete-parameter-updates

Существующие подходы к квантованному обучению вычисляют обновления, используя непрерывную (с плавающей запятой) арифметику, а затем дискретизируют эти обновления с помощью функций квантования.

В данной работе предлагается фундаментальное изменение парадигмы путем введения схем дискретного обновления параметров, где правило обновления само по себе изначально является целочисленным, полностью обходя необходимость квантования непрерывных значений.

Обновление основано на мультиномиальном распределении с избытком нулей (Zero-Inflated Multinomial — ZIM).

Результаты показывают, что:

⦁ Дискретные обновления успешно сходятся к решениям, сравнимым со стандартным SGD

⦁ Метод работает «из коробки» с существующими архитектурами

⦁ Наблюдается скромное снижение точности на 0.5-1%, что соответствует теоретическому уровню шума

Sparse Hash AI

The Universal Weight Subspace Hypothesis
https://www.alphaxiv.org/ru/overview/2512.05117

В данной работе представлена гипотеза универсального весового подпространства, эмпирически демонстрирующая, что глубокие нейронные сети, обученные для выполнения различных задач и с использованием различных модальностей, сходятся к общим низкоразмерным параметрическим подпространствам. Это схождение позволяет значительно экономить память, например, до 100 раз для Vision Transformers и моделей LLaMA, и в 19 раз для адаптеров LoRA.

Гипотеза утверждает, что глубокие нейронные сети, независимо от их задач обучения, схем инициализации или конфигураций гиперпараметров, систематически сходятся к общим, низкоразмерным параметрическим подпространствам. Эта «Гипотеза универсального весового подпространства» предполагает, что кажущееся высокоразмерное пространство параметров нейронных сетей по большей части иллюзорно — значимая информация находится в гораздо меньшем, специфичном для архитектуры подпространстве.

Sparse Hash AI