Ужаснитесь скоростью прогресса в сингулярности.

Первые шаги этого андроида всего 7 месяцев назад.

Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls
https://www.alphaxiv.org/ru/overview/2510.00184v1

Метод Implicit Chain-of-Thought (ICoT), неявная цепочка рассуждений, позволил стандартному трансформеру достичь 100% точности при умножении четырёхзначных чисел, ранее точность была менее 1%.

Процедура обучения ICoT предоставляет явные токены цепочки рассуждений, которые показывают промежуточные шаги вычисления. В течение обучения эти явные токены постепенно удаляются. Это отличается от стандартного файнтюнинга, в котором модель видит только пары вход-выход без промежуточных шагов. Это развивает сильные дальние зависимости между токенами цифр.

Модель ICoT реализует умножение посредством сложного механизма «дерева внимания» на своих двух слоях: слой 1 — кэширование частичных произведений, слой 2 — извлечение и агрегация.

Модель разрабатывает сложные геометрические представления для численных вычислений: суммы Минковского для частичных произведений и кодирование на основе Фурье-базиса.

Sparse Hash AI

Vector Symbolic Algebras for the Abstraction and Reasoning Corpus
https://www.alphaxiv.org/overview/2511.08747v1
https://github.com/ijoffe/ARC-VSA-2025

Исследователи для решения ARC-AGI использовали Vector Symbolic Algebras (VSAs).

Sparse Hash AI

Sekiyado testflight 2025/11/08_2
https://www.youtube.com/watch?v=DXUuExL8Cac

Тестовый полёт "летающего крыла" из "Навсикая из долины ветров".

Sparse Hash AI

Pretraining Without Attention
https://www.alphaxiv.org/ru/overview/2212.10544v2
https://github.com/jxiw/BiGS

Работа из 23-го года*. State-Space Model, архитектура (Bidirectional Gated SSM, BiGS) которой без механизма внимания достигает производительности уровня BERT.

Архитектура с гейтированием (GATED / SSM) включает поэлементное умножение между преобразованными входными данными и выходами SSM. Этот механизм гейтирования, вдохновленный Gated Linear Units (GLUs), по-видимому, восстанавливает репрезентативную способность, необходимую для эффективного трансферного обучения.

* Из обратившего на себя моё внимание. Недавно нашумевшая работа Dragon Hatchling повторяет эту архитектуру за исключением того, что использует линейное внимание.

Sparse Hash AI

Eggie от калифорнийской Tangible.

Sparse Hash AI

ACT-1 от Sunday

Sparse Hash AI

Домашних роботов появилось уже немало, НО...

— Робот может написать симфонию почистить и пожарить картошку, разбить яйцо на сковородку и не сжечь омлет? 😄

Пока что таких ещё не завозили. 😐

Полноразмерный T800 от EngineAI. С начала бума/эры андроидов ещё не прошло даже полного года.

Sparse Hash AI

DARPA Challenge 10 лет назад.

Sparse Hash AI

Бегающий Figure

Sparse Hash AI

Мех ARCHAX японской компании Tsubame Industries для тяжелой работы.

9 камер дают пилоту полный обзор на 360°. Система обратной связи передаёт точное усилие захвата. Может работать удалённо, аккумулятора хватает на день, и может самостоятельно добираться до места работы со скоростью 10 км/ч.

Предназначен для поисково-спасательных работ, вывода из эксплуатации ядерных объектов, крупномасштабного сноса.

Sparse Hash AI

On the generalization of language models from in-context learning and finetuning: a controlled study
https://www.alphaxiv.org/ru/overview/2505.00661

Сравнивалось обобщение языковых моделей во время обучения in-context (ICL) vs finetuning. Исследование демонстрирует превосходство ICL над finetuning в обобщении знаний на задачах вроде реверсии фактов и силлогизмов.

В экспериментах ICL достигает ~100% точности на тесте Reversal Curse при размещении всего датасета в контексте.

Sparse Hash AI

CEO EngineAI vs T800

Sparse Hash AI

Convergence for Discrete Parameter Updates
https://www.alphaxiv.org/ru/overview/2512.04051
https://github.com/hellas-ai/neurips2025-convergence-for-discrete-parameter-updates

Существующие подходы к квантованному обучению вычисляют обновления, используя непрерывную (с плавающей запятой) арифметику, а затем дискретизируют эти обновления с помощью функций квантования.

В данной работе предлагается фундаментальное изменение парадигмы путем введения схем дискретного обновления параметров, где правило обновления само по себе изначально является целочисленным, полностью обходя необходимость квантования непрерывных значений.

Обновление основано на мультиномиальном распределении с избытком нулей (Zero-Inflated Multinomial — ZIM).

Результаты показывают, что:

⦁ Дискретные обновления успешно сходятся к решениям, сравнимым со стандартным SGD

⦁ Метод работает «из коробки» с существующими архитектурами

⦁ Наблюдается скромное снижение точности на 0.5-1%, что соответствует теоретическому уровню шума

Sparse Hash AI