Figure 03

❝ Победа? Победу, ты сказал? Магистр, Оби-Ван. Это не победа. Сетями тёмной стороны наш мир окутан. Война клоническая началась. ❞

Sparse Hash AI

Language Models are Injective and Hence Invertible
https://www.alphaxiv.org/ru/overview/2510.15511v3

В статье показывают, что разные промпты всегда отображаются в разные эмбеддинги, и это свойство может быть использовано для восстановления входных токенов из отдельных эмбеддингов в скрытом пространстве.

Также авторы представляют SipIt (Sequential Inverse Prompt via ITerative updates) — алгоритм, который точно восстанавливает входные данные из скрытых состояний за гарантированно линейное время.

Языковые модели структурно lossless (без потерь):
- Скрытые состояния не сжимают и не абстрагируют промпт;
- Любая система, хранящая их, фактически сохраняет сам введённый текст;
- После попадания данных в Transformer их можно восстановить.

тредX

Sparse Hash AI

В Чжучжоу (Китай) пустили первый в мире безрельсовый трамвай. Трамвай может развивать скорость до 70 км/ч и перевозить до 500 пассажиров.

Sparse Hash AI

Еще один стартап по производству гуманоидных роботов, норвежская Physical Robotics, с концепцией андроида — "π robot". )

Миссия новой компании — «создать поколение роботов, живущих в гармонии с людьми в физическом мире, повышая качество человеческой жизни».

Sparse Hash AI

Близняшки из Atomic Heart сильно повлияли на то, какими компании видят андроидов.

Человеческая походка прототипа из представленных планов Xpeng'а.

Sparse Hash AI

Ужаснитесь скоростью прогресса в сингулярности.

Первые шаги этого андроида всего 7 месяцев назад.

Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls
https://www.alphaxiv.org/ru/overview/2510.00184v1

Метод Implicit Chain-of-Thought (ICoT), неявная цепочка рассуждений, позволил стандартному трансформеру достичь 100% точности при умножении четырёхзначных чисел, ранее точность была менее 1%.

Процедура обучения ICoT предоставляет явные токены цепочки рассуждений, которые показывают промежуточные шаги вычисления. В течение обучения эти явные токены постепенно удаляются. Это отличается от стандартного файнтюнинга, в котором модель видит только пары вход-выход без промежуточных шагов. Это развивает сильные дальние зависимости между токенами цифр.

Модель ICoT реализует умножение посредством сложного механизма «дерева внимания» на своих двух слоях: слой 1 — кэширование частичных произведений, слой 2 — извлечение и агрегация.

Модель разрабатывает сложные геометрические представления для численных вычислений: суммы Минковского для частичных произведений и кодирование на основе Фурье-базиса.

Sparse Hash AI

Vector Symbolic Algebras for the Abstraction and Reasoning Corpus
https://www.alphaxiv.org/overview/2511.08747v1
https://github.com/ijoffe/ARC-VSA-2025

Исследователи для решения ARC-AGI использовали Vector Symbolic Algebras (VSAs).

Sparse Hash AI

Sekiyado testflight 2025/11/08_2
https://www.youtube.com/watch?v=DXUuExL8Cac

Тестовый полёт "летающего крыла" из "Навсикая из долины ветров".

Sparse Hash AI

Pretraining Without Attention
https://www.alphaxiv.org/ru/overview/2212.10544v2
https://github.com/jxiw/BiGS

Работа из 23-го года*. State-Space Model, архитектура (Bidirectional Gated SSM, BiGS) которой без механизма внимания достигает производительности уровня BERT.

Архитектура с гейтированием (GATED / SSM) включает поэлементное умножение между преобразованными входными данными и выходами SSM. Этот механизм гейтирования, вдохновленный Gated Linear Units (GLUs), по-видимому, восстанавливает репрезентативную способность, необходимую для эффективного трансферного обучения.

* Из обратившего на себя моё внимание. Недавно нашумевшая работа Dragon Hatchling повторяет эту архитектуру за исключением того, что использует линейное внимание.

Sparse Hash AI

Eggie от калифорнийской Tangible.

Sparse Hash AI

ACT-1 от Sunday

Sparse Hash AI

Домашних роботов появилось уже немало, НО...

— Робот может написать симфонию почистить и пожарить картошку, разбить яйцо на сковородку и не сжечь омлет? 😄

Пока что таких ещё не завозили. 😐