Представьте себе вес каждого слоя как огромную таблицу, которая умножает входные данные на выходные.

Примените к этой таблице стандартный математический инструмент, называемый сингулярным разложением, и получите список положительных чисел, называемых сингулярными числами. Каждое из них показывает, насколько сильно слой растягивает сигнал вдоль определённого направления во входном пространстве. Большие значения показывают направления, которые усиливаются, маленькие — направления, которые сжимаются.

Выстроив эти сингулярные значения в ряд от большего к меньшему, вы увидите фигуру. Во многих хорошо обученных сетях хвост этой фигуры плавно спадает, следуя степенному закону, что означает, что «значение k примерно равно константе, делённой на k, возведённое в степень Alpha». Наклон Alpha — это то, за чем следит статья. Когда Alpha близка к 2, слой сохраняет реальный сигнал и подавляет шум. Более плоский хвост, Alpha ниже 2, означает, что слой цепляется за слишком много мелких направлений и начинает запоминать. Более крутой хвост, Alpha выше 2, означает, что он отбрасывает полезные детали и недообучается.

X

The wall confronting large language models
Стена, противостоящая большим языковым моделям
https://www.alphaxiv.org/ru/overview/2507.19703v2

Авторы утверждают, что LLM сталкиваются с фундаментальными ограничениями, которые невозможно преодолеть за счет простого масштабирования, представляя то, что они называют «стеной», препятствующей дальнейшему значительному прогрессу.

LLM показывают удивительно низкие экспоненты масштабирования (приблизительно от 0.05 до 0.095), что означает, что для десятикратного уменьшения ошибки требуется в 10^10 раз больше вычислений и в 10^20 раз больше электроэнергии. Это значительно менее эффективно, чем методы Монте-Карло, которые требуют всего в 100 раз больше ресурсов для десятикратного уменьшения ошибки.

Ключевое понимание связано с ролью нелинейных функций активации в трансформерах. Эти функции по своей природе преобразуют гауссовы входные распределения в негауссовы выходные.

Это преобразование приводит к тому, что они называют «устойчивостью неопределенности» (Resilience of Uncertainty, RoU) — явлению, при котором неопределенность в негауссовых распределениях затухает гораздо медленнее, чем в гауссовых. Парадокс заключается в том, что та же самая негауссовость, которая позволяет LLM изучать сложные паттерны, также делает их уязвимыми к накоплению ошибок.

В любом большом наборе данных ложные (случайные) корреляции значительно превосходят по количеству осмысленные, и это соотношение растет экспоненциально с размером набора данных, независимо от природы данных. В статье вводится концепция «Дегенеративного ИИ» (DAI), описывающая причинно-следственную цепь, где малые показатели масштабирования приводят к негауссовым флуктуациям, которые, в свою очередь, создают устойчивость неопределенности и в конечном итоге приводят к «информационным катастрофам», когда LLM с трудом различают подлинные паттерны и эти ложные корреляции.

Figure 02 автономно стирает белье в доме генерального директора Бретта Эдкока.

Интересно, через сколько лет эта генерация станет реальностью (про андроида, не Марс).

NOETIX's N2.

куда они столько клепают этих коротышек 👀

Unitree A2 Stellar Hunter

Китайский гигант "электричек" BYD только что запустил «Lingyuan» — систему запуска дронов, устанавливаемую на крышу ("домик для дрона"). 😎

Одним нажатием кнопки крыша открывается, платформа поднимается, и дрон DJI взлетает, даже во время движения автомобиля.

Он может запускаться на скорости до 25 км/ч, следовать за автомобилем со скоростью 54 км/ч и автономно возвращаться с расстояния до 2 км. Дрон устанавливается в отсек на крыше автомобиля, где автоматически подзаряжается.

Полный пакет стоит около 16 000 иен (~2 200 долларов США) и включает в себя дрон, пусковую установку и сопутствующие приложения, в том числе инструменты для редактирования видео и распознавания на базе искусственного интеллекта, которые могут делать фотографии вокруг автомобиля.

Cosine Local Learning Rule (CLLR)
https://gist.github.com/T-igra/3e875175ea9165e03931c0f8d349f7f4

Локальное правило обучения весовой матрицы слоя без градиента и явного вычисления ошибки рассогласования предсказания с требуемым выходом.

Выкладываю свой метод обучения линейного слоя с функцией активации sin. Открыл его где-то пару лет назад, теоретическую базу за это время подвести не удалось, публикую как есть.

Зарядная станция Zipline для дронов доставки.

SAO2 от ENGINEAI

Energy-Based Transformers are Scalable Learners and Thinkers
https://www.alphaxiv.org/ru/overview/2507.02092v1

Трансформер Франкенштейна

С трансформера снимается голова и на её место ставится линейный слой с выходом в виде скаляра - линейная проекция (LP). Сама голова, усушенная до размера эмбеддинга токена, - "мост" - пришивается на вход к месту последнего токена. Весами моста является матрица эмбеддингов, что и для контекста. Таким образом на вход трансформера подаётся контекст и вектор логитов, сжатый в эмбеддинг.

Обучение специфическое, работает через динамический вычислительный граф.

Вначале вектор логитов инициализируется случайным образом - так называемый кандидат в предсказания. Случайные логиты и контекст подаются в трансформер. Делается прямой проход, и трансформер выдаёт число - условную энергию.

Обратным распространением ошибки от энергии обновляем логиты. Обновлённые логиты и контекст снова подаются в трансформер. Делается новый проход и апдейт логитов. Такие итерации производятся 2-3 раза, спуская кандидата в энергетическую яму.

Все эти операции запоминаются в вычислительном графе. Поэтому, даже с логитами на входе можно "развернуть" всю эту цепочку графа и обновить веса трансформера. Для этого вычисляется функция потерь (Cross-Entropy Loss) между финальным вектором логитов и правильным ответом, и эта ошибка распространяется обратно через всю модель, включая все шаги оптимизации, обновляя веса трансформера и линейного проектора.

Инференс. Логиты также инициализируются случайно и обновляются градиентным спуском от энергии. При этом можно делать разное число шагов оптимизации, пока энергия на выходе трансформера не упадёт достаточно. Предсказание следующего токена берётся из логитов.

A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models
Обзор параллельной генерации текста: от параллельного декодирования до диффузионных языковых моделей
https://www.alphaxiv.org/ru/overview/2508.08712v2