Студеньческая работа.

MagicDog-W

Ещё один танцор. CL‑3

Как self-attention кодирует граф
https://gist.github.com/T-igra/92b6af2dd7c7bfb6f97ac5466b80202f

Оформил в виде небольшой статьи с примерами собственные взгляды на связь self-attention с графом.

продолжение про граф и attention

Self-attention и триплет
https://gist.github.com/T-igra/d295b1109c910101474b2845b24e3cc7

SETOL: A Semi-Empirical Theory of (Deep) Learning
SETOL: Полуэмпирическая теория (глубокого) обучения
https://www.alphaxiv.org/ru/overview/2507.17912v1

Массивная теория, 139 страниц.

SETOL (Semi-Empirical Theory of Learning) – теория конвергенции слоёв NN. Она утверждает, что отдельные слои NN сходятся с разными скоростями, и «идеальное» состояние сходимости может быть обнаружено простым наблюдением спектральных свойств весовой матрицы слоя.

«Спектральные свойства» здесь просто означают: взять спектр сингулярных значений из матрицы весов, посмотреть, как они падают, и извлечь одно число наклона.

В статье показано, что такая простая спектральная оценка для каждого слоя настолько хорошо предсказывает обобщение, что может заменить дорогостоящую валидацию.

Представьте себе вес каждого слоя как огромную таблицу, которая умножает входные данные на выходные.

Примените к этой таблице стандартный математический инструмент, называемый сингулярным разложением, и получите список положительных чисел, называемых сингулярными числами. Каждое из них показывает, насколько сильно слой растягивает сигнал вдоль определённого направления во входном пространстве. Большие значения показывают направления, которые усиливаются, маленькие — направления, которые сжимаются.

Выстроив эти сингулярные значения в ряд от большего к меньшему, вы увидите фигуру. Во многих хорошо обученных сетях хвост этой фигуры плавно спадает, следуя степенному закону, что означает, что «значение k примерно равно константе, делённой на k, возведённое в степень Alpha». Наклон Alpha — это то, за чем следит статья. Когда Alpha близка к 2, слой сохраняет реальный сигнал и подавляет шум. Более плоский хвост, Alpha ниже 2, означает, что слой цепляется за слишком много мелких направлений и начинает запоминать. Более крутой хвост, Alpha выше 2, означает, что он отбрасывает полезные детали и недообучается.

X

The wall confronting large language models
Стена, противостоящая большим языковым моделям
https://www.alphaxiv.org/ru/overview/2507.19703v2

Авторы утверждают, что LLM сталкиваются с фундаментальными ограничениями, которые невозможно преодолеть за счет простого масштабирования, представляя то, что они называют «стеной», препятствующей дальнейшему значительному прогрессу.

LLM показывают удивительно низкие экспоненты масштабирования (приблизительно от 0.05 до 0.095), что означает, что для десятикратного уменьшения ошибки требуется в 10^10 раз больше вычислений и в 10^20 раз больше электроэнергии. Это значительно менее эффективно, чем методы Монте-Карло, которые требуют всего в 100 раз больше ресурсов для десятикратного уменьшения ошибки.

Ключевое понимание связано с ролью нелинейных функций активации в трансформерах. Эти функции по своей природе преобразуют гауссовы входные распределения в негауссовы выходные.

Это преобразование приводит к тому, что они называют «устойчивостью неопределенности» (Resilience of Uncertainty, RoU) — явлению, при котором неопределенность в негауссовых распределениях затухает гораздо медленнее, чем в гауссовых. Парадокс заключается в том, что та же самая негауссовость, которая позволяет LLM изучать сложные паттерны, также делает их уязвимыми к накоплению ошибок.

В любом большом наборе данных ложные (случайные) корреляции значительно превосходят по количеству осмысленные, и это соотношение растет экспоненциально с размером набора данных, независимо от природы данных. В статье вводится концепция «Дегенеративного ИИ» (DAI), описывающая причинно-следственную цепь, где малые показатели масштабирования приводят к негауссовым флуктуациям, которые, в свою очередь, создают устойчивость неопределенности и в конечном итоге приводят к «информационным катастрофам», когда LLM с трудом различают подлинные паттерны и эти ложные корреляции.

Figure 02 автономно стирает белье в доме генерального директора Бретта Эдкока.

Интересно, через сколько лет эта генерация станет реальностью (про андроида, не Марс).

NOETIX's N2.

куда они столько клепают этих коротышек 👀

Unitree A2 Stellar Hunter

Китайский гигант "электричек" BYD только что запустил «Lingyuan» — систему запуска дронов, устанавливаемую на крышу ("домик для дрона"). 😎

Одним нажатием кнопки крыша открывается, платформа поднимается, и дрон DJI взлетает, даже во время движения автомобиля.

Он может запускаться на скорости до 25 км/ч, следовать за автомобилем со скоростью 54 км/ч и автономно возвращаться с расстояния до 2 км. Дрон устанавливается в отсек на крыше автомобиля, где автоматически подзаряжается.

Полный пакет стоит около 16 000 иен (~2 200 долларов США) и включает в себя дрон, пусковую установку и сопутствующие приложения, в том числе инструменты для редактирования видео и распознавания на базе искусственного интеллекта, которые могут делать фотографии вокруг автомобиля.

Cosine Local Learning Rule (CLLR)
https://gist.github.com/T-igra/3e875175ea9165e03931c0f8d349f7f4

Локальное правило обучения весовой матрицы слоя без градиента и явного вычисления ошибки рассогласования предсказания с требуемым выходом.

Выкладываю свой метод обучения линейного слоя с функцией активации sin. Открыл его где-то пару лет назад, теоретическую базу за это время подвести не удалось, публикую как есть.

Зарядная станция Zipline для дронов доставки.