И этот побежал.

поцелуй мой блестящий зад

Зачем бежать, на велике быстрее.

Lingxi X2 от AgiBot.

Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
https://arxiv.org/abs/2502.01612
https://www.alphaxiv.org/overview/2502.01612

Трансформер улучшает себя на арифметических задачах в работе с большими числами. Ключевая техника: Majority Voting.

Majority Voting: The authors train multiple models with different random seeds and retain only the outputs where a majority of models agree, providing a form of ensemble-based quality control without human supervision.

How to explain grokking
https://arxiv.org/abs/2412.18624

В статье предлагается термодинамическое объяснение гроккинга. Обобщение происходит в две фазы: меморизация (оверфит) и гроккинг.

В фазе меморизации градиентный спуск приводит к оверфиту, это обязательное условие. Здесь решение попадает в многообразие нулевого риска (zero-risk manifold) с низкой энтропией.

В фазе отсроченной генерализации (гроккинг) решение посредством броуновского движения диффундирует по многообразию в сторону областей с большей энтропией.

Практические следствия

Длительность фазы гроккинга равна квадрату фазы меморизации. Это следствие исследования пространства броуновским движением.

Наблюдается экспоненциальный рост времени гроккинга с уменьшением обучающей выборки. Следствие, увеличение размера обучающей выборки приводит к уменьшению времени до гроккинга.

Рекомендую вначале прочесть пересказ статьи, вкладка blog на https://www.alphaxiv.org/overview/2412.18624

Ходячий от Xpeng Motors.

Unitree G1 пошёл в магаз.

Коротыши.

Beijing-based NOETIX Robotics has unveiled the N2, a 3'7" tall humanoid weighing 20 kg (44 lb), with 18 DOF for the whole body and an NVIDIA Jetson installed.

The price will start at ¥39,900 ($5,500).

Slim attention: cut your context memory in half without loss of accuracy -- K-cache is all you need for MHA
https://arxiv.org/abs/2503.05840v1
https://www.alphaxiv.org/overview/2503.05840v1

Техника уменьшения размера KV-кеша на 50%.

Запросы 𝐐, ключи 𝐊 и значения 𝐕 в трансформере это всё проекции из 𝐗, следовательно в кеше можно хранить только ключи, а значения из них получать на лету на инференсе. Для этого потребуется один раз рассчитать матрицу 𝐖𝐤𝐯 = 𝐖𝐤⁻¹ 𝐖𝐯. Обратная операция реконструкции значений из ключей: 𝐕 = 𝐊 𝐖𝐤𝐯.

заполонили