Slim attention: cut your context memory in half without loss of accuracy -- K-cache is all you need for MHA
https://arxiv.org/abs/2503.05840v1
https://www.alphaxiv.org/overview/2503.05840v1

Техника уменьшения размера KV-кеша на 50%.

Запросы 𝐐, ключи 𝐊 и значения 𝐕 в трансформере это всё проекции из 𝐗, следовательно в кеше можно хранить только ключи, а значения из них получать на лету на инференсе. Для этого потребуется один раз рассчитать матрицу 𝐖𝐤𝐯 = 𝐖𝐤⁻¹ 𝐖𝐯. Обратная операция реконструкции значений из ключей: 𝐕 = 𝐊 𝐖𝐤𝐯.

заполонили

Boston Dynamics зашевелились.

1X NEO Gamma

Unitree G1

Apollo — гуманоидный робот Mercedes-Benz.

Mercedes-Benz планирует заменить рабочих андроидами.

Позавчера под постом Unitree с боковым переворотом одним твиттерским был брошен вызов: "Now try this - I actually think G1 could do it". И вот ответ.

PS. стали подписывать видео, что это всё по настоящему, так как взятый темп не укладывается у людей в голове.

Noetix Robotics

1X начинает домашние испытания гуманоидного робота Neo Gamma.

Отпахал без перерыва 3 смены (20 часов) и умер. (