Наконец-то полезный домашний робот – Pi 0.6 от компании Pi.

Sparse Hash AI

Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
https://www.alphaxiv.org/overview/2509.10534

Исследователи представляют позиционное вложение в полярных координатах (Polar Coordinate Positional Embedding, PoPE) — метод, который разделяет информацию о содержании и позиционную информацию в трансформерах, переформулируя позиционное кодирование в полярных координатах. PoPE последовательно достигает более низкой перплексии и более высокой точности без предварительной настройки (zero-shot accuracy), чем Rotary Position Embedding (RoPE) в задачах обработки языка, музыки и геномики, а также демонстрирует превосходную экстраполяцию длины без предварительной настройки для последовательностей в 10 раз длиннее обучающих данных.

Sparse Hash AI

Новый мировой рекорд, 15 947 дронов в рое.

Sparse Hash AI

Прототип противопехотного UGV (Unmanned ground vehicle). Ещё на шаг ближе к "крикунам".

Sparse Hash AI

Unitree H2 тренируется на арбузах вместо вашей головы )

Sparse Hash AI

Deep learning for pedestrians: backpropagation in Transformers
https://www.alphaxiv.org/overview/2512.23329

https://github.com/Ranlot/backpropagation-Transformers

Статья, где вручную выводится обратное распространение ошибки для трансформера GPT, разбивая градиенты на явные потоки для эмбеддингов, self-attention и нормализации слоев, что упрощает понимание обучения.

Ключевой вклад: демонстрация, как LoRA снижает обучаемые веса до 2% при дообучении, с аналитическими формулами и минимальной реализацией на PyTorch, подчеркивая преимущества ручного вычисления над автодифференцированием.

Sparse Hash AI

Демонстрация технология магнитной левитации в производстве для замены традиционного конвейера, которая обеспечивает независимое и бесконтактное перемещение.

Sparse Hash AI

Q-Filters: Leveraging QK Geometry for Efficient KV Cache Compression
https://www.alphaxiv.org/overview/2503.02812

https://github.com/NathanGodey/qfilters

Представлен Q-Filters – новый метод сжатия кеша ключ-значение языковых моделей без обучения, который достигает передовых результатов и снижает требования к памяти для обработки длинных контекстов благодаря инновационному геометрическому анализу запросов и ключей. В отличие от предыдущих методов, требующих переобучения модели или доступа к весам внимания, Q-Filters предлагает решение, не требующее обучения, которое совместимо с эффективными алгоритмами внимания.

Основное нововведение Q-Filters заключается в геометрическом анализе векторов Q и K. Авторы обнаружили, что эти векторы демонстрируют сильную анизотропию, то есть они не распределены равномерно по всем направлениям, а проявляют сильное предпочтение к определенным направлениям в пространстве встраивания.

Анализируя сингулярное разложение (SVD) векторов Q, исследователи обнаружили, что одно главное направление (первый собственный вектор) захватывает большую часть дисперсии в данных. Это важное понимание предполагает, что информационное содержание векторов Q сильно сконцентрировано вдоль одного измерения.

Основываясь на этих геометрических соображениях, Q-Фильтры оценивают важность кэшированных пар KV, проецируя K векторы на единое, не зависящее от контекста направление: главный собственный вектор Q векторов.

KV пары с наивысшей оценкой сохраняются, а остальные отбрасываются или сжимаются.

Sparse Hash AI