Видео от Disney Research, демонстрирующее робота Олафа из "Холодного сердца": его внутреннюю конструкцию, цикл ходьбы, снижение ударов и отслеживание производительности, что подчеркивает прогресс в аниматронике для тематических парков.
Olaf: Bringing an Animated Character to Life in the Physical World
https://www.alphaxiv.org/ru/overview/2512.16705
Sparse Hash AI
Olaf: Bringing an Animated Character to Life in the Physical World
https://www.alphaxiv.org/ru/overview/2512.16705
Sparse Hash AI
Multiscale Aggregated Hierarchical Attention (MAHA): A Game Theoretic and Optimization Driven Approach to Efficient Contextual Modeling in Large Language Models
https://www.alphaxiv.org/overview/2512.14925
https://github.com/canererden/MAHA-Project
MAHA представляет иерархическую архитектуру внимания для больших языковых моделей, которая решает проблему квадратичной вычислительной сложности стандартного самовнимания путем декомпозиции входных последовательностей на несколько масштабов и использования выпуклой оптимизации или теории игр для агрегации. Архитектура позволила сократить количество операций FLOP на 81% и потребление памяти на 56% по сравнению со стандартным MHA, сохраняя при этом конкурентоспособную производительность и демонстрируя превосходные возможности в моделировании дальних зависимостей.
Sparse Hash AI
https://www.alphaxiv.org/overview/2512.14925
https://github.com/canererden/MAHA-Project
MAHA представляет иерархическую архитектуру внимания для больших языковых моделей, которая решает проблему квадратичной вычислительной сложности стандартного самовнимания путем декомпозиции входных последовательностей на несколько масштабов и использования выпуклой оптимизации или теории игр для агрегации. Архитектура позволила сократить количество операций FLOP на 81% и потребление памяти на 56% по сравнению со стандартным MHA, сохраняя при этом конкурентоспособную производительность и демонстрируя превосходные возможности в моделировании дальних зависимостей.
Sparse Hash AI
👍1
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
https://www.alphaxiv.org/overview/2509.10534
Исследователи представляют позиционное вложение в полярных координатах (Polar Coordinate Positional Embedding, PoPE) — метод, который разделяет информацию о содержании и позиционную информацию в трансформерах, переформулируя позиционное кодирование в полярных координатах. PoPE последовательно достигает более низкой перплексии и более высокой точности без предварительной настройки (zero-shot accuracy), чем Rotary Position Embedding (RoPE) в задачах обработки языка, музыки и геномики, а также демонстрирует превосходную экстраполяцию длины без предварительной настройки для последовательностей в 10 раз длиннее обучающих данных.
Sparse Hash AI
https://www.alphaxiv.org/overview/2509.10534
Исследователи представляют позиционное вложение в полярных координатах (Polar Coordinate Positional Embedding, PoPE) — метод, который разделяет информацию о содержании и позиционную информацию в трансформерах, переформулируя позиционное кодирование в полярных координатах. PoPE последовательно достигает более низкой перплексии и более высокой точности без предварительной настройки (zero-shot accuracy), чем Rotary Position Embedding (RoPE) в задачах обработки языка, музыки и геномики, а также демонстрирует превосходную экстраполяцию длины без предварительной настройки для последовательностей в 10 раз длиннее обучающих данных.
Sparse Hash AI
This media is not supported in your browser
VIEW IN TELEGRAM
Прототип противопехотного UGV (Unmanned ground vehicle). Ещё на шаг ближе к "крикунам".
Sparse Hash AI
Sparse Hash AI
🤔1
Deep learning for pedestrians: backpropagation in Transformers
https://www.alphaxiv.org/overview/2512.23329
https://github.com/Ranlot/backpropagation-Transformers
Статья, где вручную выводится обратное распространение ошибки для трансформера GPT, разбивая градиенты на явные потоки для эмбеддингов, self-attention и нормализации слоев, что упрощает понимание обучения.
Ключевой вклад: демонстрация, как LoRA снижает обучаемые веса до 2% при дообучении, с аналитическими формулами и минимальной реализацией на PyTorch, подчеркивая преимущества ручного вычисления над автодифференцированием.
Sparse Hash AI
https://www.alphaxiv.org/overview/2512.23329
https://github.com/Ranlot/backpropagation-Transformers
Статья, где вручную выводится обратное распространение ошибки для трансформера GPT, разбивая градиенты на явные потоки для эмбеддингов, self-attention и нормализации слоев, что упрощает понимание обучения.
Ключевой вклад: демонстрация, как LoRA снижает обучаемые веса до 2% при дообучении, с аналитическими формулами и минимальной реализацией на PyTorch, подчеркивая преимущества ручного вычисления над автодифференцированием.
Sparse Hash AI
👍2
Производительный силосный дроид для обработки зерна – выравнивания, разбивки и проталкивания его в шнек в зернохранилищах сельскохозяйственной планеты Мина-Рау.
Sparse Hash AI
Sparse Hash AI
🔥3👍1