Reward-optimizing learning using stochastic release plasticity
https://www.frontiersin.org/journals/neural-circuits/articles/10.3389/fncir.2025.1618506/
https://www.frontiersin.org/api/v4/articles/1618506/file/Data_Sheet_1.pdf/1618506_data-sheet_1/1
https://github.com/Brainmatrix-songlab/RSRP
Авторы представили обучающий фреймворк Reward-Optimized Stochastic Release Plasticity (RSRP), вдохновленный стохастической гедонистической синаптической гипотезой.
Гедонистическая синаптическая пластичность потенциально является более правдоподобным механизмом обучения в нейронных системах по сравнению с обратным распространением ошибок. В отличие от обратного распространения, которое основано на непрерывных сигналах контроля и дифференцируемых сетевых архитектурах, пластичность на основе вознаграждения работает без этих ограничений.
Подход обеспечивает конкурентоспособную производительность как в задачах обучения с подкреплением, так и в задачах классификации.
Sparse Hash AI
https://www.frontiersin.org/journals/neural-circuits/articles/10.3389/fncir.2025.1618506/
https://www.frontiersin.org/api/v4/articles/1618506/file/Data_Sheet_1.pdf/1618506_data-sheet_1/1
https://github.com/Brainmatrix-songlab/RSRP
Авторы представили обучающий фреймворк Reward-Optimized Stochastic Release Plasticity (RSRP), вдохновленный стохастической гедонистической синаптической гипотезой.
Гедонистическая синаптическая пластичность потенциально является более правдоподобным механизмом обучения в нейронных системах по сравнению с обратным распространением ошибок. В отличие от обратного распространения, которое основано на непрерывных сигналах контроля и дифференцируемых сетевых архитектурах, пластичность на основе вознаграждения работает без этих ограничений.
Подход обеспечивает конкурентоспособную производительность как в задачах обучения с подкреплением, так и в задачах классификации.
Sparse Hash AI
Geometric Deep Learning - Grids, Groups, Graphs, Geodesics, and Gauges
https://geometricdeeplearning.com/
https://arxiv.org/abs/2104.13478
Sparse Hash AI
https://geometricdeeplearning.com/
https://arxiv.org/abs/2104.13478
Sparse Hash AI
Media is too big
VIEW IN TELEGRAM
"Дурная голова ногам покоя не даёт". 🙂 Пододвинуть ближе корзину интеллекта пока не хватает.
Inductive Bias and Spectral Properties of Single-Head Attention in High Dimensions
https://www.alphaxiv.org/overview/2509.24914v1
Sparse Hash AI
https://www.alphaxiv.org/overview/2509.24914v1
Исследователи из EPFL используют статистическую физику и теорию случайных матриц для всестороннего теоретического анализа механизмов внимания с одной головой в высоких измерениях. Они выводят точные кривые обучения, спектральные распределения для обученных весов и демонстрируют, как l2 регуляризация индуцирует эффективное пенальти ядерной нормы, способствуя низкоранговым решениям и объясняя эмпирически наблюдаемые спектральные паттерны.
Sparse Hash AI
👍1
Стартап Westlake Robotics представил ИИ-модель «Shadow Function», которая генерирует действия робота, имитирующие движения оператора в режиме реального времени.
https://d.fixupx.com/TheHumanoidHub/status/1972716282509459567
Sparse Hash AI
https://d.fixupx.com/TheHumanoidHub/status/1972716282509459567
Sparse Hash AI
🤔1
🔥1
From Kernel Regression to Attention Mechanisms
Связь ядерной регрессии с аттеншеном в картинках.
Sparse Hash AI
Связь ядерной регрессии с аттеншеном в картинках.
Sparse Hash AI
Google Docs
From Regression to Attention (Public)
From Kernel Regression to Attention Mechanisms A six decade journey (1960-2020) Peyman Milanfar Google
👍2
Less is More: Recursive Reasoning with Tiny Networks
https://arxiv.org/abs/2510.04871
https://alexiajm.github.io/2025/09/29/tiny_recursive_models.html
Рекурсивная модель рассуждений, развитие идеи из Hierarchical Reasoning Model (HRM). Размером всего в 7 млн параметров и выбивает 45% на ARC-AGI-1 и 8% на ARC-AGI-2.
Tiny Recursion Model (TRM) упрощает рекурсивные рассуждения до их основной сути, которая в конечном итоге не имеет ничего общего с человеческим мозгом, не требует ни математической (fixed-point) теоремы, ни какой-либо иерархии.
Sparse Hash AI
https://arxiv.org/abs/2510.04871
https://alexiajm.github.io/2025/09/29/tiny_recursive_models.html
Рекурсивная модель рассуждений, развитие идеи из Hierarchical Reasoning Model (HRM). Размером всего в 7 млн параметров и выбивает 45% на ARC-AGI-1 и 8% на ARC-AGI-2.
Tiny Recursion Model (TRM) упрощает рекурсивные рассуждения до их основной сути, которая в конечном итоге не имеет ничего общего с человеческим мозгом, не требует ни математической (fixed-point) теоремы, ни какой-либо иерархии.
Sparse Hash AI
👍2