Всем привет!🔥

📆 Завтра (05.12) в 17:00 Даниил Зелезецкий расскажет про

Подходы к повышению визуальной обобщаемости в задаче обучения с подкреплением

Обучаясь на тренировочных средах, вместе с выработкой релевантных навыков агент может запоминать нерелевантную информацию о среде, неожиданное изменение которой спровоцирует падение перфоманса агента. На встрече мы обсудим задачу визуальной обобщаемости, когда нерелевантной информацией может являться фон сцены, освещение, цвета и формы предметов, внешний вид агента и внезапное появление сторонних объектов

Статьи:
1. Reinforcement Learning with Augmented Data
2. Decoupling Value and Policy for Generalization in Reinforcement Learning
3. Learning Invariant Representations for Reinforcement Learning Without Reconstruction

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆 Завтра (19.12) в 17:00 Никита Качаев расскажет о двух новых статьях physical intelligence:

⚫️Про метод RECAP [1] для дообучения VLA-моделей при помощи RL на демонстрациях, on-policy траекториях с разряженным сигналом и коррекциях от человека. Разберём извлечение улучшенной стратегии через advantage-conditioning и почему такой метод позволяет заметно повысить качество VLA на long-horizon задачах

⚫️Про перенос навыков от людей на роботов Human-to-Robot [2]. Разберем, можно ли научить робота новым задачам, почти не собирая данных на самом роботе, а используя эгоцентрические видео, записанное человеком. Обсудим, почему такой перенос начинает работать только после достаточного разнообразного претрейна

Статьи:
1. pi06: a VLA That Learns From Experience
2. Emergence of Human to Robot Transfer in Vision-Language-Action Models

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆 В эту пятницу (26.12) в 17:00 Егор Черепанов расскажет про новые статьи по VLA с памятью:

⚫️MemoryVLA — VLA-модель для настольной манипуляции, которая явно запоминает прошлые шаги, потому что многие задачи манипуляции немарковские и «по одному кадру» не решаются. Модель хранит историю в специальной памяти из двух частей: низкоуровневые визуальные детали и высокоуровневое смысловое резюме, извлекает из неё нужный контекст, объединяет его с текущим наблюдением и на основе этого с помощью диффузионного эксперта предсказывает последовательность действий. За счёт этого MemoryVLA заметно лучше справляется с long-horizon и задачами с временными зависимостями и стабильно превосходит CogACT и pi0 в симуляции и на реальных роботах

⚫️EchoVLA — VLA-модель для long-horizon мобильной манипуляции, которая добавляет явную память и тем самым выходит за пределы марковских стратегий. Она использует две памяти: scene memory (персистентная 3D карта сцены) для пространственного контекста и episodic memory (короткая история мультимодальных состояний) для прогресса задачи; обе извлекаются через coarse-to-fine attention и обуславливают diffusion policy для базы и манипулятора. На предложенном авторами новом бенчмарке MoMani модель стабильно превосходит сильные бейзлайны на long-horizon задачах, показывая, что явная пространственная и эпизодическая память существенно улучшает координацию и успех в mobile manipulation

Статьи:
1. MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
2. EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club