Всем привет!🔥

📆 В эту пятницу (26.12) в 17:00 Егор Черепанов расскажет про новые статьи по VLA с памятью:

⚫️MemoryVLA — VLA-модель для настольной манипуляции, которая явно запоминает прошлые шаги, потому что многие задачи манипуляции немарковские и «по одному кадру» не решаются. Модель хранит историю в специальной памяти из двух частей: низкоуровневые визуальные детали и высокоуровневое смысловое резюме, извлекает из неё нужный контекст, объединяет его с текущим наблюдением и на основе этого с помощью диффузионного эксперта предсказывает последовательность действий. За счёт этого MemoryVLA заметно лучше справляется с long-horizon и задачами с временными зависимостями и стабильно превосходит CogACT и pi0 в симуляции и на реальных роботах

⚫️EchoVLA — VLA-модель для long-horizon мобильной манипуляции, которая добавляет явную память и тем самым выходит за пределы марковских стратегий. Она использует две памяти: scene memory (персистентная 3D карта сцены) для пространственного контекста и episodic memory (короткая история мультимодальных состояний) для прогресса задачи; обе извлекаются через coarse-to-fine attention и обуславливают diffusion policy для базы и манипулятора. На предложенном авторами новом бенчмарке MoMani модель стабильно превосходит сильные бейзлайны на long-horizon задачах, показывая, что явная пространственная и эпизодическая память существенно улучшает координацию и успех в mobile manipulation

Статьи:
1. MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
2. EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Топовый российский open source по итогам 2025 года

2025 год стал годом "открытого" ИИ во всём мире. Индустрию захлестнула волна open source решений — от готовых моделей до различных инструментов и фреймворков. И отечественные разработчики здесь наконец-то догнали общий поезд хайпа.

Особенно отличились ребята из AIRI, которые весь год радовали нас топовыми проектами. Вот, что хочется вспомнить из того, что уже вышло в open source:

▪️ Maestro — фреймворк для создания интеллектуальных ИИ-агентов. Платформа обеспечивает полный технологический стандарт: от авторизации и хранения контекста до оркестрации агентов и модерации контента.

▪️ GigaEvo — платформа для автоматизации научных экспериментов по ИИ. Автоматизирует подбор архитектур, оптимизацию гиперпараметров и тестирование моделей, интегрируется с AutoML и MLOps

▪️ MAPF-GPT — первая фундаментальная модель для многоагентного обучения с подкреплением в задаче планирования путей, показан новый SOTA в этом классе.

▪️ CADrille — модель для для 3D-реконструкции промышленных деталей. Принимает на вход облака точек, изображения и текстовые описания деталей, а на выходе генерирует код на языке Python для создания CAD-файла.

▪️ Wikontic — пайплайн для извлечения графов знаний из текстов. Использует в 20 раз меньше выходных токенов для извлечения графов, чем популярный GraphRAG от Microsoft.

▪️ Vintix — SOTA action-модель для роботов и индустриальных процессов, умеющая имитировать ход обучения с подкреплением. Анализирует в 3 раза больше информации по сравнению с аналогами: JAT HugginFace и GATO Google DeepMind.

▪️ VLA_Arena — платформа для оценки и сравнения моделей управления роботами. Позволяет запускать роботов в виртуальной среде с визуализацией, а также подключать реальные устройства. Также содержит чистые датасеты для LeRobot, размеченные и переведённые на русский язык.

▪️ DiMA — универсальная компактная модель для генерации белковых молекул на латентной диффузии.

Ну и куда без документального сопровождения всех этих разработок. В этом году у авторов из AIRI были опубликованы и приняты к публикации 364 научные статьи! Если читать по тексту в день, то останется время выдохнуть и пожить без искусственного интеллекта только 31 декабря.

Конечно, решает не количество, а качество. С этим тоже полный порядок: 97 материалов приняли к публикации на конференциях уровня А*, а ещё 34 статьи были представлены в рамках А. Надеемся, что дальше — только больше!

@anti_agi

Всем привет!🔥

📆 Сегодня (30.01) в 17:00 Татьяна Земскова и Алексей Староверов проведут:

Разбор решений BEHAVIOR-1K Challenge

Vision-language-action (VLA) модели показали перспективные результаты в решении базовых задач планирования действий: манипуляции и навигации. Но отдельных робототехнических навыков недостаточно для решения высокоуровневых бытовых задач, требующих последовательного выполнения отдельных подзадач для достижения цели. На этой встрече мы поговорим о соревновании BEHAVIOR-1K Challenge (NeurIPS 2025) — одном из ключевых соревнований в области Embodied AI. BEHAVIOR-1K — это бенчмарк из 1000 бытовых задач в реалистичной симуляции, где агенту нужно планировать длинные цепочки действий, ориентироваться в среде и физически взаимодействовать с миром.

Мы рассмотрим сам бенчмарк и соревнование BEHAVIOR-1K Challenge, а также обсудим две работы, которые были представлены к дедлайну соревнования, но будем обсуждать их последние post-challenge версии, где авторам удалось улучшить метрики.

⚫️Сначала коротко рассмотрим решение победителей челленджа, фокусирующееся на адаптации vision-language-action модели под задачи BEHAVIOR-1K и дающее существенный прирост качества за счёт архитектурных и inference-трюков.

⚫️Вторая работа — альтернативный подход от команды Openpi Comet, также показавший высокий результат. Авторы этого подхода сделали упор на исследование влияния различных входных модальностей и метода обучения модели с использованием новых данных демонстраций из симулятора.

Статьи:
1. BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation
2. Сайт BEHAVIOR
3. Task adaptation of Vision-Language-Action model: 1st Place Solution for the 2025 BEHAVIOR Challenge
4. Openpi Comet: Competition Solution For 2025 BEHAVIOR Challenge

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆 В эту пятницу (06.02) в 17:00 Илья Ларченко и Глеб Зарин, победители BEHAVIOR Challenge, разберут своё решение🔥

Задачей в BEHAVIOR Challenge было обучить робота выполнять 50 повседневных задач (от 1 до 15 минут) в реалистичной симуляции используя датасет из 1200 часов ручного управления роботом.

Илья и Глеб рассакажут про:
⚫️Безлайн на основе PI0.5
⚫️Изменения в архитектуре модели (System 2, correlation awareness, mixed trainable attention)
⚫️Оптимизацию обучения
⚫️Ускорение и улучшения во время инференса

Они также покажут примеры успешного выполнения задач, разберут основные паттерны ошибок, продемонстрируют примеры эмерджентного поведения модели при обучении на множестве задач одновременно.

Ссылки:
1. Код решения
2. Статья с детальным описанием решения
3. Пост с примерами
4. Видео разбор решения

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club