Всем привет!🔥

Итоги встречи 15.11.2024
(презентация|запись)

#RL #Memory #LLM #VLM

На встрече были разобраны новые работы по использованию механизмов памяти при принятии решений в контексте VLM и RL агентов

🔺 Optimus-1: Hybrid Multimodal Memory Empowered Agents Excel in Long-Horizon Tasks

В данной работе рассматривается VLM агент, решающий сложные задачи в среде Minecraft

Авторы считают, что существующие агенты сталкиваются с трудностями при выполнении long-horizon задач в open-world сеттинге в связи с тем, что им не хватает знания о мире и его мультимодального описания

Для решения этих проблем авторы предлагают Hybrid Multimodal Memory (HMM) модуль, который:
✔️ преобразует знание в Hierarchical Directed Knowledge Graph, позволяющий явно представить знание о мире и изучить его
✔️ суммаризует историческую информацию в Abstracted Multimodal Experience Pool, который передает агентам дополнительную информацию для in-context обучения

Вместе с Knowledge-Guided Planner и Experience-Driven Reflector модулями, необходимыми для лучшего планирования и рефлексии агента для long-horizon задач, HMM образует мультимодального агента Optimus-1

Предложенный подход позволяет нивелировать различие между топовыми проприетарными и open-sourced VLM моделямями и достичь результатов, сравнимых с человеческими, при решении задач в Minecraft

🔺 AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning

Механизмы памяти помогают оптимизировать стратегию в постановке задачи с разреженными функциями вознаграждения

AdaMemento — адаптивный memory-enhanced RL фреймворк, позволяющий решать такие задачи. Он состоит из Memory-reflection module, позволяющего использовать как положительный, так и отрицательный опыт, обучаясь использовать локальные стратегии на основании текущих состояний, и Coarse-fine distinction module, позволяющего эффективно собирать информативные траектории в память за счет Fine-grained intrinsic-motivation paradigm, различающей небольшие различия (нюансы) в похожих состояниях

Использование данного подхода позволило получить существенно лучшие результаты по сравнению с другими бейзлайнами на такой тяжелой задаче как Atari/Montezuma's Revenge

🔺 Общие выводы

В обеих работах используются модули внешней памяти, позволяющие подкрепить принятие решения агента дополнительной информацией, что позволяет добиваться лучших результатов по сравнению с методами без таких модулей

Подписаться⤵️
Embodied AI Reading Club

Поздравляем наших дорогих  подписчиков с наступающим Новым Годом и Рождеством! 🥳

Желаем побольше интересных инсайтов, побольше свободных карт для экспериментов, полезных рецензий и акцептов, конечно, побольше! Ура!
🎄🇷🇺🎄

А вот и первые акцепты!🎉

🦾🔥💫 — Вакансия комьюнити-менеджера для развития нашего Центра!

Наш Центр активно развивается. С момента формирования научных лабораторий и запуска магистерской программы МТИИ на физтехе в 2019г прошло уже более 5 лет.
За это время мы уже успели многого достичь: победы в крупнейших всероссийских и международных соревнованиях (Up Great, Habitat, Waymo Challenge, Flatland, MineRL и др), ежегодные публикации и участие в топовых конференциях уровня A*, Более 100+ научных семинаров, более 50+ защит магистров и аспирантов, защита докторских диссертаций у наших руководителей и, конечно, активное участие в развитии ИИ в России.

Но самое интересное только начинается! Есть много направлений жизнедеятельности нашего Центра от развития бакалаврских и аспирантских программ до проведения научных семинаров и продвижения наших соц. сетей (хотели бы больше делиться нашими успехами и рассказывать о наших исследованиях и разработках!), в которых можно себя проявить!
Если вы хотите стать частью и принимать активное участие в развитии одной из крупнейших и передовых лабораторий по ИИ и робототехнике - это ваш шанс!

Подробнее с описанием вакансии можно ознакомиться по ссылке
Для подачи заявки достаточно заполнить 👉 анкету

Поиск кандидата уже идет, поэтому если вам интереса вакансия, то первым делом заполняйте анкету и мы с вами сразу свяжемся!

Верим, что сможем найти лучшего кандидата, с кем продолжим строить одну из лучших лабораторий в России и мире!

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🦾🔥👩‍🚀 — Объявляем набор на стажировку в области искусственного интеллекта и робототехники (Robotics, LLM, RL, CV, Planning)!

Оплачиваемая стажировка в Центре когнитивного моделирования Института ИИ МФТИ предполагает работу над прикладными или поисковыми проектами в составе опытной команды, написание статей в ведущие конференции и журналы.

Стажировка проходит в рамках одного из направлений работ Центра:
— большие поведенческие модели;
— методы манипуляция двуруких роботов;
— нейросетевые методы компьютерного зрения;
— обучение с подкреплением;
— большие языковые модели.

В процессе вашей работы вы сможете погрузиться в:
— разработку новых SOTA алгоритмов;
— написание публикаций и участие в международных конференциях со своими результатами;
— современные проблемы внедрения передовых методов искусственного интеллекта для решения практических задач.

Стажировку можно совмещать с написанием вашего бакалаврского или магистерского диплома. После успешного окончания стажировки возможно трудоустройство в лаборатории Центра, поступление в магистратуру и аспирантуру, продолжение работы в компаниях-партнерах.

Прием заявок до 10 марта 2025 включительно!

Заполнить анкету тут 👉 ссылка

Вопросы можно задать нам в сообщениях или по почте: mukhina.ad@phystech.edu, @fissun.

Подробнее

#стажировка

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 18. Пространственно-временной метрико-семантический SLAM в динамических средах | Олег Буличев

На семинаре будет представлен обзор современных методов SLAM (Simultaneous Localization and Mapping) с акцентом на их модульную структуру. Особое внимание будет уделено надстройкам, таким как использование графов, семантических карт и других методов, повышающих точность и устойчивость системы.

Вторая часть будет отведена специфике пространственно-временного метрико-семантического SLAM, позволяющего учитывать изменения в динамической среде, включая отслеживание движущихся объектов и поддержание семантической согласованности. Одним из таких методов является "Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments", где предложен новый подход к объединению краткосрочной динамики и долгосрочных изменений. На семинаре будет разбор этой работы и предложены возможные улучшения.
5️⃣ Github

👉🏻 Дата: 20.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #planning

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🇷🇺 — С Днем защитника Отечества!

🎓 — Семинар 19. Визуальные промпты для сегментации произвольных объектов | Михаил Авшалумов

В рамках семинара, магистр нашего Центра рассмотрит один из актуальных подходов к задаче сегментации объектов на изображениях — использование визуальных запросов вместо традиционных промтов или текстовых описаний.

Обсудим существующие методы, которые позволяют использовать референсное изображение в качестве входного "запроса" к нейросетевой модели, их архитектуры и особенности.

Михаил расскажет об экспериментах по этой теме, проведённых в Центре, и дальнейших планах работ в этом направлении.

👉🏻 Дата: 27.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

⚡️ — Наши семинары и там и тут показывают!

Начинаем трансляцию, присоединяйтесь в Youtube или ВК.