🎓 — Семинар 20. Иерархическое планирование с помощью больших языковых моделей (LLM) для воплощенных агентов | Александр Корчемный

Для выполнения сложных сценариев в реальном окружении или в симуляторе, воплощенный агент должен обладать возможностью планирования. В случае, если задача формулируется на естественном языке, с этим могут помочь большие языковые модели (LLM). Однако существуют проблемы с неоднозначностью естественного языка или соотнесения предсказанного плана с возможностями агента в среде.

Мы предлагаем использовать иерархическую структуру планировщика для улучшения предсказанного плана, когда отдельные LLM-агенты отвечают за отдельные подзадачи в планировании.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #LLM #Planning

💫 — Скоро начинаем семинар, присоединяйтесь к трансляции!

⭐️ — С Днем защитника Отечества!

🎓 — Семинар 21. Интерактивная сегментация изображений для навигации воплощенного агента | Татьяна Земскова

Для обучения современных методов для детекции и сегментации используются большие наборы данных, содержащие изображения, полученные с помощью статичных камер. Воплощённый интеллектуальный агент, в свою очередь, может взаимодействовать со своим окружением.

На данном семинаре мы кратко обсудим существующие методы для улучшения качества детекции по последовательности изображений, а также представим наш метод для воплощенной семантической сегментации SegmATRon. Главной особенностью метода является адаптация параметров сегментационной модели во время инференса на последовательности изображений с помощью предсказанной гибридной мультикомпонентной функции потерь. Мы покажем эффективность данного подхода для задачи семантической сегментации в симуляторах Habitat и AI2-Thor и его применимость для задачи визуальной навигации до целевого объекта.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #Planning

💫 — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 22. Обзоры методов whole-body планирования и подхода Temporal Difference Learning for Model Predictive Control для решения современных задач робототехники | Яков Денис, Aditya Narendra

Первая часть доклада посвящена методам решения задач планирования, учитывающих полную модель робототехнической системы. В ней приводятся основные понятия, связанные с задачами такого типа, классификация методов их решения, а также рассматриваются последние научные работы с соответствующими приложениями.

Во второй части доклада рассматривается подход Temporal Difference Learning for Model Predictive Control для решения задач планирования и управления. Подход объединяет достоинства методов обучения с подкреплением, использующих и не использующих модели сред. Рассматриваются основные понятия, математические постановки и эксперименты, демонстрирующие эффективность подхода.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #robotics @cogmodel

💫 — Скоро начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 23. Обзор конференции AAAI-2024 | Александр Панов, Алексей Скрынник

Основные моменты доклада:

Общие впечатления: Поделимся нашими впечатлениями от конференции, ключевыми темами и направлениями дискуссий.
Наши работы: Рассмотрим работы нашей лаборатории в области обучения с подкреплением для задач децентрализованного многоагентного планирования. На конференции были представлены 3 статьи от нашей команды, две из которых были отобраны для устного представления, что является значительным достижением, учитывая, что только 10% всех статей получают такую возможность.
Интересные находки: Обсудим работы других авторов, связанные не только с обучением с подкреплением, но и с другими актуальными темами в сфере AI.
Туториалы и воркшопы: Поделимся впечатлениями от проведенных на конференции туториалов и воркшопов, выделив наиболее полезные и познавательные из них.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #RL #CV #Planning #конференции

💫 — Скоро начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 24. Recurrent Action Transformer with Memory (RATE) - Трансформерная архитектура с памятью для решения задач offline RL | Егор Черепанов

В последнее время использование трансформерных архитектур в обучении с подкреплением вызывает все больше внимания. Это связано с их способностью рассматривать траекторию движения агента в среде как последовательность, что сводит проблему обучения к моделированию последовательности.

В средах, где решения агента зависят от событий из прошлого, очень важно отразить как само событие, так и момент принятия решения в контексте модели, однако квадратичная сложность механизма внимания ограничивает возможности расширения контекста.

Для решения этой проблемы вводится понятие "эффективного контекста", получаемого с использованием механизмов памяти. В докладе будет описан данный подход и приведены результаты экспериментов на средах с памятью с использованием RATE.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #RL #transformers

💫 — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 25. Использование данных бортовых радаров и камер для распознавания объектов на дороге и бездорожье | Ульяна Изместьева, Лука Ветошкин, Ольга Матыкина

В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.

Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.

В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #selfdriving #multimodal #diffusion

💫 — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 26. 66-ая Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ

Сегодня в качестве семинара пройдет 66-ая Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ, на которой будем заслушивать доклады участников, чьи работы прошли отбор на конференцию. Среди всех участников выступят и наши сотрудники: Ульяна Изместьева, Ольга Матыкина, Егор Черепанов, Александр Чернявский, Анатолий Борзилов, Владислав Кузнецов, Zhang Huzhenyu, Александр Мелехин, Денис Васильев и Егор Зубков!

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #конференции #мфти #ии

💫 — Начинаем семинар, присоединяйтесь к трансляции!