🎓 — Семинар 1. Мультимодальное представление сцены для навигации интеллектуального агента | Татьяна Земскова

Задача навигации является одной из основных задач для интеллектуальных агентов. Для эффективного взаимодействия с человеком робот должен понимать сложные текстовые инструкции, сформулированные на естественном языке, и мочь доезжать до любого объекта по его текстовому описанию.

На семинаре аспирантка нашего Центра расскажет о различных представлениях сцен и особенностях их использования при решении задачи навигации. В частности, рассмотрит методы навигации на основе 3D карт знаний и последовательностей изображений.

Наконец, будет рассмотрена разработанная командой Центра модель OVSegDT — лёгкая трансформерная VLA архитектура, позволяющая осуществлять навигацию до объектов, чья категория задана текстом.

👉🏻 Дата: 4.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

🎉 Уже завтра возобновляем наши еженедельные семинары. Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

🎓 — Семинар 2. Обзор конференции ACL 2025 | Александр Панов, Зоя Воловикова, Юрий Куратов

Ассоциация компьютерной лингвистики (ACL) — научная и профессиональная организация, работающая в области обработки естественного языка. Её одноимённая конференция — одна из ведущих в указанной области.

В июле этого года сотрудники и преподаватель ЦКМ представили на ACL следующие работы:
🪼Зоя Воловикова: CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World
🪼Анастасия Иванова, Алексей Ковалёв: AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment
🪼Юрий Куратов: Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

Хотите узнать, как это было? Присоединяйтесь на завтрашний семинар, где команда поделится своими впечатлениями!

👉🏻 Дата: 11.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#конференции #RL #LLM

🪼 — Наша выпускница, Ульяна Изместьева, побывала на Mediterranean Machine Learning Summer School

M2L summer school — это пятидневная программа, включающая доклады, лекции и практические занятия от опытных экспертов из Google DeepMind, Cohere, Оксфордского университета, Кембриджского университета и других организаций.

Поздравляем Ульяну и желаем ей дальнейших успехов!

#выпускники_МТИИ #карьерный_трек

🎓 — Семинар 3. Объектно-центрированные представления в обучении с подкреплением и мультимодальных задачах | Леонид Угадяров

Доклад аспиранта нашего Центра посвящён применению в обучении с подкреплением моделей, извлекающих объектно-центрированные представления из изображений.

Будет рассмотрен разработанный объектно-центрированный кодировщик Kuramoto Slot Attention, использующий модель AKOrN (Artificial Kuramoto Oscillatory Neurons) для извлечения признаков. Также будет представлен алгоритм обучения с подкреплением KORL, основанный на TDMPC2 и использующий кодировщик Kuramoto Slot Attention.

Вторая часть доклада будет посвящена применению объектно-центрированных представлений в мультимодальных задачах.

🪼Гитхаб
🪼Статьи

👉🏻 Дата: 18.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждем всех!

#семинары #RL

🎓 — Семинар 4. Neural network methods for HD Map generation | Леонид Иванов, Василий Юрьев

High-definition (HD) карты, содержащие детализированное описание элементов дорожной сцены, являются фундаментальным компонентом для автономного транспорта. Они кодируют критически важную информацию о дорожной топологии, обеспечивая безопасную навигацию и планирование траектории.

Однако традиционные подходы к созданию таких карт требуют огромных трудозатрат и ресурсов, что ограничивает их масштабируемость и актуальность. В связи с этим, задача автоматической генерации HD-карт становится крайне актуальной для массового развертывания беспилотного транспорта.

На семинаре магистром и сотрудником нашего Центра будут рассмотрены современные подходы генерации HD-карт на основе нейронных сетей, представлен собственный трансформерный метод MapFM, а также спикеры расскажут о разрабатываемом подходе, на основе VLM (Vision-Language Model).

🪼Наша статья
🪼Релевантные источники: 1, 2, 3

👉🏻 Дата: 25.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#CV #VLM

🦾 — Продолжается набор в бакалавриат для студентов 3 курса ФПМИ МФТИ по искусственному интеллекту и робототехнике!

В Центре под руководством ведущих специалистов вы сможете заниматься написанием статей на передовые международные конференции, а также работать над прикладными проектами по тематикам:

🌱Обучение с подкреплением для задач робототехники (манипуляция, навигация)
🌱Мультимодальные карты знаний в компьютерном зрении и робототехнике
🌱Компьютерное зрение для задач робототехники и беспилотного транспорта
🌱Большие языковые и мультимодальные модели для генерации действий в робототехнике
🌱Мультимодальные среды и модели в обучении с подкреплением

А что дальше?
🌱 Не прекращать учиться: у нас есть магистратура и аспирантура
🌱 Строить карьеру: наши выпускники идут на топовые позиции как в науке, так и в коммерции

🙂 Подавайте заявку через форму до 1 ноября включительно. Собеседования будут проходить с 2 ноября по 20.

Презентацию программы, учебный план и другие подробности можно посмотреть на сайте.

🎓 — Семинар 5. Safe RL and Multi-modal Safe RL | Григорий Горбов

Одной из основных проблем применения методов RL на реальных роботах является учёт безопасности. Доклад посвящен методам безопасного RL (Safe RL), а также набирающей популярность области Multi-modal Safe RL.

Аспирантом нашего Центра будет представлен обзор последних работ по Safe RL, Multi-modal Safe RL, а также последние наработки нашей команды в этих областях.

4️⃣ Гитхаб

👉🏻 Дата: 02.10.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#RL