Forwarded from База знаний AI
В AIRI и МФТИ представили метод 3DGraphLLM для расширения возможностей LLM при работе с трехмерным пространством
Он учитывает пространственные и смысловые взаимосвязи элементов внутри помещения, что улучшает обработку сложных интерьеров, где объекты находятся близко друг к другу и образуют плотные композиции.
Специалисты подчеркивают, что большинство современных подходов, основанных на LLM, используют двумерные изображения, упуская трехмерную структуру пространства, или работают с необработанными облаками точек, игнорируя смысловое взаимодействие предметов. Из-за этого алгоритмы способны определить наличие стула и стола, однако не осознают факт, что стул расположен именно возле стола и предназначен для сидения.
Обучение модели происходило на больших датасетах — ScanNet, 3RScan, которые содержат точные реконструкции реальных помещений, и расширенных наборах данных — ScanRefer и Multi3DRefer, содержащих текстовые запросы к реконструированным сценам.
На данный момент ведутся работы по интеграции метода в реальные робототехнические платформы.
🔗Источник: https://airi.net/ru/blog/rossiyskie-issledovateli-nauchili-yazykovye-modeli-ponimat-slozhnye-trekhmernye-stseny/
Он учитывает пространственные и смысловые взаимосвязи элементов внутри помещения, что улучшает обработку сложных интерьеров, где объекты находятся близко друг к другу и образуют плотные композиции.
Специалисты подчеркивают, что большинство современных подходов, основанных на LLM, используют двумерные изображения, упуская трехмерную структуру пространства, или работают с необработанными облаками точек, игнорируя смысловое взаимодействие предметов. Из-за этого алгоритмы способны определить наличие стула и стола, однако не осознают факт, что стул расположен именно возле стола и предназначен для сидения.
Обучение модели происходило на больших датасетах — ScanNet, 3RScan, которые содержат точные реконструкции реальных помещений, и расширенных наборах данных — ScanRefer и Multi3DRefer, содержащих текстовые запросы к реконструированным сценам.
На данный момент ведутся работы по интеграции метода в реальные робототехнические платформы.
🔗Источник: https://airi.net/ru/blog/rossiyskie-issledovateli-nauchili-yazykovye-modeli-ponimat-slozhnye-trekhmernye-stseny/
👍16
Оплачиваемая стажировка будет длиться 4-6 месяцев, в процессе работы вам будет помогать ментор. На выбор предоставляется 16 проектов, на страницах которых вы сможете найти описание и требования.
Два шага для подачи заявки:
Стажировку можно совмещать с написанием диплома, но нельзя совмещать с другой работой или стажировкой. А после успешного окончания возможно трудоустройство в лаборатории Центра, продолжение работы в компаниях-партнерах.
Вопросы можно задать в сообщениях @fissun.
#стажировка
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍2🔥2🐳2
ЦКМ всесторонне развивается — недавно у нас появилась бакалаврская программа. Поэтому мы уделяем время не только науке, но и развитию преподавательских компетенций, улучшению учебных курсов.
На прошлой неделе наш сотрудник, к.т.н., сертифицированный фасилитатор ISW, Олег Буличев провёл Instuctional Skills Workshop. Это канадская программа, призванная повысить эффективность преподавания у инженеров.
За три дня обучающиеся прошли интенсивную программу: узнали новые методы, проэкспериментировали в подаче материала перед коллегами и обсудили профессиональные и этические темы.
Если вы хотите учиться в месте, где преподавателям не всё равно — поступайте к нам!
Набор в бакалавриат для студентов ФПМИ актуален до 8 сентября
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍7🔥4
С 1 августа по 14 сентября в преддверии Дня Города проходит серия различных мероприятий Москва-2030. В рамках ивента завтра на площадке МГТУ им. Н.Э. Баумана, в Новом кампусе, пройдет лекция Александра Панова на тему Интеллектуальной робототехники.
На лекции обсудим, что из себя представляет современная робототехника и как совершенствуются «железо» и программное обеспечение для управления роботами. Поговорим об использовании нейросетевых моделей для обучения выполнению действий и о том, как языковые модели помогают планировать действия робота.
Приходите узнать, где в ближайшее время ждать повсеместного появления роботов-помощников!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍2
Сегодня на магистерской программе МТИИ прошёл первый учебный день.
Начало бодрое — сразу пять пар. Надеемся, что мы смогли вдохновить студентов на предстоящий учебный год.
Желаем удачи ребятам, пусть этот год принесёт много учебных и научных успехов!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23❤5❤🔥4🎉2
🎓 — Семинар 1. Мультимодальное представление сцены для навигации интеллектуального агента | Татьяна Земскова
Задача навигации является одной из основных задач для интеллектуальных агентов. Для эффективного взаимодействия с человеком робот должен понимать сложные текстовые инструкции, сформулированные на естественном языке, и мочь доезжать до любого объекта по его текстовому описанию.
На семинаре аспирантка нашего Центра расскажет о различных представлениях сцен и особенностях их использования при решении задачи навигации. В частности, рассмотрит методы навигации на основе 3D карт знаний и последовательностей изображений.
Наконец, будет рассмотрена разработанная командой Центра модель OVSegDT — лёгкая трансформерная VLA архитектура, позволяющая осуществлять навигацию до объектов, чья категория задана текстом.
👉🏻 Дата: 4.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
🎉 Уже завтра возобновляем наши еженедельные семинары. Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #CV
Задача навигации является одной из основных задач для интеллектуальных агентов. Для эффективного взаимодействия с человеком робот должен понимать сложные текстовые инструкции, сформулированные на естественном языке, и мочь доезжать до любого объекта по его текстовому описанию.
На семинаре аспирантка нашего Центра расскажет о различных представлениях сцен и особенностях их использования при решении задачи навигации. В частности, рассмотрит методы навигации на основе 3D карт знаний и последовательностей изображений.
Наконец, будет рассмотрена разработанная командой Центра модель OVSegDT — лёгкая трансформерная VLA архитектура, позволяющая осуществлять навигацию до объектов, чья категория задана текстом.
👉🏻 Дата: 4.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
#семинары #CV
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15
🎓 — Семинар 2. Обзор конференции ACL 2025 | Александр Панов, Зоя Воловикова, Юрий Куратов
Ассоциация компьютерной лингвистики (ACL) — научная и профессиональная организация, работающая в области обработки естественного языка. Её одноимённая конференция — одна из ведущих в указанной области.
В июле этого года сотрудники и преподаватель ЦКМ представили на ACL следующие работы:
🪼 Зоя Воловикова: CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World
🪼 Анастасия Иванова, Алексей Ковалёв: AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment
🪼 Юрий Куратов: Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity
Хотите узнать, как это было? Присоединяйтесь на завтрашний семинар, где команда поделится своими впечатлениями!
👉🏻 Дата: 11.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#конференции #RL #LLM
Ассоциация компьютерной лингвистики (ACL) — научная и профессиональная организация, работающая в области обработки естественного языка. Её одноимённая конференция — одна из ведущих в указанной области.
В июле этого года сотрудники и преподаватель ЦКМ представили на ACL следующие работы:
Хотите узнать, как это было? Присоединяйтесь на завтрашний семинар, где команда поделится своими впечатлениями!
👉🏻 Дата: 11.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#конференции #RL #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍2🔥2
Forwarded from iMapDAY
Выступил на Media Technology Summit, который собрал представительный список российских ученых в области компьютерного зрения. Рассказал про построение динамических графов 3D сцен и насколько это может быть полезно для робототехники.
Отдельно должен отметить эффектную площадку проведения саммита - Отель Метрополь в Москве.
#Activities
Отдельно должен отметить эффектную площадку проведения саммита - Отель Метрополь в Москве.
#Activities
❤11👍5
M2L summer school — это пятидневная программа, включающая доклады, лекции и практические занятия от опытных экспертов из Google DeepMind, Cohere, Оксфордского университета, Кембриджского университета и других организаций.
Поздравляем Ульяну и желаем ей дальнейших успехов!
#выпускники_МТИИ #карьерный_трек
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19🔥11❤🔥4
🎓 — Семинар 3. Объектно-центрированные представления в обучении с подкреплением и мультимодальных задачах | Леонид Угадяров
Доклад аспиранта нашего Центра посвящён применению в обучении с подкреплением моделей, извлекающих объектно-центрированные представления из изображений.
Будет рассмотрен разработанный объектно-центрированный кодировщик Kuramoto Slot Attention, использующий модель AKOrN (Artificial Kuramoto Oscillatory Neurons) для извлечения признаков. Также будет представлен алгоритм обучения с подкреплением KORL, основанный на TDMPC2 и использующий кодировщик Kuramoto Slot Attention.
Вторая часть доклада будет посвящена применению объектно-центрированных представлений в мультимодальных задачах.
🪼 Гитхаб
🪼 Статьи
👉🏻 Дата: 18.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждем всех!
#семинары #RL
Доклад аспиранта нашего Центра посвящён применению в обучении с подкреплением моделей, извлекающих объектно-центрированные представления из изображений.
Будет рассмотрен разработанный объектно-центрированный кодировщик Kuramoto Slot Attention, использующий модель AKOrN (Artificial Kuramoto Oscillatory Neurons) для извлечения признаков. Также будет представлен алгоритм обучения с подкреплением KORL, основанный на TDMPC2 и использующий кодировщик Kuramoto Slot Attention.
Вторая часть доклада будет посвящена применению объектно-центрированных представлений в мультимодальных задачах.
👉🏻 Дата: 18.09.25, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждем всех!
#семинары #RL
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍3