Forwarded from Center for Cognitive Modeling
🎓 — Семинар 16. Алгоритмы глобальной локализации роботов с учетом карт знанийи | Александр Мелехин, Егор Пинкин, Григорий Карташов
Современные задачи автономной навигации роботов требуют высокоточной глобальной локализации в сложных и динамически меняющихся средах. Традиционные подходы, основанные на одном типе сенсоров — будь то лидары или камеры, — часто оказываются недостаточно устойчивыми к изменениям освещения, погоды или структуры пространства.
На семинаре будет представлен обзор и анализ мультимодальных и мультисенсорных нейросетевых методов распознавания места, которые комбинируют данные от лидаров, RGB-камер и их последовательностей для повышения точности и надёжности локализации. Особое внимание будет уделено алгоритмам, таким как OPR-Loc-MM, который демонстрирует значительное улучшение метрик (медианная ошибка позиции всего 0.41 м и ориентации 4.37°) за счёт интеграции визуальных и лидарных данных.
Мы обсудим разные методы — от лидарных (MinkLoc3D) и визуальных (MegaLoc) до мультимодальных (MSSPlace) и последовательностных (OPR-Loc-Seq) — позволяет создавать эффективные пайплайны для реальных робототехнических систем. Также будут затронуты вопросы баланса между точностью и временем инференса, что особенно важно для систем, работающих в реальном времени.
📹 Трансляция Youtube и ВК
Приглашаем всех, кто интересуется навигацией роботов, компьютерным зрением и применением нейросетевых методов в робототехнике! Присоединяйтесь прямо сейчас!
#RL
Современные задачи автономной навигации роботов требуют высокоточной глобальной локализации в сложных и динамически меняющихся средах. Традиционные подходы, основанные на одном типе сенсоров — будь то лидары или камеры, — часто оказываются недостаточно устойчивыми к изменениям освещения, погоды или структуры пространства.
На семинаре будет представлен обзор и анализ мультимодальных и мультисенсорных нейросетевых методов распознавания места, которые комбинируют данные от лидаров, RGB-камер и их последовательностей для повышения точности и надёжности локализации. Особое внимание будет уделено алгоритмам, таким как OPR-Loc-MM, который демонстрирует значительное улучшение метрик (медианная ошибка позиции всего 0.41 м и ориентации 4.37°) за счёт интеграции визуальных и лидарных данных.
Мы обсудим разные методы — от лидарных (MinkLoc3D) и визуальных (MegaLoc) до мультимодальных (MSSPlace) и последовательностных (OPR-Loc-Seq) — позволяет создавать эффективные пайплайны для реальных робототехнических систем. Также будут затронуты вопросы баланса между точностью и временем инференса, что особенно важно для систем, работающих в реальном времени.
📹 Трансляция Youtube и ВК
Приглашаем всех, кто интересуется навигацией роботов, компьютерным зрением и применением нейросетевых методов в робототехнике! Присоединяйтесь прямо сейчас!
#RL
🔥2
Сегодня в Самаре поучаствовал в качестве оппонента в защите кандидатской диссертации Никиты Фирсова про классификацию гиперспектральных изображений https://ssau.ru/resources/dis_protection/firsov.
Также удалось посмотреть лаборатории Самарского университета. Обратите внимание на проведение пар для студентов в огромном зале с самолетами.
Бонусом прикладываю видео с визуализацией спектра с гиперспектральной камеры Specim с портретом подзащитного и его оппонентов.
Такие гиперспектральные камеры позволяют различать типы почв и растительности на спутниковых снимках, а также распознавать материалы из которых сделаны объекты, что может быть очень полезно для робототехники.
#Activities
Также удалось посмотреть лаборатории Самарского университета. Обратите внимание на проведение пар для студентов в огромном зале с самолетами.
Бонусом прикладываю видео с визуализацией спектра с гиперспектральной камеры Specim с портретом подзащитного и его оппонентов.
Такие гиперспектральные камеры позволяют различать типы почв и растительности на спутниковых снимках, а также распознавать материалы из которых сделаны объекты, что может быть очень полезно для робототехники.
#Activities
👍5🔥2
Про нашу работу LAMDEN с IJCNN’25 о навигации робота с использованием лифта написали в Известиях: https://iz.ru/2017507/andrei-korshunov/poetazhnaia-strategiia-uchenye-nauchili-robotov-s-ii-ezdit-na-lifte
#News
#News
🔥2
Приближается Новый 2026 год!
Поэтому пора написать что-то про итоги уходящего 2025 года:
это был насыщенный рабочий год - много получилось сделать, но были и трудности.
В этом году в нашей команде появились первые публикации на конференциях A*: BBQ (ICRA’25) и 3DGraphLLM (ICCV’2025). Мы усердно работаем, чтобы в следующем году их стало больше!
Также мы не забываем про публикации в журналах Q1, которые особенны важны для аспирантов российских вузов: в этом году вышли долгожданные SegmATRon (Neurocomputing), MSSPlace (IEEE Access), SegDT (IEEE Access), стремительный PRISM-TopoMap (RA-L).
Много наших интересных результатов все еще на рецензировании (например, LEG-SLAM, NeRFUS, DyGEnc, SG-RAPL, SGN-CIRL, PRISM-Loc), боремся за них!
Вообще, в 2025 году стал явно заметен тренд на интенсивное развитие пространственного искусственного интеллекта (Spatial AI) для роботов и беспилотных автомобилей. Каждый месяц появляются фундаментальные модели SAM3, DINOv3, RADIOv3, VGGT, Depth Anything v3, Cosmos, YOLOE, многочисленные VLM: Qwen 3 -VL, InternVL3.5 и др. Однако мы все еще видим очень много областей, где эти фундаментальные модели нужно существенно дорабатывать.
Мы следуем этому тренду и в этом году показали в наших работах, что построение графов 3D-сцены с применением фундаментальных моделей может существенно повысить качество решения задач поиска 3D-объектов и формирования текстовых ответов по языковым запросам, задач навигации и манипуляции мобильных роботов. Это особенно полезно для шагающих и колесных антропоморфных роботов, которые все шире появляются на складах, предприятиях и на многочисленных выставках. Предстоит много работы, расширение команды и несколько больших новых проектов!
Пожелаю всем сил, новых идей, удачи, усидчивости реализовать все задуманное в 2026 году!🎄
Поэтому пора написать что-то про итоги уходящего 2025 года:
это был насыщенный рабочий год - много получилось сделать, но были и трудности.
В этом году в нашей команде появились первые публикации на конференциях A*: BBQ (ICRA’25) и 3DGraphLLM (ICCV’2025). Мы усердно работаем, чтобы в следующем году их стало больше!
Также мы не забываем про публикации в журналах Q1, которые особенны важны для аспирантов российских вузов: в этом году вышли долгожданные SegmATRon (Neurocomputing), MSSPlace (IEEE Access), SegDT (IEEE Access), стремительный PRISM-TopoMap (RA-L).
Много наших интересных результатов все еще на рецензировании (например, LEG-SLAM, NeRFUS, DyGEnc, SG-RAPL, SGN-CIRL, PRISM-Loc), боремся за них!
Вообще, в 2025 году стал явно заметен тренд на интенсивное развитие пространственного искусственного интеллекта (Spatial AI) для роботов и беспилотных автомобилей. Каждый месяц появляются фундаментальные модели SAM3, DINOv3, RADIOv3, VGGT, Depth Anything v3, Cosmos, YOLOE, многочисленные VLM: Qwen 3 -VL, InternVL3.5 и др. Однако мы все еще видим очень много областей, где эти фундаментальные модели нужно существенно дорабатывать.
Мы следуем этому тренду и в этом году показали в наших работах, что построение графов 3D-сцены с применением фундаментальных моделей может существенно повысить качество решения задач поиска 3D-объектов и формирования текстовых ответов по языковым запросам, задач навигации и манипуляции мобильных роботов. Это особенно полезно для шагающих и колесных антропоморфных роботов, которые все шире появляются на складах, предприятиях и на многочисленных выставках. Предстоит много работы, расширение команды и несколько больших новых проектов!
Пожелаю всем сил, новых идей, удачи, усидчивости реализовать все задуманное в 2026 году!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8
Сегодня наконец-то выбрались и собрали мультимодальный лидарно-камерный датасет с аномальными московскими сугробами в МФТИ и окрестностях. Эти данные очень пригодятся для наших продвинутых методов 3D-сегментации сцены, обновления HD-карт, всепогодного распознавания места.
#Activities #MIPT
#Activities #MIPT
👍11❤4🔥4
Поздравляю всех с Днём студента! Желаю всем не переставать учиться чему-то новому! 🎓
А для того, чтобы обучать нейросетевые модели для автомобилей и роботов, у нас есть симуляторы! Прикреплю пару видео от Евгения Бирюкова, как мы загружаем карты кампуса МФТИ в симулятор Carla с помощью OpenStreetMap. Узнаете локации?
А для того, чтобы обучать нейросетевые модели для автомобилей и роботов, у нас есть симуляторы! Прикреплю пару видео от Евгения Бирюкова, как мы загружаем карты кампуса МФТИ в симулятор Carla с помощью OpenStreetMap. Узнаете локации?
❤15🔥1
7 февраля в 17-00 выступаю с открытой лекцией "На пути к автономному транспорту: нерешённые проблемы науки и техники" ко Дню Российской науки в Зарядье в Заповедном посольстве, приходите!
В лекции обсудим научные и технические тренды в области автономного транспорта: беспилотных автомобилей и интеллектуальных роботов. Рассмотрим чем прямо сейчас занимаются исследователи в этой области. Как решают проблемы распознавания препятствий в сложных условиях видимости, как строят карты местности и определяют свое местоположение в пространстве, как управляют траекторией движения с учетом правил дорожного движения. Коснемся того, как скоро автомобили с максимальным пятым уровнем автономности появятся на наших дорогах.
Ссылка на сайт мероприятия: https://welcome.zaryadyepark.ru/russian_science_day/lectures
Бесплатно зарегистрироваться можно здесь: https://zaryadyepark.timepad.ru/event/3802010/
#Activities
В лекции обсудим научные и технические тренды в области автономного транспорта: беспилотных автомобилей и интеллектуальных роботов. Рассмотрим чем прямо сейчас занимаются исследователи в этой области. Как решают проблемы распознавания препятствий в сложных условиях видимости, как строят карты местности и определяют свое местоположение в пространстве, как управляют траекторией движения с учетом правил дорожного движения. Коснемся того, как скоро автомобили с максимальным пятым уровнем автономности появятся на наших дорогах.
Ссылка на сайт мероприятия: https://welcome.zaryadyepark.ru/russian_science_day/lectures
Бесплатно зарегистрироваться можно здесь: https://zaryadyepark.timepad.ru/event/3802010/
#Activities
🔥5❤1