На этой неделе было интересно и необычно выступить на конференции OS DevConf, которая посвящена разработке системного ПО, ядра Linux и open source! Роботам и беспилотным автомобилям нужны сильные системные программисты!
Конференция прошла в достаточно уютном месте Loft Hall
#Activities
Конференция прошла в достаточно уютном месте Loft Hall
#Activities
👍2
В четверг с ребятами выступили на Intelligent Automotive
Sensing and Perception
Workshop.
Я рассказал про способы использования VLM и MLLM для пространственного рассуждения в бортовых системах интеллектуальных транспортных средств. При решении ряда задач эти модели уже могут демонстрировать десятки FPS на бортовых GPU, многое упирается в видеопамять.
А Владислав Дюжев и Александр Лазарев представили некоторые наши результаты по нейросетевой 3D-сегментации облаков точек лидаров для оценки состояния дорожного покрытия
#Activities
Sensing and Perception
Workshop.
Я рассказал про способы использования VLM и MLLM для пространственного рассуждения в бортовых системах интеллектуальных транспортных средств. При решении ряда задач эти модели уже могут демонстрировать десятки FPS на бортовых GPU, многое упирается в видеопамять.
А Владислав Дюжев и Александр Лазарев представили некоторые наши результаты по нейросетевой 3D-сегментации облаков точек лидаров для оценки состояния дорожного покрытия
#Activities
🔥3❤1
Традиционная отчетная сессия AIRI идет бодро! Сегодня и я на ней выступил, рассказал про результаты и планы по мультимодальным 3D-картам знаний
#Activities
#Activities
❤7
Сегодня в МФТИ успешно прошла защита кандидатских диссертаций по техническим наукам моих двоих аспирантов:
- Александра Мелехина с темой "Разработка и исследование методов и алгоритмов распознавания места на основе последовательности мультимодальных данных". Ссылка на диссертацию: https://mipt.ru/institute/departments/dissertatio/soiskateli/tn/melekhin-aleksandr-alekseevich
- Сергея Линок с темой "Разработка и исследование алгоритмов построения мультимодальных карт по последовательности неразмеченных изображений RGB-D камер интеллектуальных агентов". Ссылка на диссертацию: https://mipt.ru/institute/departments/dissertatio/soiskateli/tn/linok-sergey-aleksandrovich
Обе диссертации защищались по специальности 1.2.1 «Искусственный интеллект и машинное обучение». Всё прошло уверенно и четко!
Все отметили, в числе прочего, практическую значимость работы Александра над OpenPlaceRecognition и Сергея над BBQ. Это библиотеки с кодом, которые мы сейчас активно внедряем в компаниях-партнёрах.
Поздравляю ребят, молодцы!
- Александра Мелехина с темой "Разработка и исследование методов и алгоритмов распознавания места на основе последовательности мультимодальных данных". Ссылка на диссертацию: https://mipt.ru/institute/departments/dissertatio/soiskateli/tn/melekhin-aleksandr-alekseevich
- Сергея Линок с темой "Разработка и исследование алгоритмов построения мультимодальных карт по последовательности неразмеченных изображений RGB-D камер интеллектуальных агентов". Ссылка на диссертацию: https://mipt.ru/institute/departments/dissertatio/soiskateli/tn/linok-sergey-aleksandrovich
Обе диссертации защищались по специальности 1.2.1 «Искусственный интеллект и машинное обучение». Всё прошло уверенно и четко!
Все отметили, в числе прочего, практическую значимость работы Александра над OpenPlaceRecognition и Сергея над BBQ. Это библиотеки с кодом, которые мы сейчас активно внедряем в компаниях-партнёрах.
Поздравляю ребят, молодцы!
🔥22❤2
И еще про тематику робототехники - на прошлых выходных проходила Битва роботов, на финал которой удалось попасть благодаря хакатону ЛЦТ. Масштаб и организация события были на высшем уровне! Все проходило на атмосферной площадке Кинопарка Москино, который открылся в 2024 году и где много локаций для съемок фильмов и прочих активностей.
Из приятно неожиданного - встретил там хорошего друга Евгения Добринского, который теперь поднимает нашу космическую отрасль!
#Activities
Из приятно неожиданного - встретил там хорошего друга Евгения Добринского, который теперь поднимает нашу космическую отрасль!
#Activities
👍2
Forwarded from Center for Cognitive Modeling
🎓 — Семинар 16. Алгоритмы глобальной локализации роботов с учетом карт знанийи | Александр Мелехин, Егор Пинкин, Григорий Карташов
Современные задачи автономной навигации роботов требуют высокоточной глобальной локализации в сложных и динамически меняющихся средах. Традиционные подходы, основанные на одном типе сенсоров — будь то лидары или камеры, — часто оказываются недостаточно устойчивыми к изменениям освещения, погоды или структуры пространства.
На семинаре будет представлен обзор и анализ мультимодальных и мультисенсорных нейросетевых методов распознавания места, которые комбинируют данные от лидаров, RGB-камер и их последовательностей для повышения точности и надёжности локализации. Особое внимание будет уделено алгоритмам, таким как OPR-Loc-MM, который демонстрирует значительное улучшение метрик (медианная ошибка позиции всего 0.41 м и ориентации 4.37°) за счёт интеграции визуальных и лидарных данных.
Мы обсудим разные методы — от лидарных (MinkLoc3D) и визуальных (MegaLoc) до мультимодальных (MSSPlace) и последовательностных (OPR-Loc-Seq) — позволяет создавать эффективные пайплайны для реальных робототехнических систем. Также будут затронуты вопросы баланса между точностью и временем инференса, что особенно важно для систем, работающих в реальном времени.
📹 Трансляция Youtube и ВК
Приглашаем всех, кто интересуется навигацией роботов, компьютерным зрением и применением нейросетевых методов в робототехнике! Присоединяйтесь прямо сейчас!
#RL
Современные задачи автономной навигации роботов требуют высокоточной глобальной локализации в сложных и динамически меняющихся средах. Традиционные подходы, основанные на одном типе сенсоров — будь то лидары или камеры, — часто оказываются недостаточно устойчивыми к изменениям освещения, погоды или структуры пространства.
На семинаре будет представлен обзор и анализ мультимодальных и мультисенсорных нейросетевых методов распознавания места, которые комбинируют данные от лидаров, RGB-камер и их последовательностей для повышения точности и надёжности локализации. Особое внимание будет уделено алгоритмам, таким как OPR-Loc-MM, который демонстрирует значительное улучшение метрик (медианная ошибка позиции всего 0.41 м и ориентации 4.37°) за счёт интеграции визуальных и лидарных данных.
Мы обсудим разные методы — от лидарных (MinkLoc3D) и визуальных (MegaLoc) до мультимодальных (MSSPlace) и последовательностных (OPR-Loc-Seq) — позволяет создавать эффективные пайплайны для реальных робототехнических систем. Также будут затронуты вопросы баланса между точностью и временем инференса, что особенно важно для систем, работающих в реальном времени.
📹 Трансляция Youtube и ВК
Приглашаем всех, кто интересуется навигацией роботов, компьютерным зрением и применением нейросетевых методов в робототехнике! Присоединяйтесь прямо сейчас!
#RL
🔥2