В прошлую субботу на ЛЦТ Фест объявили победителей Хакатонов "Лидеры Цифровой Трансформации" (см. видео): наша команда ITL-Mapper стала призером по направлению "Редактор лидарных карт для автоматического удаления динамических объектов", заняв 2 место среди 38 команд! 🍾🎉

За три недели мы реализовали алгоритмы нейросетевой сегментации облаков точек, которые были получены с лидара, установленного на беспилотном трамвае в Москве. Мы даже успели добавить в наше десктопное приложение сегментацию по клику мыши на основе относительно свежего метода PointSAM.

В команду вошли Владислав Дюжев, Александр Лазарев, Леонид Иванов, Виталий Илюхин и я. Хочу отметить самоотверженность, с которой ребята подошли к решению задачи и теперь даже независимо от оценок жюри мы имеем собственный полезный инструмент для удаления динамических объектов с уличных карт, что уже протестировано на данных электрической газели.

PS. Код решения мы планируем в ближайшее время выложить в открытый доступ

#Activities #Challenge

Итак, настало время постов с прошедшей на прошлой неделe конференции IROS.

И открывает их хокку, на которое вдохновил меня Сергей Марков 😉

Лежит под столом
Скомканный утром постер -
Лишь новый висит.

Пост про тренды IROS-2025. Вообще IROS охватывает практические любые темы по интеллектуальной робототехнике (всего в сборнике трудов 2672 доклада, и это не считая воркшопов, которых было несколько десятков). Я анализировал тренды по компьютерному зрению, и по каждому из них выбрал по паре релевантных статей с открытым кодом, которые можно попробовать.

Тренд 1. Эффективные пространственные представления, такие как нейронные поля яркости, визуально-языковые мультимодальные признаки, позволяют повышать качество распознавания объектов/сцены роботами

- FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields (Award Finalist) (статья)(проект). Авторы: Lukas Meyer, Andrei-Timotei Ardelean, Tim Weyrich, and Marc Stamminger (Friedrich‑Alexander‑Universität Erlangen‑Nürnberg‑Fürth). В этой статье авторы показали, что применение нейронных полей яркости NeRF вместе с семантической информацией о масках объектов, позволяет повысить качество обнаружения и подсчета фруктов.

- Zero-Shot Semantic Segmentation for Robots in Agriculture (Award Finalist) (статья)(код ) Авторы: Yue Linn Chong, Lucas Nunes, Federico Magistri, Xingguang Zhong, Jens Behley, Cyrill Stachniss (University of Bonn, Lamarr Institute for Machine Learning and Artificial Intelligence). В этой работе продемонстрировано, что концепция Bag-of-Features на основе SAM+BioCLIP (извлечения визуально-языковых признаков) позволила решить проблему сегментации аномальных объектов, которых не было в обучающей выборке.

- К этому тренду в некоторой степени относится наша работа PRISM-TopoMap: Online Topological Mapping with Place Recognition and Scan Matching (статья)(код). Авторы: K.Mouraviev, A. Melekhin, D.Yudin, K. Yakovlev (MIPT, AIRI, FRC CSC RAS, HSE) . В ней мы показали, что использование мультимодальных представлений данных камеры и лидара позволяет более качественно решать задачи распознавания места и построения топологической карты. Прикладываю фото с нашего постера со всеми соавторами.

#IROS2025 #Papers

Тренд 2. Активное очувствление, которое предполагает управление перемещением робота / сенсора, чтобы максимизировать качество алгоритмов очувствления, например, сегментации, детекции, 3D/4D реконструкции

- ActiveGS: Active Scene Reconstruction Using Gaussian Splatting (статья)(код). Авторы: Liren Jin; Xingguang Zhong; Yue Pan; Jens Behley; Cyrill Stachniss; Marija Popovic (University of Bonn, TU Delft). В этой работе показано, что активное управление камерой позволяет более качественно реконструировать сцену (например, с помощью гауссовского сплаттинга) благодаря учету недореконструированных и неисследованных областей.

- ViewActive: Active viewpoint optimization from a single image (статья)(код-ожидается). Авторы: Jiayi Wu, Xiaomin Lin, Botao He, Cornelia FermÅNuller, Yiannis Aloimonos (University of Maryland). В этой статье продемонстрировано, что трехмерное поле ракурсов позволяет создать планировщик который постепенно улучшает видимость объекта и качество его распознавания.

#IROS2025 #References

Тренд 3. Навигация в открытом мире (Open World Navigation) на пересеченной местности, в условиях динамических препятствий и изменяющейся среды.

- Autonomous Hiking Trail Navigation Via Semantic Segmentation and Geometric Analysis (Award Finalist) (статья)(датасет) Авторы: Reed, Camndon; Tatsch, Christopher; Gross, Jason ; Gu, Yu (West Virginia University). В этой работе показано, что построение семантической 3D-карты по данным камеры и лидара позволяют более эффективно решать задачу планирования на пересеченной местности.

- DRACo-SLAM2: Distributed Robust Acoustic Communication-Efficient SLAM for Imaging Sonar Equipped Underwater Robot Teams with Object Graph Matching (Award Finalist) (код) Авторы: Huang, Yewei (Dartmouth College), McConnell, John (United States Naval Academy) Lin, Xi; Englot, Brendan (Stevens Institute of Technology). В этой работе продемонстрировано, что построение графа подводных объектов на основе процедуры кластеризации позволяет повысить качество глобальной локализации подводного робота.

- MR-COGraphs: Communication-efficient Multi-Robot Open-vocabulary Mapping System via 3D Scene Graphs. (статья)(код) Авторы: Gu, Q., Ye, Z., Yu, J., Tang, J., Yi, T., Dong, Y., ... & Wang, Y. (Tsinghua University). Эта статья иллюстрирует, что совместное построение 3D графов сцены несколькими роботами позволяет повысить качество построения семантических карт.

#IROS2025 #References