#3dml #3d reconstruction #2d-to-3d

Британское исследовательское агентство Forensic Architecture, специализирующееся на создании архитектурных и мультимедийных моделей, которые используют международные группы расследователей, правозащитники из Amnesty international и спецдокладчики ООН, восстановило хронологию взрыва в Бейруте (событие произошло 4 августа 2020 года в порту города Бейрут) и картину разрушений.

Здесь можно посмотреть оригинальный отчет и видеоролик с реконструкцией: https://forensic-architecture.org/investigation/beirut-port-explosion

Пост Медузы с видеороликом: https://meduza.io/feature/2020/11/20/pomnite-kolossalnyy-vzryv-v-beyrute-posmotrite-video-v-kotorom-sopostavleny-s-emki-iz-raznyh-chastey-goroda-i-vossozdana-hronologiya-katastrofy

Примечательно, что с технической точки зрения, здесь была решена задача 2D-to-3D реконструкции. на основе множества видеороликов заснятых в разные моменты взрыва с разных позиций. Несмотря на то, что все данные и 3D модели были получены в ручную или с помощью алгоритмов классического компьютерного зрения, данный кейс является замечательным ориентиром для всех, кто хотел бы увидеть потенциальные применения алгоритмов 3D ML.

Возможно уже через несколько лет, чтобы получить такое качество при восстановлении событий, запечатленных на множество камер, не нужно будет участие человека и этот процесс станет полностью автоматическим как раз благодаря развитию алгоритмов 3D ML.

А что думаете вы: где можно представить кроме анализа катастроф применение подобных алгоритмов?

Сегодня в нашем канале видимо день наглядных схем и графиков, поэтому считаем что вашего внимания заслуживает таксономия методов и задач глубокого обучения на облаках точек, предложенная авторами в обзорной статье:

Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L. and Bennamoun, M., 2020. Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence.
[https://arxiv.org/pdf/1912.12033.pdf]

Новый инструмент от NVIDIA - Omniverse (https://developer.nvidia.com/nvidia-omniverse-platform) описывают создатели: Omniverse is a powerful, multi-GPU, real-time simulation and collaboration platform for 3D production pipelines based on Pixar's Universal Scene Denoscription and NVIDIA RTX™.

Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.

Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)

Открываем серии постов "Юмор и 3D ML".

Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).

Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics

https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf

Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.

Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)

В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.

Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).

Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)

В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).

В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.

Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).

Всем привет, мы начинаем вести наш новый канал 3DML!

В канале мы будем публиковать все, что связано с наукой, лежащей на стыке машинного обучения, компьютерной графики и компьютерного зрения - 3D ML: фундаментальная и алгоритмическая основа Phygital технологий: алгоритмы лежащие в основе систем сканирования пространства, навигации беспилотников, генерации 3D контента, анализа сложных пространственных структур и много другого.

Здесь мы будем рассказывать вам о:
— новостях науки о геометрическом глубоком обучении,
— свежевышедших статьях и работах,
— экспериментах в этой области наших и от ведущих лабораторий со всего мира,
— бизнес-кейсах по данному направлению,
— конференциях и их итогах и многом другом.

Мы будем делиться собственным опытом разработки IT решений, связанных с 3D ML и phygital технологиями, нашими статьями и заметками которые мы пишем на различных платформах на эту тему (так на хабре мы ведём серию заметок “Введение в 3D ML”, на Medium публикуем заметки, связанные с Phygital).

Есть несколько терминов которые описывают науку, возникшую на стыке CG, CV и ML. Помимо названия, которое мы используем для этого канала, также часто употребляют термины «Геометрическое компьютерное зрение / Geometrical computer vision” и «Геометрическое глубокое обучение / GDL”.

Статья, в которой по полочкам разложено, что такое геометрическое глубокое обучения - "M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, P. Vandergheynst, Geometric deep learning: going beyond Euclidean data, IEEE Signal Processing Magazine 2017". Всем, кто хотел бы получить первое научное представление об этой науке, строго рекомендовано к прочтению. Статья состоит из двух больших частей: первая - формальное введение в GDL, вторая - примеры приложения GDL в реальных задачах.

Помимо вводной статьи, авторы создали сайт GEOMETRIC DEEP LEARNING, посвященный данному направлению. На нем выложены списки конференций, статей, воркшопов и проектов по данному направлению, также рекомендуем посетить :)

Кстати, в описанной выше статье присутствуют многочисленные поясняющие иллюстрации, которые обычно не оставляют равнодушным исследователя. По этому поводу в сообществе экспертов GDL даже завелся соответствующий мем.

Если вы для каждой картинки из этого мема можете подобрать не только смешное название, но и понять их реальное значение, можете считать, что вы поняли суть введения в GDL ;)

Мы выпустили первый PHYGITAL PODCAST, посвященный 3D ML технологиям!

Найти достоверную информацию о машинном обучении не всегда просто, и иногда можно упустить из вида крутые разработки или открытия. В подкасте мы собрали самые интересные новинки из области нейронного рендеринга, машинного обучения, компьютерной графики, и других технологий из области 3DML и PHYGITAL.

В пилотном выпуске мы поговорили о том, как сконструировать движок из кода ДНК, как научить телефон снимать пространственное селфи и затронули еще много интересных тем 🙂

Переходите по ссылке и делитесь впечатлением!