Forwarded from 3DMLx. PHGTLSM
#3dml #3d reconstruction #2d-to-3d
Британское исследовательское агентство Forensic Architecture, специализирующееся на создании архитектурных и мультимедийных моделей, которые используют международные группы расследователей, правозащитники из Amnesty international и спецдокладчики ООН, восстановило хронологию взрыва в Бейруте (событие произошло 4 августа 2020 года в порту города Бейрут) и картину разрушений.
Здесь можно посмотреть оригинальный отчет и видеоролик с реконструкцией: https://forensic-architecture.org/investigation/beirut-port-explosion
Пост Медузы с видеороликом: https://meduza.io/feature/2020/11/20/pomnite-kolossalnyy-vzryv-v-beyrute-posmotrite-video-v-kotorom-sopostavleny-s-emki-iz-raznyh-chastey-goroda-i-vossozdana-hronologiya-katastrofy
Примечательно, что с технической точки зрения, здесь была решена задача 2D-to-3D реконструкции. на основе множества видеороликов заснятых в разные моменты взрыва с разных позиций. Несмотря на то, что все данные и 3D модели были получены в ручную или с помощью алгоритмов классического компьютерного зрения, данный кейс является замечательным ориентиром для всех, кто хотел бы увидеть потенциальные применения алгоритмов 3D ML.
Возможно уже через несколько лет, чтобы получить такое качество при восстановлении событий, запечатленных на множество камер, не нужно будет участие человека и этот процесс станет полностью автоматическим как раз благодаря развитию алгоритмов 3D ML.
А что думаете вы: где можно представить кроме анализа катастроф применение подобных алгоритмов?
Британское исследовательское агентство Forensic Architecture, специализирующееся на создании архитектурных и мультимедийных моделей, которые используют международные группы расследователей, правозащитники из Amnesty international и спецдокладчики ООН, восстановило хронологию взрыва в Бейруте (событие произошло 4 августа 2020 года в порту города Бейрут) и картину разрушений.
Здесь можно посмотреть оригинальный отчет и видеоролик с реконструкцией: https://forensic-architecture.org/investigation/beirut-port-explosion
Пост Медузы с видеороликом: https://meduza.io/feature/2020/11/20/pomnite-kolossalnyy-vzryv-v-beyrute-posmotrite-video-v-kotorom-sopostavleny-s-emki-iz-raznyh-chastey-goroda-i-vossozdana-hronologiya-katastrofy
Примечательно, что с технической точки зрения, здесь была решена задача 2D-to-3D реконструкции. на основе множества видеороликов заснятых в разные моменты взрыва с разных позиций. Несмотря на то, что все данные и 3D модели были получены в ручную или с помощью алгоритмов классического компьютерного зрения, данный кейс является замечательным ориентиром для всех, кто хотел бы увидеть потенциальные применения алгоритмов 3D ML.
Возможно уже через несколько лет, чтобы получить такое качество при восстановлении событий, запечатленных на множество камер, не нужно будет участие человека и этот процесс станет полностью автоматическим как раз благодаря развитию алгоритмов 3D ML.
А что думаете вы: где можно представить кроме анализа катастроф применение подобных алгоритмов?
forensic-architecture.org
The Beirut Port Explosion
The explosions that ripped through the port of Beirut in 2020 devastated the city, leaving as many as 300,000 homeless. Following calls for an independent investigation, we mapped the contents of the warehouse where the blast originated and the spread of…
Forwarded from 3DMLx. PHGTLSM
Сегодня в нашем канале видимо день наглядных схем и графиков, поэтому считаем что вашего внимания заслуживает таксономия методов и задач глубокого обучения на облаках точек, предложенная авторами в обзорной статье:
Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L. and Bennamoun, M., 2020. Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence.
[https://arxiv.org/pdf/1912.12033.pdf]
Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L. and Bennamoun, M., 2020. Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence.
[https://arxiv.org/pdf/1912.12033.pdf]
Forwarded from 3DMLx. PHGTLSM
Новый инструмент от NVIDIA - Omniverse (https://developer.nvidia.com/nvidia-omniverse-platform) описывают создатели: Omniverse is a powerful, multi-GPU, real-time simulation and collaboration platform for 3D production pipelines based on Pixar's Universal Scene Denoscription and NVIDIA RTX™.
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Forwarded from 3DMLx. PHGTLSM
Открываем серии постов "Юмор и 3D ML".
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 5: Свертки на графах
В предыдущих заметках данной серии мы уже успели поговорить о датасетах и инструментах, функциях потерь и примерах прикладных задач, а сейчас пора перейти к “ядру” любой подобласти глубокого обучения...
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек
Мы уже успели поговорить про сверточные операторы на графах, а теперь посмотрим на реальные архитектуры. В этой заметке мы сравним между собой модели глубокого обучения, направленные на решение...
