Forwarded from 3DMLx. PHGTLSM
Сегодня в нашем канале видимо день наглядных схем и графиков, поэтому считаем что вашего внимания заслуживает таксономия методов и задач глубокого обучения на облаках точек, предложенная авторами в обзорной статье:
Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L. and Bennamoun, M., 2020. Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence.
[https://arxiv.org/pdf/1912.12033.pdf]
Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L. and Bennamoun, M., 2020. Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence.
[https://arxiv.org/pdf/1912.12033.pdf]
Forwarded from 3DMLx. PHGTLSM
Новый инструмент от NVIDIA - Omniverse (https://developer.nvidia.com/nvidia-omniverse-platform) описывают создатели: Omniverse is a powerful, multi-GPU, real-time simulation and collaboration platform for 3D production pipelines based on Pixar's Universal Scene Denoscription and NVIDIA RTX™.
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Forwarded from 3DMLx. PHGTLSM
Открываем серии постов "Юмор и 3D ML".
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 5: Свертки на графах
В предыдущих заметках данной серии мы уже успели поговорить о датасетах и инструментах, функциях потерь и примерах прикладных задач, а сейчас пора перейти к “ядру” любой подобласти глубокого обучения...
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек
Мы уже успели поговорить про сверточные операторы на графах, а теперь посмотрим на реальные архитектуры. В этой заметке мы сравним между собой модели глубокого обучения, направленные на решение...
Всем привет, мы начинаем вести наш новый канал 3DML!
В канале мы будем публиковать все, что связано с наукой, лежащей на стыке машинного обучения, компьютерной графики и компьютерного зрения - 3D ML: фундаментальная и алгоритмическая основа Phygital технологий: алгоритмы лежащие в основе систем сканирования пространства, навигации беспилотников, генерации 3D контента, анализа сложных пространственных структур и много другого.
Здесь мы будем рассказывать вам о:
— новостях науки о геометрическом глубоком обучении,
— свежевышедших статьях и работах,
— экспериментах в этой области наших и от ведущих лабораторий со всего мира,
— бизнес-кейсах по данному направлению,
— конференциях и их итогах и многом другом.
Мы будем делиться собственным опытом разработки IT решений, связанных с 3D ML и phygital технологиями, нашими статьями и заметками которые мы пишем на различных платформах на эту тему (так на хабре мы ведём серию заметок “Введение в 3D ML”, на Medium публикуем заметки, связанные с Phygital).
В канале мы будем публиковать все, что связано с наукой, лежащей на стыке машинного обучения, компьютерной графики и компьютерного зрения - 3D ML: фундаментальная и алгоритмическая основа Phygital технологий: алгоритмы лежащие в основе систем сканирования пространства, навигации беспилотников, генерации 3D контента, анализа сложных пространственных структур и много другого.
Здесь мы будем рассказывать вам о:
— новостях науки о геометрическом глубоком обучении,
— свежевышедших статьях и работах,
— экспериментах в этой области наших и от ведущих лабораторий со всего мира,
— бизнес-кейсах по данному направлению,
— конференциях и их итогах и многом другом.
Мы будем делиться собственным опытом разработки IT решений, связанных с 3D ML и phygital технологиями, нашими статьями и заметками которые мы пишем на различных платформах на эту тему (так на хабре мы ведём серию заметок “Введение в 3D ML”, на Medium публикуем заметки, связанные с Phygital).
Есть несколько терминов которые описывают науку, возникшую на стыке CG, CV и ML. Помимо названия, которое мы используем для этого канала, также часто употребляют термины «Геометрическое компьютерное зрение / Geometrical computer vision” и «Геометрическое глубокое обучение / GDL”.
Статья, в которой по полочкам разложено, что такое геометрическое глубокое обучения - "M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, P. Vandergheynst, Geometric deep learning: going beyond Euclidean data, IEEE Signal Processing Magazine 2017". Всем, кто хотел бы получить первое научное представление об этой науке, строго рекомендовано к прочтению. Статья состоит из двух больших частей: первая - формальное введение в GDL, вторая - примеры приложения GDL в реальных задачах.
Помимо вводной статьи, авторы создали сайт GEOMETRIC DEEP LEARNING, посвященный данному направлению. На нем выложены списки конференций, статей, воркшопов и проектов по данному направлению, также рекомендуем посетить :)
Статья, в которой по полочкам разложено, что такое геометрическое глубокое обучения - "M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, P. Vandergheynst, Geometric deep learning: going beyond Euclidean data, IEEE Signal Processing Magazine 2017". Всем, кто хотел бы получить первое научное представление об этой науке, строго рекомендовано к прочтению. Статья состоит из двух больших частей: первая - формальное введение в GDL, вторая - примеры приложения GDL в реальных задачах.
Помимо вводной статьи, авторы создали сайт GEOMETRIC DEEP LEARNING, посвященный данному направлению. На нем выложены списки конференций, статей, воркшопов и проектов по данному направлению, также рекомендуем посетить :)
Кстати, в описанной выше статье присутствуют многочисленные поясняющие иллюстрации, которые обычно не оставляют равнодушным исследователя. По этому поводу в сообществе экспертов GDL даже завелся соответствующий мем.
Если вы для каждой картинки из этого мема можете подобрать не только смешное название, но и понять их реальное значение, можете считать, что вы поняли суть введения в GDL ;)
Если вы для каждой картинки из этого мема можете подобрать не только смешное название, но и понять их реальное значение, можете считать, что вы поняли суть введения в GDL ;)
Мы выпустили первый PHYGITAL PODCAST, посвященный 3D ML технологиям!
Найти достоверную информацию о машинном обучении не всегда просто, и иногда можно упустить из вида крутые разработки или открытия. В подкасте мы собрали самые интересные новинки из области нейронного рендеринга, машинного обучения, компьютерной графики, и других технологий из области 3DML и PHYGITAL.
В пилотном выпуске мы поговорили о том, как сконструировать движок из кода ДНК, как научить телефон снимать пространственное селфи и затронули еще много интересных тем 🙂
Переходите по ссылке и делитесь впечатлением!
Найти достоверную информацию о машинном обучении не всегда просто, и иногда можно упустить из вида крутые разработки или открытия. В подкасте мы собрали самые интересные новинки из области нейронного рендеринга, машинного обучения, компьютерной графики, и других технологий из области 3DML и PHYGITAL.
В пилотном выпуске мы поговорили о том, как сконструировать движок из кода ДНК, как научить телефон снимать пространственное селфи и затронули еще много интересных тем 🙂
Переходите по ссылке и делитесь впечатлением!
YouTube
PHYGITAL PODCAST #1 / Итоги прошедшего года, интересные статьи и проекты из мира 3D ML и PHYGITAL
PHYGITAL PODCAST #1. Итоги прошедшего 2020 года, интересные статьи и проекты и многое другое из мира 3D ML и PHYGITAL.
Мы команда PHYGITALISM, иммерсивные технологии - наша страсть. Реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными…
Мы команда PHYGITALISM, иммерсивные технологии - наша страсть. Реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными…
Пожалуй, всем исследователям знаком ресурс https://arxiv.org/ - место размещение электронных препринтов научных статей.
Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:
- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек
Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:
- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек
На днях Google research выкатили новую библиотеку в экосистеме TensorFlow - TensorFlow 3D. Ничего не напоминает?) Библиотека пока очень сырая, со скудной документацией и малым количеством примеров. Будем следить за этой библиотекой и посмотрим во что она вырастет в будущем, но уже сейчас видно аналогию: TensorFlow Graphics + TensorFlow 3D и PyTorch Geometric + PyTorch 3D. В индустрии в последние годы явно наметился тренд на 3D ML, чему мы безусловно рады.
Про другие фреймворки основные и вспомогательные и датасеты в 3D ML можно почитать в нашей заметке.
Кстати если вы ищите инструменты или модели для работы с облаками точек, но не знаете с чего начать поиск, то вот вам три полезные ссылки:
1. Репозиторий с полезными инструментами
2. Репозиторий с работами в этой области по годам выхода
3. Репозиторий с работами в этой области по задачам
В общем, находите себе нужный молоток и гвозди и долбите тот кусок гранита науки, что отвечает за 3D ML)
Про другие фреймворки основные и вспомогательные и датасеты в 3D ML можно почитать в нашей заметке.
Кстати если вы ищите инструменты или модели для работы с облаками точек, но не знаете с чего начать поиск, то вот вам три полезные ссылки:
1. Репозиторий с полезными инструментами
2. Репозиторий с работами в этой области по годам выхода
3. Репозиторий с работами в этой области по задачам
В общем, находите себе нужный молоток и гвозди и долбите тот кусок гранита науки, что отвечает за 3D ML)
Вы наверняка слышали про технологию повышения разрешения изображений нейросетевыми методами (т.н. Neural super sampling). Правильно настроенная и оптимизированная, эта технология позволяет экономить вычислительные ресурсы при сохранении качества картинки (рендерим картинку в Full HD и делаем апсемплинг до 4К, что быстрее честного рендеринга в 4К).
NVIDIA уже использует эту технологию нативно на своих видеокартах с поддержкой TPU и CUDA, а с недавнего времени предоставляет доступ к управлению этой технологии напрямую в игровые движки - например: DLSS for Unreal Engine.
Экономить время на прорисовку высококачественной графики не только полезная функция для видеоигр, но важная опора для графике в VR приложениях, где предъявляются повышенные требования к FPS и качеству. Кстати, про то, как связаны разные аспекты в компьютерной графике и их восприятие человеком на хабре есть очень интересная серия заметок.
В общем, нейронные сети теперь будут скейлить картинки в видеоиграх и в VR шлемах, чему мы очень рады!)
NVIDIA уже использует эту технологию нативно на своих видеокартах с поддержкой TPU и CUDA, а с недавнего времени предоставляет доступ к управлению этой технологии напрямую в игровые движки - например: DLSS for Unreal Engine.
Экономить время на прорисовку высококачественной графики не только полезная функция для видеоигр, но важная опора для графике в VR приложениях, где предъявляются повышенные требования к FPS и качеству. Кстати, про то, как связаны разные аспекты в компьютерной графике и их восприятие человеком на хабре есть очень интересная серия заметок.
В общем, нейронные сети теперь будут скейлить картинки в видеоиграх и в VR шлемах, чему мы очень рады!)
Данные в машинном обучении - главная составляющая успеха: если данные разнообразные, их много и они хорошо организованы, то с высокой степенью уверенности мы сможем хорошо решить задачу на основе этих данных. Иногда так случается, что данные в дисбалансе. В этом случае полезным оказывается подход синтетического генератора данных. Также подход синтетических данных позволяет генерировать датасет для такого класса объектов и ситуаций, которые важно детектировать, но в жизни такие данные встречаются редко (например, сигналы от датчиков на заводе во время взрыва реактора).
Сегодня мы выпустили заметку на хабре “Компьютерное зрение в промышленной дефектоскопии: Часть 2 “Генерируем стремные трубы, чтобы порадовать нейронку” в которой мы рассказали о том как конструировали генератор синтетических данных в одном из наших проектов.
В заметке есть примеры кода по генерации змеевиков в Blender и много красивых картиночек. Будем рады комментариям, замечаниям и картиночкам ваших собственных миров, состоящих из труб).
Сегодня мы выпустили заметку на хабре “Компьютерное зрение в промышленной дефектоскопии: Часть 2 “Генерируем стремные трубы, чтобы порадовать нейронку” в которой мы рассказали о том как конструировали генератор синтетических данных в одном из наших проектов.
В заметке есть примеры кода по генерации змеевиков в Blender и много красивых картиночек. Будем рады комментариям, замечаниям и картиночкам ваших собственных миров, состоящих из труб).
Media is too big
VIEW IN TELEGRAM
Бесконечно смотреть можно на три вещи: огонь, воду и на сгенерированные анимации параметрических моделей человеческих тел.
Работа с геометрией человеческого лица и тела (восстановление геометрии по изображениям, замена лиц и поз) - важная практическая задача из области 3D ML.
В этом репозитории на гитхабе собраны различные параметрические модели лиц и тел, алгоритмы и проекты по работе с ними и многое другое, связанное с геометрией человеческих тел.
А какая из этих анимаций сегодня ты?
Работа с геометрией человеческого лица и тела (восстановление геометрии по изображениям, замена лиц и поз) - важная практическая задача из области 3D ML.
В этом репозитории на гитхабе собраны различные параметрические модели лиц и тел, алгоритмы и проекты по работе с ними и многое другое, связанное с геометрией человеческих тел.
А какая из этих анимаций сегодня ты?