Forwarded from 3DMLx. PHGTLSM
Новый инструмент от NVIDIA - Omniverse (https://developer.nvidia.com/nvidia-omniverse-platform) описывают создатели: Omniverse is a powerful, multi-GPU, real-time simulation and collaboration platform for 3D production pipelines based on Pixar's Universal Scene Denoscription and NVIDIA RTX™.
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Примечательно что в скором времени в него решили вркутить библиотеку Kaolin (два дня назад Kaolin обновился до версии 0.9), а это значит библиотека жива и доступ к ее функционалу получат и пользователи, которые не хотят взаимодействовать с 3D пайплайнами через код.
Удалось ли исправить кучу багов в библиотеке и насколько удобен новый инструмент скоро узнаем, но во всяком случае отметим продолжающийся тренд по развитию 3D ML фреймворков.)
Forwarded from 3DMLx. PHGTLSM
Открываем серии постов "Юмор и 3D ML".
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Инфо: в 3D ML важную роль играют свертки на графах (на эту тему ожидайте от нас статью на хабре сегодня).
Для тех кто хочет поиграться с подобными операторами есть возможность запустить в Google colab пример из библиотеки TensorFlow Graphics
https://colab.research.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
В данном ноутбуке используется оператор из работы https://arxiv.org/pdf/1706.05206.pdf
Подпись к картинки: исследователь на разной стадии готовности его статьи по 3D ML.
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 5: свертки на графах" (https://habr.com/ru/company/itmai/blog/533746/)
В этой заметке, мы на примере задач распознавания изображений рассмотрели задачу конструирования сверток на регулярных сетках, а потом обобщили этот оператор на произвольные графы. Есть примеры кода на Python на основе библиотек NetworkX и PyTorch Geometric.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 5: Свертки на графах
В предыдущих заметках данной серии мы уже успели поговорить о датасетах и инструментах, функциях потерь и примерах прикладных задач, а сейчас пора перейти к “ядру” любой подобласти глубокого обучения...
Forwarded from 3DMLx. PHGTLSM
Всем привет!
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Мы выпустили новую статью из серии 3D ML.
"3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек" (https://habr.com/ru/company/itmai/blog/534036/)
В этой заметке, мы рассматриваем различные алгоритмы семантической сегментации облака точек (все алгоритмы разделены на группы на основе базового представления данных или базового принципа для выделения признаков).
В статье есть ссылки на все статьи и код проектов. Приведены метрики на популярных датасетах.
Всем исследователям в области 3D ML и интересующимся рекомендуем ознакомиться =).
Хабр
3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек
Мы уже успели поговорить про сверточные операторы на графах, а теперь посмотрим на реальные архитектуры. В этой заметке мы сравним между собой модели глубокого обучения, направленные на решение...
Всем привет, мы начинаем вести наш новый канал 3DML!
В канале мы будем публиковать все, что связано с наукой, лежащей на стыке машинного обучения, компьютерной графики и компьютерного зрения - 3D ML: фундаментальная и алгоритмическая основа Phygital технологий: алгоритмы лежащие в основе систем сканирования пространства, навигации беспилотников, генерации 3D контента, анализа сложных пространственных структур и много другого.
Здесь мы будем рассказывать вам о:
— новостях науки о геометрическом глубоком обучении,
— свежевышедших статьях и работах,
— экспериментах в этой области наших и от ведущих лабораторий со всего мира,
— бизнес-кейсах по данному направлению,
— конференциях и их итогах и многом другом.
Мы будем делиться собственным опытом разработки IT решений, связанных с 3D ML и phygital технологиями, нашими статьями и заметками которые мы пишем на различных платформах на эту тему (так на хабре мы ведём серию заметок “Введение в 3D ML”, на Medium публикуем заметки, связанные с Phygital).
В канале мы будем публиковать все, что связано с наукой, лежащей на стыке машинного обучения, компьютерной графики и компьютерного зрения - 3D ML: фундаментальная и алгоритмическая основа Phygital технологий: алгоритмы лежащие в основе систем сканирования пространства, навигации беспилотников, генерации 3D контента, анализа сложных пространственных структур и много другого.
Здесь мы будем рассказывать вам о:
— новостях науки о геометрическом глубоком обучении,
— свежевышедших статьях и работах,
— экспериментах в этой области наших и от ведущих лабораторий со всего мира,
— бизнес-кейсах по данному направлению,
— конференциях и их итогах и многом другом.
Мы будем делиться собственным опытом разработки IT решений, связанных с 3D ML и phygital технологиями, нашими статьями и заметками которые мы пишем на различных платформах на эту тему (так на хабре мы ведём серию заметок “Введение в 3D ML”, на Medium публикуем заметки, связанные с Phygital).
Есть несколько терминов которые описывают науку, возникшую на стыке CG, CV и ML. Помимо названия, которое мы используем для этого канала, также часто употребляют термины «Геометрическое компьютерное зрение / Geometrical computer vision” и «Геометрическое глубокое обучение / GDL”.
Статья, в которой по полочкам разложено, что такое геометрическое глубокое обучения - "M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, P. Vandergheynst, Geometric deep learning: going beyond Euclidean data, IEEE Signal Processing Magazine 2017". Всем, кто хотел бы получить первое научное представление об этой науке, строго рекомендовано к прочтению. Статья состоит из двух больших частей: первая - формальное введение в GDL, вторая - примеры приложения GDL в реальных задачах.
Помимо вводной статьи, авторы создали сайт GEOMETRIC DEEP LEARNING, посвященный данному направлению. На нем выложены списки конференций, статей, воркшопов и проектов по данному направлению, также рекомендуем посетить :)
Статья, в которой по полочкам разложено, что такое геометрическое глубокое обучения - "M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, P. Vandergheynst, Geometric deep learning: going beyond Euclidean data, IEEE Signal Processing Magazine 2017". Всем, кто хотел бы получить первое научное представление об этой науке, строго рекомендовано к прочтению. Статья состоит из двух больших частей: первая - формальное введение в GDL, вторая - примеры приложения GDL в реальных задачах.
Помимо вводной статьи, авторы создали сайт GEOMETRIC DEEP LEARNING, посвященный данному направлению. На нем выложены списки конференций, статей, воркшопов и проектов по данному направлению, также рекомендуем посетить :)
Кстати, в описанной выше статье присутствуют многочисленные поясняющие иллюстрации, которые обычно не оставляют равнодушным исследователя. По этому поводу в сообществе экспертов GDL даже завелся соответствующий мем.
Если вы для каждой картинки из этого мема можете подобрать не только смешное название, но и понять их реальное значение, можете считать, что вы поняли суть введения в GDL ;)
Если вы для каждой картинки из этого мема можете подобрать не только смешное название, но и понять их реальное значение, можете считать, что вы поняли суть введения в GDL ;)
Мы выпустили первый PHYGITAL PODCAST, посвященный 3D ML технологиям!
Найти достоверную информацию о машинном обучении не всегда просто, и иногда можно упустить из вида крутые разработки или открытия. В подкасте мы собрали самые интересные новинки из области нейронного рендеринга, машинного обучения, компьютерной графики, и других технологий из области 3DML и PHYGITAL.
В пилотном выпуске мы поговорили о том, как сконструировать движок из кода ДНК, как научить телефон снимать пространственное селфи и затронули еще много интересных тем 🙂
Переходите по ссылке и делитесь впечатлением!
Найти достоверную информацию о машинном обучении не всегда просто, и иногда можно упустить из вида крутые разработки или открытия. В подкасте мы собрали самые интересные новинки из области нейронного рендеринга, машинного обучения, компьютерной графики, и других технологий из области 3DML и PHYGITAL.
В пилотном выпуске мы поговорили о том, как сконструировать движок из кода ДНК, как научить телефон снимать пространственное селфи и затронули еще много интересных тем 🙂
Переходите по ссылке и делитесь впечатлением!
YouTube
PHYGITAL PODCAST #1 / Итоги прошедшего года, интересные статьи и проекты из мира 3D ML и PHYGITAL
PHYGITAL PODCAST #1. Итоги прошедшего 2020 года, интересные статьи и проекты и многое другое из мира 3D ML и PHYGITAL.
Мы команда PHYGITALISM, иммерсивные технологии - наша страсть. Реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными…
Мы команда PHYGITALISM, иммерсивные технологии - наша страсть. Реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными…
Пожалуй, всем исследователям знаком ресурс https://arxiv.org/ - место размещение электронных препринтов научных статей.
Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:
- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек
Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:
- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек
На днях Google research выкатили новую библиотеку в экосистеме TensorFlow - TensorFlow 3D. Ничего не напоминает?) Библиотека пока очень сырая, со скудной документацией и малым количеством примеров. Будем следить за этой библиотекой и посмотрим во что она вырастет в будущем, но уже сейчас видно аналогию: TensorFlow Graphics + TensorFlow 3D и PyTorch Geometric + PyTorch 3D. В индустрии в последние годы явно наметился тренд на 3D ML, чему мы безусловно рады.
Про другие фреймворки основные и вспомогательные и датасеты в 3D ML можно почитать в нашей заметке.
Кстати если вы ищите инструменты или модели для работы с облаками точек, но не знаете с чего начать поиск, то вот вам три полезные ссылки:
1. Репозиторий с полезными инструментами
2. Репозиторий с работами в этой области по годам выхода
3. Репозиторий с работами в этой области по задачам
В общем, находите себе нужный молоток и гвозди и долбите тот кусок гранита науки, что отвечает за 3D ML)
Про другие фреймворки основные и вспомогательные и датасеты в 3D ML можно почитать в нашей заметке.
Кстати если вы ищите инструменты или модели для работы с облаками точек, но не знаете с чего начать поиск, то вот вам три полезные ссылки:
1. Репозиторий с полезными инструментами
2. Репозиторий с работами в этой области по годам выхода
3. Репозиторий с работами в этой области по задачам
В общем, находите себе нужный молоток и гвозди и долбите тот кусок гранита науки, что отвечает за 3D ML)
Вы наверняка слышали про технологию повышения разрешения изображений нейросетевыми методами (т.н. Neural super sampling). Правильно настроенная и оптимизированная, эта технология позволяет экономить вычислительные ресурсы при сохранении качества картинки (рендерим картинку в Full HD и делаем апсемплинг до 4К, что быстрее честного рендеринга в 4К).
NVIDIA уже использует эту технологию нативно на своих видеокартах с поддержкой TPU и CUDA, а с недавнего времени предоставляет доступ к управлению этой технологии напрямую в игровые движки - например: DLSS for Unreal Engine.
Экономить время на прорисовку высококачественной графики не только полезная функция для видеоигр, но важная опора для графике в VR приложениях, где предъявляются повышенные требования к FPS и качеству. Кстати, про то, как связаны разные аспекты в компьютерной графике и их восприятие человеком на хабре есть очень интересная серия заметок.
В общем, нейронные сети теперь будут скейлить картинки в видеоиграх и в VR шлемах, чему мы очень рады!)
NVIDIA уже использует эту технологию нативно на своих видеокартах с поддержкой TPU и CUDA, а с недавнего времени предоставляет доступ к управлению этой технологии напрямую в игровые движки - например: DLSS for Unreal Engine.
Экономить время на прорисовку высококачественной графики не только полезная функция для видеоигр, но важная опора для графике в VR приложениях, где предъявляются повышенные требования к FPS и качеству. Кстати, про то, как связаны разные аспекты в компьютерной графике и их восприятие человеком на хабре есть очень интересная серия заметок.
В общем, нейронные сети теперь будут скейлить картинки в видеоиграх и в VR шлемах, чему мы очень рады!)
Данные в машинном обучении - главная составляющая успеха: если данные разнообразные, их много и они хорошо организованы, то с высокой степенью уверенности мы сможем хорошо решить задачу на основе этих данных. Иногда так случается, что данные в дисбалансе. В этом случае полезным оказывается подход синтетического генератора данных. Также подход синтетических данных позволяет генерировать датасет для такого класса объектов и ситуаций, которые важно детектировать, но в жизни такие данные встречаются редко (например, сигналы от датчиков на заводе во время взрыва реактора).
Сегодня мы выпустили заметку на хабре “Компьютерное зрение в промышленной дефектоскопии: Часть 2 “Генерируем стремные трубы, чтобы порадовать нейронку” в которой мы рассказали о том как конструировали генератор синтетических данных в одном из наших проектов.
В заметке есть примеры кода по генерации змеевиков в Blender и много красивых картиночек. Будем рады комментариям, замечаниям и картиночкам ваших собственных миров, состоящих из труб).
Сегодня мы выпустили заметку на хабре “Компьютерное зрение в промышленной дефектоскопии: Часть 2 “Генерируем стремные трубы, чтобы порадовать нейронку” в которой мы рассказали о том как конструировали генератор синтетических данных в одном из наших проектов.
В заметке есть примеры кода по генерации змеевиков в Blender и много красивых картиночек. Будем рады комментариям, замечаниям и картиночкам ваших собственных миров, состоящих из труб).
Media is too big
VIEW IN TELEGRAM
Бесконечно смотреть можно на три вещи: огонь, воду и на сгенерированные анимации параметрических моделей человеческих тел.
Работа с геометрией человеческого лица и тела (восстановление геометрии по изображениям, замена лиц и поз) - важная практическая задача из области 3D ML.
В этом репозитории на гитхабе собраны различные параметрические модели лиц и тел, алгоритмы и проекты по работе с ними и многое другое, связанное с геометрией человеческих тел.
А какая из этих анимаций сегодня ты?
Работа с геометрией человеческого лица и тела (восстановление геометрии по изображениям, замена лиц и поз) - важная практическая задача из области 3D ML.
В этом репозитории на гитхабе собраны различные параметрические модели лиц и тел, алгоритмы и проекты по работе с ними и многое другое, связанное с геометрией человеческих тел.
А какая из этих анимаций сегодня ты?
This media is not supported in your browser
VIEW IN TELEGRAM
На прошлой неделе мы писали о выходе нового 3D ML фреймворка от Google - TensorFlow 3D и PyTorch 3D (будем надеяться, что 1С 3D нам не доведется увидеть).
Не так давно вышла новая версия pytorch 3d (0.4.0), вот что нового мы там увидели:
- Volumes Datastructure
- Raysamplers
- Raymarchers
- Implicit/Volume Renderer
- Pointclouds to Volumes conversion
По каждой новой фиче добавили туториал в виде jupyter notebook + пофиксили разные мелкие баги и добавили парочку новых утилит.
Приятно видеть, что авторы не забрасывают свое творение и регулярно его совершенствуют. PyTorch 3D уже был замечен в имплементациях SOTA работ из области 3D ML (например DECA).
А вы уже пользовались PyTorch 3D, что об этом думаете?
Не так давно вышла новая версия pytorch 3d (0.4.0), вот что нового мы там увидели:
- Volumes Datastructure
- Raysamplers
- Raymarchers
- Implicit/Volume Renderer
- Pointclouds to Volumes conversion
По каждой новой фиче добавили туториал в виде jupyter notebook + пофиксили разные мелкие баги и добавили парочку новых утилит.
Приятно видеть, что авторы не забрасывают свое творение и регулярно его совершенствуют. PyTorch 3D уже был замечен в имплементациях SOTA работ из области 3D ML (например DECA).
А вы уже пользовались PyTorch 3D, что об этом думаете?
Много интересных работ по машинному обучению публикуется ежедневно, и это не только электронные препринты с научными статьями и лонг-риды на хабре, но и емкие интересные заметки на Medium.
На этой платформе даже существует специальный раздел - towards data science, посвященный науке о данных. Сегодня мы хотим порекомендовать вам несколько свежих и интересных, на наш взгляд, заметок с этой платформы.
1) Is this the end for Convolutional Neural Networks?
2) Best of arXiv — January 2021
3) 5 Exciting Deep Learning Advancements to Keep Your Eye on in 2021
4) Top Applications of Graph Neural Networks 2021
Также есть авторы, за которыми мы следим на Medium, например советуем изучить заметки Jonathan Hui (угадайте почему написали по английски).
На этой платформе даже существует специальный раздел - towards data science, посвященный науке о данных. Сегодня мы хотим порекомендовать вам несколько свежих и интересных, на наш взгляд, заметок с этой платформы.
1) Is this the end for Convolutional Neural Networks?
2) Best of arXiv — January 2021
3) 5 Exciting Deep Learning Advancements to Keep Your Eye on in 2021
4) Top Applications of Graph Neural Networks 2021
Также есть авторы, за которыми мы следим на Medium, например советуем изучить заметки Jonathan Hui (угадайте почему написали по английски).
Вы уже наверное слышали про модель CLIP от OpenAI. Эта модель, обучаясь на парах (картинка, текст), способна предсказывать наиболее вероятное текстовое описание для изображения. Это свойство позволяет модели иметь высокую обобщающую способность на нестандартных датасетах.
В colab’е из официальной реализации есть пример того, как из CLIP сделать модель для классификации изображений в нескольких строках кода без дополнительного обучения.
Получается весьма неплохо, хоть такая модель и посчитала нашего песеля за сладкий перец (а она ведь сладкая булочка!).
В colab’е из официальной реализации есть пример того, как из CLIP сделать модель для классификации изображений в нескольких строках кода без дополнительного обучения.
Получается весьма неплохо, хоть такая модель и посчитала нашего песеля за сладкий перец (а она ведь сладкая булочка!).