Попробовали использовать виртуальную реальность в машинном обучении. Таких кейсов сейчас не много, один из них — разметка данных в виртуальной реальности.

Протестировали вот этот проект для VR разметки 3D облака точек. Его ключевое отличие — интуитивно понятная работа, поскольку 3D объекты не проецируются на 2D плоскость экрана, а остаются перед вами в 3D пространстве. Такой подход разметки превосходит SOTA решения по скорости и качеству аннотации, что логично, ведь это невероятно удобно и просто.

Крутой кейс, но было бы эффективнее, если добавить фичу мультиплеера. Благодаря таким проектам можно привлекать людей к аннотированию просто потому что это увлекательно!

Тем не менее, в последнее время помимо инструментов разметки активно развивается направление синтетических данных, которые содержат в себе автоматические сверхточные аннотации. Правда, такие решения пока что довольно дорогие и выгоднее воспользоваться бесплатным open source проектом :)

В прошлом месяце был обновлен сайт geometricaldeeplearning.com, раньше там собирали статьи и ссылки на воркшопы по 3D ML (в частности, там была статья “Geometric deep learning: going beyond Euclidean data”, с которой мы рекомендуем начать изучение 3D ML), а сейчас сайт стал посвящен, не побоимся громкого высказывания, первой книге про 3D ML.

Собственно, интересные ссылки:
- Сама 156 страничная книга;
- Medium изложение первых глав языком попроще (хотя и в самой книге стремились к наглядности);
- Видеодоклад от одного из авторов на эту же тему.

Здорово, что появилась такая большая обобщающая работа. Правда, концентрация полезного материала в работе такая сильная, что стоит придумать ачивку для тех, кто ее осилит :))

Вдохновившись работой Campus 3D решили сделать аналогичную задачу и отсканировать большой пространственный объект (часть кампуса университета). Сам проект Campus 3D представляет из себя датасет в виде объемного облака точек кампуса Сингапурского университета и метода иерархической сегментации данного облака.

Для сбора данных мы использовали фотограмметрию, полученную с помощью DJI дрона и ПО Agisoft Photoscan Pro. Расчет облака из 58 миллионов точек занял 30 часов на компьютере с видеокартой NVIDIA GTX 1070. После создания такого облака: его можно использовать для многих задач, от навигации БПЛА до анализа зеленых насаждений, а можно вокселизировать и сделать MineCraft карту)

А у вас был опыт создания собственного датасета?

Уже на этой неделе стартует одна из самых ожидаемых конференций, связанных с компьютерным зрением и 3D ML - CVPR 2021.

На сайте конференции можно посмотреть список статей и воркшопов. Также есть список претендентов на лучшую статью конференции, нам уже приглянулась работа “Diffusion Probabilistic Models for 3D Point Cloud Generation”.

А за какими конференциями следите вы? И какие статьи из списка потенциально лучших приглянулись вам? Пишите в комментариях.

Заинтересованы в графах и компьютерном зрении?

Рекомендуем ознакомиться со статьей "Функции потерь с учетом плотности графа и их применения в задачах построения графа сцены из малого количества изображений".

Эта статья весьма актуальна и для рисовальщиков с хорошим графопостроителем.

#твоянейронка

А если серьезно про статью из предыдущего поста, это очень крутая работа, в которой авторы предложили модифицировать функцию ошибки для задач построения предсказания для графовых структур! Тем самым, приблизились к решению задачи построения плотного графа сцены по одному изображению.

Один из авторов работы Борис Князев, опираясь на его блог, мы даже написали отдельную заметку на Хабре о свертках на графах, советуем обязательно изучить.

Что может быть лучше в пятничный вечер, чем узнать про новую интересную модель из области графовых нейронных сетей?

Вот вам видео-разбор интереснейшей работы “Boost then Convolve: Gradient Boosting Meets Graph Neural Networks”. Очень интересная идея объединения графовых нейронных сетей и градиентного бустинга. Если кратко: пользуемся преимуществами бустинга (скорость и качество обучения) для обучения современных графовых моделей.

А какие вы интересные статьи или видео из области 3D ML находили в последнее время?

Исследователи из CGCU недавно опубликовали интересную работу, которая демонстрирует практическую значимость исследований в области 3D ML. Заменив модуль light transport simulation на модуль, основанный на дифференциальном рендеринге, авторы смогли ускорить процесс цветной 3D печати с 150 часов до 30 минут. Если кратко: заменяем честную симуляцию или аналитику нейронной сетью и выигрываем во времени, при этом проигрывая в качестве, но не сильно если постараться.


На странице проекта есть статьи, видео-разбор, слайды и ссылка на github проекта.

Здорово, что дифференциальный рендеринг и другие алгоритмические конструкции из 3D ML находят все больше полезных практических применений, и теперь мы можем быстро напечатать цветной кувшин или еще чего интересное.

Какие вы видите еще перспективные приложения у дифференциального рендеринга? Давайте обсуждать в комментариях)

Нас тут 266, заинтересованных в новом потрясающем направлении 3DML, которое интересно новыми типами данных, новыми фреймворками, новыми алгоритмами и применением новых устройств из области XR и CV.

Только R&D подразделения IT гигантов и редкие исследовательские лаборатории занимаются такими разработками, чьи результаты работ будут видны всем через несколько лет. А мы будем спокойно создавать будущее в нашей лаборатории :)

Если вы любите создавать что-то, что еще до вас никто не делал, то мы как раз ищем в команду нового ML/DL Engineer. У нас, в компании PHYGITALISM, появляется все больше 3DML задач, и нам необходимы такие же безумные энтузиасты как мы сами!

Вот ссылка на описание вакансии, а вот на тестовое задание. Будем рады поработать вместе! А для привлечения внимания - возможно ваш будущий тим лид на гифке.

Специалист в машинном обучении Xavier Bresson поделился презентацией, с которой он рассказывал журналистам о применении Graph Neural Networks.

Это очень полезная презентация про графовые нейронные сети с точки зрения их многочисленных приложений и каждый сможет найти интересное для себя. Или еще один повод увидеть, чем так интересен 3d ml с точки зрения приложений :)

В целом презентация не такая сложная, но вполне убедительная, если знать что искать. Главное, в ней описано, чем графовая нейронная сеть отличается от обычной — и это очень интересно.

#твоянейронка

На прошлой неделе в нашей совместной с Microsoft и IT-центром МАИ магистерской программе “VR/AR&AI” состоялся первый выпуск магистров. В программе мы стараемся сочетать направленность на XR технологии и 3D ML (презентация программы). Интересные моменты из текущего выпуска:
- Выпустилось 6 человек;
- 2 публикации Scopus магистрами (1 внедрение в производство);
- 2 человека продолжают обучение и исследования в аспирантуре (в том числе по тематике 3DML).

Набор этого года уже открыт и уже в конце этой недели начнутся подготовительные курсы для поступления в магистратуру, поэтому если среди вас есть желающие получить комплексное образование в нашем направлении, есть время и шанс попасть на магистерскую программу!)

Недавно закончилась одна из самых важных ежегодных конференций по компьютерному зрению CVPR 2021. На конференции было много интересного, связанного с 3D ML. Мы уже писали здесь пост про эту конференцию, но сейчас, когда были доложены все работы и проведены воркшопы (все записи уже есть на youtube) можно начать анализировать тренды и “собирать сливки”.

Так, про лучшую работу конференции GIRAFFE (контролируемый GAN на основе идей NeRF и дифференциального рендеринга) есть разбор идей и кода (хотя лучше читать оригинал разбора).

Хотим в скором времени написать пост-обзор самых интересных работ и воркшопов с прошедшей конференции с упором именно в 3D. Было бы вам такое интересно? Какие работы за время работы конференции заприметили вы? Давайте обсуждать в комментариях.

Привет, друзья! Мы вышли из отпуска и снова готовы радовать вас контентом=)

Использование SDF в задачах 3D ML, вещь не самая распространенная, но все же встречающаяся. Самый известный пример - DeepSDF и NeRF. В силу интересности и возможной перспективности данного направления (в отличие от мешей и облаков точек, SDF хранит в себе полную информацию о поверхности вместе с ее дифференциальными свойствами), мы решили поделиться с вами информацией о туториалах, которые помогут разобраться с этим подходом.

Во-первых, это блог исследовательницы Marian Kleineberg, а именно вот эта статья-разбор DeepSDF, в которой помимо прочего, Мариан делится своей библиотекой для расчета SDF для произвольного полигонального меша - mesh_to_sdf.

Во-вторых, есть вот такой разбор на русском языке, в котором есть jupyter ноутбуки с основами pytorch и обучением простейшей 2D DeepSDF. Можете перенести эти ноутбуки в Collab и попробовать собрать с помощью класса Polygon свою собственную форму (результатами делитесь в комментариях)

Привет всем любителям 3D ML!

Мы уже писали, что у нас есть своя магистерская программа по XR & 3D ML технологиям в МАИ, где мы в числе прочего читаем спец курс по 3D ML. Сегодня мы хотим поделиться с вами подборкой курсов на данную и близкие темы, которые могут служить ориентиром того, о чем мы рассказываем в магистратуре. Данная подборка охватывает почти весь стек технологий и наук с которыми будет связана ваша профессия, если вы выберете путь 3D ML data scientist =)

1. Дискретная дифференциальная геометрия от Кинана Крейна (красиво и полно изложенные математичские основы работы с дискретными структурами, полезно чтобы прохавать 3D ML с самого низу);l
2. Компьютерная графика от Кинена Крейна (также понятно и круто как и предыдущий курс, только про компьютерную графику);
3. GDL AMMI 2021 Course (основы 3D ML с математическим укдлоном от отцов основателей науки)
4. Компьютерное зрение от CSC (доходчивое введение в классическое компьютерное зрение на русском)
5. Компьютерное зрение от Лекториум

Продолжаем список:

6. CVPR 2020 Tutorial on Visual Recognition for Images, Video, and 3D
7. Подборка курсов и книг по компьютерному зрению (да, да...подборка в подборке=)
8. Пост про освоение компьютерного зрения на хабре
9. 3D computer vision course (Utah university)
10. 3D computer vision course (Stanford)
11. Computer vision and DL for graphs (Princeton)
12. Курс по компьютерному зрению от Udacity
13. Список полезных туториалов по 3D ML (Awesome 3D Reconstruction github list)
14. Туториалы по OpenCV Python
15. Практический курс по ML от МФТИ (оч много полезных ноутбуков, есть видеозаписи лекций и семинаров, есть элементы машинного зрения + они начали делать русскоязычный аналог курса Кинена Крейна)
16. Сборка курсов по направлению 3D ML (еще одна классная сборка =)
17. Курс про анализ лидарных данных в геофизическиз приложениях
18. Фотограмметрия и основа 3D реконструкции
19. Вычисления на видеокартах

Возможно вы также знаете хорошие источники? Делитесь в комментариях)

Вы уже наверняка пробовали генерировать интересные картинки с помощью связки CLIP + Любая генеративная модель (VQGAN, BigGAN и пр.). Если еще не пробовали, то бегом пробовать (инструкция и описание здесь). Основная суть всегда одна и та же: CLIP отвечает за связь эмбеддингов текста и изображений (или каких либо данных), а вторая сеть отвечает за генерацию.

Ожидаемо что, кто-то попытался совместить CLIP с генерацией 3D моделей и текстур. Исследователь Nikolay Jetchev в своем Twitter делится результатами экспериментов. Деталей крайне мало, но судя по всему сама геометрия моделей генерируется SMPL.
А как вам кажется нужно совмещать CLIP и 3D?Делитесь идеями в комментариях 🧑‍💻

Привет, любители 3D ML!
Как часто вы слушаете лекции и смотрите воркшопы на youtube о ML и 3D ML? Мы периодически слушаем доклады с конференций и интервью с лучшими исследователями, и спешим поделиться с вами первой частью нашего списка каналов о 3D ML и не только:

1. [MachineLearningStreetTalk] Дискуссии с самыми крутыми представителями из каждой области. Зацените последний выпуск про 3D ML с Михаилом Бронштейном!
2. [AI Coffee Break with Letitia] Короткие ролики с объяснением концепций из области NLP и CV с забавными анимашками.
3. [Two minute papers] Название говорит само за себя: очень короткие, но содержательные и познавательные ролики на тему последних достижений в области ML и математического моделирования. Можно найти тему для вдохновения или проект для использования в практике.
4. [Lex Fridman] Интервью с легендами ML, лекции DL MIT.
5. [5 levels] Плейлист с крутой концепцией - объяснение технологии или концепции на 5 уровнях: ребенок, школьник, студент, аспирант, профи.

Привет, друзья исследователи!

Не так давно, исследователи из FAIR опубликовали код и статью про новый трансформер подход для детекции объектов в облаках точек - 3DETR.

Почему работа интересна:
Есть имплементация в коде и веса.
Архитектура строится на незначительных изменениях классического блока трансформер архитектуры с непараметрическими запросами (queries) и Фурье позиционными латентными векторами (Fourier positional embeddings).
SOTA результаты (+9.5%) на ScanNetv2 и SUN RGB-D.
Есть возможность применения архитектуры в других задачах 3D ML.

А вы еще не успели попробовать этот подход? Если у вас есть желание и время, то делитесь результатами применения этой ̶в̶у̶н̶д̶е̶р̶в̶а̶ф̶л̶и̶ архитектуры на ваших данных в комментариях =)