Привет всем любителям 3D ML!

Праздники уже почти закончились, но если у вас осталось еще несколько часов свободного времени, и вы хотели бы позалипать на YouTube во что-то полезное, то вот вам три ролика на тему 3D ML:

- Доклад про дифференциальный рендеринг на семинаре CVision Lab (есть и теория, и библиотеки, и прикладной пример, можно рассматривать, как альтернативное нашему введению в дифференциальный рендеринг)
- Доклад про фреймворк Kimera от разработчика и аспиранта из MIT (что за фреймворк, как с его помощью строить 3D семантические графы сцены, какие есть новые открытые датасеты на эту тему, какое практическое применение в области робототехники)
- Разбор статьи “Почему ИИ сложнее, чем нам кажется?” (пусть не совсем 3D ML, но это все равно очень интересная статья, в которой разобраны 4 основных заблуждения ИИ исследователей)
- Серия наших Phygital подкастов (Итоги 2021 года в области 3D ML, формы представления 3D данных и визуализация WI-FI сигнала)

Вы наверняка уже слышали и успели восхититься результатами новой работы по преобразованию синтетических изображений в фотореалистичные.

Во многих каналах уже успели обсудить, что подобные проекты это потенциальный прорыв в компьютерной графике, важный пример того, на что способен нейронный рендеринг и необходимый шаг для применения синтетических данных в машинном обучении.

В качестве основных приложений здесь стоит отметить:
- инструмент для получения фотореалистичных изображений с разметкой из генератора синтетических данных на основе игровых движков;
- способ получения быстрой фотореалистичной графики для real time приложений (например в VR);
- источник данных для AR приложений, чтобы уменьшить разницу между реальными и виртуальными объектами.

Мы хотели бы обратить внимание на детали работы “Enhancing Photorealism Enhancement.”

Улучшения, которые мы наблюдаем на видеороликах с проездом из GTA V были достигнуты за счет следующих моментов:
- батчи для обучения формируются на основе анализа схожести распределения данных различных датасетов,
- сеть использует в качестве входа не только отрендеренную картинку, но и множество других слоев из рендер движка (нормали, глубина и пр.),
- предложена новая функция ошибки, которая отвечает за сохранение структуры отрендеренного изображения,
- общая архитектура — состязательная, и поэтому присутствует ошибка дискриминатора, которая отвечает за фотореализм.

Больше деталей можно найти в оригинальной статье или в видео с докладом данной работы на Eurographics 2021.

Оценка 3D-модели людей с помощью PyMAF.

Алексей, искреннее поздравляю Вас с выходом новой версии программы 3Ds Max. Примите мои пожелания интересных проектов и новых свершений. Ну а я в свою очередь готова оказать Вам поддержку и поддержку в оформлении Вашего бизнеса.

#твоянейронка

Привет всем любителям 3D ML! Если у вас еще нет списка списков 3D ML работ, инструментов и датасетов, то спешим поделиться:

1)Один из самых знаменитых и объемных списков датасетов, туториалов и работ, отсортированных по годам и задачам
2)Раздел про 3D ML на paperswithcode.com
3)Работы и статьи, отсортированные по задачам
4)Список инструментов и туториалов по обработке облаков точек
5)Работы по анализу и синтезу облаков точек по годам
6)Лучшие работы по анализу облаков точек на основе обзорной статьи
7)Еще один сборник ресурсов по данному направлению
8)3D ML датасеты
9)Поиск датасета в области CV и 3D ML
10)Работы, посвященные нейронному рендерингу
11)Работы, посвященные графовым моделям
12)Твиттер лист, где можно найти много крутых проектов по 3D ML и не только
13)Твиттер лист с проектами по 3D ML
14)Сайт про базовую работу в данной области, с которой хорошо начинать знакомство с 3D ML
15)Все по Deep fakes

А какие списки списков есть у вас на эту тему? Делитесь в комментариях! :)

Могут ли роботы подражать людям, просто наблюдая за ними?

ага. В песочнице копируя друг-друга

#твоянейронка

Попробовали использовать виртуальную реальность в машинном обучении. Таких кейсов сейчас не много, один из них — разметка данных в виртуальной реальности.

Протестировали вот этот проект для VR разметки 3D облака точек. Его ключевое отличие — интуитивно понятная работа, поскольку 3D объекты не проецируются на 2D плоскость экрана, а остаются перед вами в 3D пространстве. Такой подход разметки превосходит SOTA решения по скорости и качеству аннотации, что логично, ведь это невероятно удобно и просто.

Крутой кейс, но было бы эффективнее, если добавить фичу мультиплеера. Благодаря таким проектам можно привлекать людей к аннотированию просто потому что это увлекательно!

Тем не менее, в последнее время помимо инструментов разметки активно развивается направление синтетических данных, которые содержат в себе автоматические сверхточные аннотации. Правда, такие решения пока что довольно дорогие и выгоднее воспользоваться бесплатным open source проектом :)

В прошлом месяце был обновлен сайт geometricaldeeplearning.com, раньше там собирали статьи и ссылки на воркшопы по 3D ML (в частности, там была статья “Geometric deep learning: going beyond Euclidean data”, с которой мы рекомендуем начать изучение 3D ML), а сейчас сайт стал посвящен, не побоимся громкого высказывания, первой книге про 3D ML.

Собственно, интересные ссылки:
- Сама 156 страничная книга;
- Medium изложение первых глав языком попроще (хотя и в самой книге стремились к наглядности);
- Видеодоклад от одного из авторов на эту же тему.

Здорово, что появилась такая большая обобщающая работа. Правда, концентрация полезного материала в работе такая сильная, что стоит придумать ачивку для тех, кто ее осилит :))

Вдохновившись работой Campus 3D решили сделать аналогичную задачу и отсканировать большой пространственный объект (часть кампуса университета). Сам проект Campus 3D представляет из себя датасет в виде объемного облака точек кампуса Сингапурского университета и метода иерархической сегментации данного облака.

Для сбора данных мы использовали фотограмметрию, полученную с помощью DJI дрона и ПО Agisoft Photoscan Pro. Расчет облака из 58 миллионов точек занял 30 часов на компьютере с видеокартой NVIDIA GTX 1070. После создания такого облака: его можно использовать для многих задач, от навигации БПЛА до анализа зеленых насаждений, а можно вокселизировать и сделать MineCraft карту)

А у вас был опыт создания собственного датасета?

Уже на этой неделе стартует одна из самых ожидаемых конференций, связанных с компьютерным зрением и 3D ML - CVPR 2021.

На сайте конференции можно посмотреть список статей и воркшопов. Также есть список претендентов на лучшую статью конференции, нам уже приглянулась работа “Diffusion Probabilistic Models for 3D Point Cloud Generation”.

А за какими конференциями следите вы? И какие статьи из списка потенциально лучших приглянулись вам? Пишите в комментариях.

Заинтересованы в графах и компьютерном зрении?

Рекомендуем ознакомиться со статьей "Функции потерь с учетом плотности графа и их применения в задачах построения графа сцены из малого количества изображений".

Эта статья весьма актуальна и для рисовальщиков с хорошим графопостроителем.

#твоянейронка

А если серьезно про статью из предыдущего поста, это очень крутая работа, в которой авторы предложили модифицировать функцию ошибки для задач построения предсказания для графовых структур! Тем самым, приблизились к решению задачи построения плотного графа сцены по одному изображению.

Один из авторов работы Борис Князев, опираясь на его блог, мы даже написали отдельную заметку на Хабре о свертках на графах, советуем обязательно изучить.

Что может быть лучше в пятничный вечер, чем узнать про новую интересную модель из области графовых нейронных сетей?

Вот вам видео-разбор интереснейшей работы “Boost then Convolve: Gradient Boosting Meets Graph Neural Networks”. Очень интересная идея объединения графовых нейронных сетей и градиентного бустинга. Если кратко: пользуемся преимуществами бустинга (скорость и качество обучения) для обучения современных графовых моделей.

А какие вы интересные статьи или видео из области 3D ML находили в последнее время?

Исследователи из CGCU недавно опубликовали интересную работу, которая демонстрирует практическую значимость исследований в области 3D ML. Заменив модуль light transport simulation на модуль, основанный на дифференциальном рендеринге, авторы смогли ускорить процесс цветной 3D печати с 150 часов до 30 минут. Если кратко: заменяем честную симуляцию или аналитику нейронной сетью и выигрываем во времени, при этом проигрывая в качестве, но не сильно если постараться.


На странице проекта есть статьи, видео-разбор, слайды и ссылка на github проекта.

Здорово, что дифференциальный рендеринг и другие алгоритмические конструкции из 3D ML находят все больше полезных практических применений, и теперь мы можем быстро напечатать цветной кувшин или еще чего интересное.

Какие вы видите еще перспективные приложения у дифференциального рендеринга? Давайте обсуждать в комментариях)

Нас тут 266, заинтересованных в новом потрясающем направлении 3DML, которое интересно новыми типами данных, новыми фреймворками, новыми алгоритмами и применением новых устройств из области XR и CV.

Только R&D подразделения IT гигантов и редкие исследовательские лаборатории занимаются такими разработками, чьи результаты работ будут видны всем через несколько лет. А мы будем спокойно создавать будущее в нашей лаборатории :)

Если вы любите создавать что-то, что еще до вас никто не делал, то мы как раз ищем в команду нового ML/DL Engineer. У нас, в компании PHYGITALISM, появляется все больше 3DML задач, и нам необходимы такие же безумные энтузиасты как мы сами!

Вот ссылка на описание вакансии, а вот на тестовое задание. Будем рады поработать вместе! А для привлечения внимания - возможно ваш будущий тим лид на гифке.

Специалист в машинном обучении Xavier Bresson поделился презентацией, с которой он рассказывал журналистам о применении Graph Neural Networks.

Это очень полезная презентация про графовые нейронные сети с точки зрения их многочисленных приложений и каждый сможет найти интересное для себя. Или еще один повод увидеть, чем так интересен 3d ml с точки зрения приложений :)

В целом презентация не такая сложная, но вполне убедительная, если знать что искать. Главное, в ней описано, чем графовая нейронная сеть отличается от обычной — и это очень интересно.

#твоянейронка

На прошлой неделе в нашей совместной с Microsoft и IT-центром МАИ магистерской программе “VR/AR&AI” состоялся первый выпуск магистров. В программе мы стараемся сочетать направленность на XR технологии и 3D ML (презентация программы). Интересные моменты из текущего выпуска:
- Выпустилось 6 человек;
- 2 публикации Scopus магистрами (1 внедрение в производство);
- 2 человека продолжают обучение и исследования в аспирантуре (в том числе по тематике 3DML).

Набор этого года уже открыт и уже в конце этой недели начнутся подготовительные курсы для поступления в магистратуру, поэтому если среди вас есть желающие получить комплексное образование в нашем направлении, есть время и шанс попасть на магистерскую программу!)

Недавно закончилась одна из самых важных ежегодных конференций по компьютерному зрению CVPR 2021. На конференции было много интересного, связанного с 3D ML. Мы уже писали здесь пост про эту конференцию, но сейчас, когда были доложены все работы и проведены воркшопы (все записи уже есть на youtube) можно начать анализировать тренды и “собирать сливки”.

Так, про лучшую работу конференции GIRAFFE (контролируемый GAN на основе идей NeRF и дифференциального рендеринга) есть разбор идей и кода (хотя лучше читать оригинал разбора).

Хотим в скором времени написать пост-обзор самых интересных работ и воркшопов с прошедшей конференции с упором именно в 3D. Было бы вам такое интересно? Какие работы за время работы конференции заприметили вы? Давайте обсуждать в комментариях.