Глубокая генеративная сеть 3D-форм DECOR-GAN: 3D Shape Detailization by Conditional Refinemen преобразует объект относительно заданного стиля.

Сдерживая ваше поведение, не заставляет вас сменить стиль в определенный момент времени.

#твоянейронка

Недавно прошла конференция NVidia GTC 2021, в рамках которой было представлено много интересных докладов, в частности сами представители NVidia рассказали про свои разработки (кстати здесь можно посмотреть презентацию с выжимкой их доклада и запись доклада).

Нам показались интересными следующие два пункта:
- GANcraft - развитие GAUGAN, теперь с воксельной маской,
- GANverse3D - 2d-to-3d модель, которая после встраивания в OMNIVERSE про который мы уже писали ранее, сгенерированные машины начинают даже ездить.

Кода к работам пока нет, да и Kaolin пока не имеет нового официального релиза, но скоро грядут конференции по компьютерному зрению, на которых NVidia обещали раскрыть детали своих новых архитектур и проектов.

Отрадно видеть, что крупные технологические гиганты вроде NVidia двигаются в сторону 3D ML, а значит нас ждет все больше интересных архитектур и удобных (надеемся уже наконец рабочих) инструментов.

Что из себя представляет 2D-to-3D? Как с помощью глубокого обучения можно восстановить геометрию человеческого тела или одежды?

На мероприятии PHYGITAL SCIENCE “3D ML в анализе человеческого тела” 28 апреля в 18.00 мы расскажем о новых технологических концепциях, их воплощении на практике, и покажем, как решения могут быть технологичными, красивыми и экономически-эффективными!

Кому будет интересно:
- Для науки всегда актуальной проблемой остается восстановление данных по их частичному представлению
- Для исследователей в области ML, CV, CG и для тех, кто всегда хотел узнать, с чего начать свое исследование
- В области искусства эта тема актуальна художникам, которые хотели бы мгновенно оживлять свои эскизы в 3D
- Для бизнеса алгоритмы 2D-to-3D помогут сократить время на генерацию контента

Митап пройдет одновременно в онлайн и офлайн формате у нас в штабе (места ограничены). Регистрируйтесь и выбирайте, как вам удобнее его посетить!

В последнее время активно развивается направление digital humans - создание сверхреалистичных цифровых копий людей. И конечно же, в нем применяются методы глубокого обучения - одним из ярких примеров является генерация анимации 3D лица только по аудио дорожке.

Алгоритм Audio2Face, являющийся частью платформы Omniverse от Nvidia, демонстрирует впечатляющие результаты в этой задаче. Проблема подхода заключается в том, что движение верхней части лица с аудио коррелирует довольно слабо, из-за чего анимация получается либо нереалистичной, либо отсутствует вовсе.

В новой работе исследователи Facebook Reality Labs используют для обучения модели MeshTalk информацию об эмоциях. Их подход обеспечивает не только высокоточное движение губ, но и правдоподобную анимацию всего лица - например, моргание и движение бровей.

MeshTalk улучшил не только качественные результаты, но и количественные и стал новой SOTA. Кажется, что цифровые люди вскоре станут совсем как живые, только не кожаные :))

Мы опубликовали третий PHYGITAL PODCAST!

В этот раз совсем коротко, зато очень интересно: обсудили как можно с помощью технологий дополненной реальности своими глазами в реальном времени увидеть сигнал Wi-Fi, также поразмышляли над тем, как будут устроены бесконтактные интерфейсы в будущем, и чем еще полезен Wi-Fi помимо передачи интернета.

Переходите по ссылке!

Визуализация физических нагрузок во время ковки в режиме реального времени, используемая для эргономичного дизайна рабочего места.

Хочу поблагодарить сотрудников нашего офиса за время и интерес. Если вы не можете устроиться на работу, оставьте свой адрес электронной почты в форме ниже.

#твоянейронка

Реконструкция мешей человеческого тела - одна из самых практически полезных задач в области 3D ML. Несмотря на впечатляющие результаты в этом направлении, современные методы имеют низкую точность в локализации кистей рук и ступней, либо требуют большое количество сложно аннотируемых данных.

В своей новой работе исследователи Nvidia представляют подход KAMA, который не требует парной аннотации мешей и повышает точность локализации, достигая нового SOTA результата. KAMA напрямую из изображения оценивает 3D координаты 26 ключевых точек тела и с помощью набора простых геометрических преобразований восстанавливает параметрическую модель тела SMPL.

Таким образом, новый подход предсказывает меши, которые намного лучше совпадают с содержимым изображения, а небольшая дополнительная оптимизация приводит к еще большему улучшению по сравнению с предыдущими работами. Похоже, что еще немного и для motion capture не нужны будут горы золота :)

В предыдущем посте мы затронули тему motion capture, и вот на днях MPI-INF, Facebook Reality Labs и Valeo.ai опубликовали новое прорывное исследование.

Авторы представляют полностью дифференцируемую систему для безмаркерного 3D захвата движения человека. В отличие от большинства нейронных методов, предлагаемый подход учитывает физические ограничения и ограничения окружающей среды благодаря нескольким нововведениям:
– PD контроллер с предсказываемым коэффициентом усиления;
– явная модель динамики твердого тела;
– новый слой оптимизации, предотвращающий проникновение в пол.
Предложенная каноническая форма для 2D joint keypoints уменьшает зависимость от внутренних параметров камеры.

Новый алгоритм повышает плавность и физическое правдоподобие предсказаний, улавливает более быстрые движения и более точен по реконструкции по сравнению с PhysCap. Теперь анимация по видео стала реальностью и не требует постобработки полученных 3D поз. Продолжайте читать нас, будем предсказывать тренды вместе! :)

Привет всем любителям 3D ML!

Праздники уже почти закончились, но если у вас осталось еще несколько часов свободного времени, и вы хотели бы позалипать на YouTube во что-то полезное, то вот вам три ролика на тему 3D ML:

- Доклад про дифференциальный рендеринг на семинаре CVision Lab (есть и теория, и библиотеки, и прикладной пример, можно рассматривать, как альтернативное нашему введению в дифференциальный рендеринг)
- Доклад про фреймворк Kimera от разработчика и аспиранта из MIT (что за фреймворк, как с его помощью строить 3D семантические графы сцены, какие есть новые открытые датасеты на эту тему, какое практическое применение в области робототехники)
- Разбор статьи “Почему ИИ сложнее, чем нам кажется?” (пусть не совсем 3D ML, но это все равно очень интересная статья, в которой разобраны 4 основных заблуждения ИИ исследователей)
- Серия наших Phygital подкастов (Итоги 2021 года в области 3D ML, формы представления 3D данных и визуализация WI-FI сигнала)

Вы наверняка уже слышали и успели восхититься результатами новой работы по преобразованию синтетических изображений в фотореалистичные.

Во многих каналах уже успели обсудить, что подобные проекты это потенциальный прорыв в компьютерной графике, важный пример того, на что способен нейронный рендеринг и необходимый шаг для применения синтетических данных в машинном обучении.

В качестве основных приложений здесь стоит отметить:
- инструмент для получения фотореалистичных изображений с разметкой из генератора синтетических данных на основе игровых движков;
- способ получения быстрой фотореалистичной графики для real time приложений (например в VR);
- источник данных для AR приложений, чтобы уменьшить разницу между реальными и виртуальными объектами.

Мы хотели бы обратить внимание на детали работы “Enhancing Photorealism Enhancement.”

Улучшения, которые мы наблюдаем на видеороликах с проездом из GTA V были достигнуты за счет следующих моментов:
- батчи для обучения формируются на основе анализа схожести распределения данных различных датасетов,
- сеть использует в качестве входа не только отрендеренную картинку, но и множество других слоев из рендер движка (нормали, глубина и пр.),
- предложена новая функция ошибки, которая отвечает за сохранение структуры отрендеренного изображения,
- общая архитектура — состязательная, и поэтому присутствует ошибка дискриминатора, которая отвечает за фотореализм.

Больше деталей можно найти в оригинальной статье или в видео с докладом данной работы на Eurographics 2021.

Оценка 3D-модели людей с помощью PyMAF.

Алексей, искреннее поздравляю Вас с выходом новой версии программы 3Ds Max. Примите мои пожелания интересных проектов и новых свершений. Ну а я в свою очередь готова оказать Вам поддержку и поддержку в оформлении Вашего бизнеса.

#твоянейронка

Привет всем любителям 3D ML! Если у вас еще нет списка списков 3D ML работ, инструментов и датасетов, то спешим поделиться:

1)Один из самых знаменитых и объемных списков датасетов, туториалов и работ, отсортированных по годам и задачам
2)Раздел про 3D ML на paperswithcode.com
3)Работы и статьи, отсортированные по задачам
4)Список инструментов и туториалов по обработке облаков точек
5)Работы по анализу и синтезу облаков точек по годам
6)Лучшие работы по анализу облаков точек на основе обзорной статьи
7)Еще один сборник ресурсов по данному направлению
8)3D ML датасеты
9)Поиск датасета в области CV и 3D ML
10)Работы, посвященные нейронному рендерингу
11)Работы, посвященные графовым моделям
12)Твиттер лист, где можно найти много крутых проектов по 3D ML и не только
13)Твиттер лист с проектами по 3D ML
14)Сайт про базовую работу в данной области, с которой хорошо начинать знакомство с 3D ML
15)Все по Deep fakes

А какие списки списков есть у вас на эту тему? Делитесь в комментариях! :)

Могут ли роботы подражать людям, просто наблюдая за ними?

ага. В песочнице копируя друг-друга

#твоянейронка

Попробовали использовать виртуальную реальность в машинном обучении. Таких кейсов сейчас не много, один из них — разметка данных в виртуальной реальности.

Протестировали вот этот проект для VR разметки 3D облака точек. Его ключевое отличие — интуитивно понятная работа, поскольку 3D объекты не проецируются на 2D плоскость экрана, а остаются перед вами в 3D пространстве. Такой подход разметки превосходит SOTA решения по скорости и качеству аннотации, что логично, ведь это невероятно удобно и просто.

Крутой кейс, но было бы эффективнее, если добавить фичу мультиплеера. Благодаря таким проектам можно привлекать людей к аннотированию просто потому что это увлекательно!

Тем не менее, в последнее время помимо инструментов разметки активно развивается направление синтетических данных, которые содержат в себе автоматические сверхточные аннотации. Правда, такие решения пока что довольно дорогие и выгоднее воспользоваться бесплатным open source проектом :)

В прошлом месяце был обновлен сайт geometricaldeeplearning.com, раньше там собирали статьи и ссылки на воркшопы по 3D ML (в частности, там была статья “Geometric deep learning: going beyond Euclidean data”, с которой мы рекомендуем начать изучение 3D ML), а сейчас сайт стал посвящен, не побоимся громкого высказывания, первой книге про 3D ML.

Собственно, интересные ссылки:
- Сама 156 страничная книга;
- Medium изложение первых глав языком попроще (хотя и в самой книге стремились к наглядности);
- Видеодоклад от одного из авторов на эту же тему.

Здорово, что появилась такая большая обобщающая работа. Правда, концентрация полезного материала в работе такая сильная, что стоит придумать ачивку для тех, кто ее осилит :))

Вдохновившись работой Campus 3D решили сделать аналогичную задачу и отсканировать большой пространственный объект (часть кампуса университета). Сам проект Campus 3D представляет из себя датасет в виде объемного облака точек кампуса Сингапурского университета и метода иерархической сегментации данного облака.

Для сбора данных мы использовали фотограмметрию, полученную с помощью DJI дрона и ПО Agisoft Photoscan Pro. Расчет облака из 58 миллионов точек занял 30 часов на компьютере с видеокартой NVIDIA GTX 1070. После создания такого облака: его можно использовать для многих задач, от навигации БПЛА до анализа зеленых насаждений, а можно вокселизировать и сделать MineCraft карту)

А у вас был опыт создания собственного датасета?

Уже на этой неделе стартует одна из самых ожидаемых конференций, связанных с компьютерным зрением и 3D ML - CVPR 2021.

На сайте конференции можно посмотреть список статей и воркшопов. Также есть список претендентов на лучшую статью конференции, нам уже приглянулась работа “Diffusion Probabilistic Models for 3D Point Cloud Generation”.

А за какими конференциями следите вы? И какие статьи из списка потенциально лучших приглянулись вам? Пишите в комментариях.

Заинтересованы в графах и компьютерном зрении?

Рекомендуем ознакомиться со статьей "Функции потерь с учетом плотности графа и их применения в задачах построения графа сцены из малого количества изображений".

Эта статья весьма актуальна и для рисовальщиков с хорошим графопостроителем.

#твоянейронка

А если серьезно про статью из предыдущего поста, это очень крутая работа, в которой авторы предложили модифицировать функцию ошибки для задач построения предсказания для графовых структур! Тем самым, приблизились к решению задачи построения плотного графа сцены по одному изображению.

Один из авторов работы Борис Князев, опираясь на его блог, мы даже написали отдельную заметку на Хабре о свертках на графах, советуем обязательно изучить.