Хорошая иллюстрация того, что можно делать с новым full-body tracking в Lens Studio.

Слышите стук? Это новое поколение фильтров уже за дверью.

На experiments.withgoogle появился раздел с xR-экспериментами в хроме. Работает на устройствах андроид, в последней версии браузера. Пока что можно посмотреть 3 проекта от креативной студии гугла:

🌏 Floom — тоннель на другую сторону Земли
😷 Sodar — радар социальной дистанции
📏 Measure Up — AR-рулетка

и еще один проект, который скоро появится:
📷 Picturescape — ваша галерея Google Photo в AR

Кстати, запустить свои эксперименты может любой желающий https://experiments.withgoogle.com/submit

Стартовала Nvidia GTC. Все в онлайне, все доступно.
Ну и конечно же все началось с keynote от Jensen Huang. Идет прям щас.

Самое интересное (пока), что самой первой темой стала Omniverse. Платформа вот с таким позиционированием в 2021: shared virtual worlds.
И если в прошлом году акцент был в основном на возможность работы над одной сценой из разных мест и одно демо с мраморными шариками, то в этом году риторика поменялась в сторону концепции Digital Twins - возможности создания копии нашего ветхого мира и обитания в нем. Да, создания и обитания.
В этом смысле Дженсен еще раз упомянул Snow Crash и показал пару не то, что примеров, а кейсов ипользования Omniverse, которая выходит из беты.
Там упоминалась ILM с виртуальными декорациями, Activision, которые присунули туда 100 000 своих ассетов и сделали систему работы с ними на базе Omniverse.
WPP показали ... виртуальный продакшен в Omniverse! И тут стало понятно, что амбиции Omniverse лежат далеко за пределами дизайна и коллективной работы.
Bentley показала цифровые двойники заданий и кварталов, которые они проектируют, собранные в Omniverse.
Но круче всех выступила BMW, они показали цифровые копии своих фабрик. Грубо говоря, вместо камер наблюдения и тысяч экранов с видео, там полная 3Д-копия фабрики, по которой можно перемещаться и следить за любыми деталями в реалтайме. Мало того, что там копии роботов, там еще и копии людей. Показали, как инженеры в мокап-костюмах настраивают конвеерную линию в виртуальном пространстве, оптимизируя расположение инструментов и безопасность. Общаясь при этом, как в игре. Чистый киберпанк с копией фабрик, роботов и работников!
В общем Omniverse это реальная киберпанк-амбиция.
Ну и не зря я тут задумал конференцию DIGITAL HUMANS - все эти виртуальные миры надо будет заселять нашими цифровыми двойниками. А для них надо будет сделать годные оболочки. По новым правилам, которых пока никто не знает. Мир стремительно оцифровывается и валит в параллельную вселенную...

P/S/ Ну блин, только что показали Drive Sim - цифровые двойники РЕАЛЬНЫХ автомобилей, которые катятся по виртуальным дорогам копии этого мира. В 3Д. В Омниверсе.
Ладно, я пошел, ищите меня там. Аватар не забудьте.

P/S/S/ Максин просто меня убила. 3Д-женюсь!

Само выступление Дженсена Хуанга
https://youtu.be/eAn_oiZwUXA

Снова хочется вернуться к вчерашнему Омниверс-киберпанку от NVidia, но уже поспокойнее, с деталями, ценами и подробностями.
Хотя какое спокойнее! Тут подоспели новости про заселение Омниверса цифровыми людьми и картинка начинает быть совсем горячей.

Во-первых, заныривать в Omniverse уже сейчас можно через 3ds Max, Maya, Revit, Rhino, SketchUp и Unreal Engine. Для них уже есть плагины:
https://www.nvidia.com/en-us/omniverse/#apps-connectors

Специально для Дан Золотаренко сделали Reallusion Character Creator Connector for NVIDIA Omniverse!
https://magazine.reallusion.com/2021/04/12/reallusion-releases-character-creator-connector-for-nvidia-omniverse/

Он добавляет пайплайн создания человека к приложениям Omniverse Create и Omniverse Machinima. О которых отдельный разговор, кстати, ибо киберпанк амбиции Омниверса растут с каждым анонсом.

И это прямой намек на будущее заселение Омниверса цифровыми тварями, о которых мы скоро будем говорить на DIGITAL HUMANS 2021: www.cgevent.ru/?page_id=33243


Плагины для Houdini и Blender появятся попозже в этом году. (И тут пользователи Блендера такие "за шо?!")

Бесплатная бета-версия Omniverse в настоящее время доступна для Windows 10 и CentOS 7/Ubuntu 18.04 Linux. Эта версия будет включать платформу и базовые функции. Она никуда не делась, но для взрослых мальчиков и больших киберпанк-корпораций появились цены:

Omniverse Enterprise по подписке с доступом к Create, View, плагинам и RTX Virtual Workstation будет стоить 1800 долларов в год на пользователя плюс 25000 долларов за сервер Nucleus для групп из 25 пользователей.

Для огромных компаний на 500 пользователей, то 1800 долларов за место в год плюс 250 000 долларов за сервер.
https://www.nvidia.com/en-us/omniverse/enterprise/

Ждем дальнейших подробностей и читаем про Omniverse Create и Omniverse Machinima.

Все мы знакомы с задачей распознавания человеческих движений. Существует и обратная — условная генерация человеческих движений, в частности генерация из какой-то определенной категории действий.

В новом исследовании Action-Conditioned 3D Human Motion Synthesis with Transformer VAE авторы представили модель ACTOR. Для кодирования действия и соответствующего движения используется transformer encoder, а для декодирования — transformer decoder. В отличие от предыдущих подходов, ACTOR позволяет генерировать одновременно всю последовательность поз, что приводит к более консистентной генерации движения и отсутствию усреднения позы со временем.

ACTOR способен генерировать реалистичные и разнообразные движения для каждой категории, и значительно превосходит предыдущие методы. Модель можно использовать для генерации синтетического датасета, а еще для автоматической анимации действий игровых персонажей! Как думаете, скоро ли подобные методы станут стандартными инструментами для производства игр и кино?

MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
* pdf
* github

We introduce MobileStyle-GAN architecture, which has x3.5 fewer parameters and is x9.5 less computationally complex than StyleGAN2, while providing comparable quality. In comparison to previous works, we present an end-to-end wavelet-based CNN architecture for generative networks. We show that integrating wavelet-based methods into GANs allows more lightweight networks to be designed and provides more smoothed latent space.

* Similar work with code
#gan #wavelet #mobile

Pixel Codec Avatars
[Facebook Reality Labs Research]
* pdf
* TUM AI Lecture Series - Photorealistic Telepresence (Yaser Sheikh)
Telecommunication with photorealistic avatars in virtual or augmented reality is a promising path for achieving authentic face-to-face communication in 3D over remote physical distances. In this work, we present the Pixel CodecAvatars (PiCA): a deep generative model of 3D human faces that achieves state of the art reconstruction performance while being computationally efficient and adaptive to the rendering conditions during execution. Our model combines two core ideas:
(1) a fully convolutional architecture for decoding spatially varying features, and
(2) a rendering-adaptive per-pixel decoder.
Both techniques are integrated via a dense surface representation that is learned in a weakly-supervised manner from low-topology mesh tracking over training images. We demonstrate that PiCA improves reconstruction over existing techniques across testing expressions and views on persons of different gender and skin tone. Importantly, we show that the PiCA modelis much smaller than the state-of-art baseline model, and makes multi-person telecommunicaiton possible: on a single Oculus Quest 2 mobile VR headset, 5 avatars are rendered in realtime in the same scene.
#VR #3D #avatars

Velocity Skinning for Real-time Stylized Skeletal Animation
* project page
* web demo
* pdf

Velocity Skinning is a simple technics to add exagerated deformation triggered by skeletal velocity on top of standard skinning animation.
The technic is:
- Real-time and can be implemented as a single pass vertex shader
- Works "out-of-the-box" on existing skinning data in reusing skinning weights
- Allows non-linear-time editing from instantaneous pose and velocity information

#physics #simulation #skinning #shader

https://developer.nvidia.com/cuda-python
Available with Anaconda and Numba
#tools

The MetaHuman Creator — web based app for creating ultra-realistic virtual humans and exporting them to UE4.
Now they opened it for early access.
Sign up here:
https://www.unrealengine.com/metahuman-creator
- UPD:
50 preset MetaHuman characters are already available inside Bridge, ready for both Unreal Engine and Maya.

source

Еще один ML инструмент для анимации - Cascadeur вчера анонсировал новую версию спустя 2 года!

Это инструментарий для создания анимации 3D-персонажей, а интуитивный дизайн поможет быстро освоиться, даже если вы не имели опыта работы в похожих программах.

Инструменты на основе физики и deep learning позволяют упростить работу. Например, корректировать тайминги и траектории и выставлять максимально естественные позы. Таким образом вы можете избежать ненужной рутины и полностью сосредоточиться на творчестве.

#ml

DECOR-GAN: 3D Shape Detailization by Conditional Refinement
[Simon Fraser University, Adobe Research, IIT Bombay]
* pdf
* github
* video-demo
* seminar
We introduce a deep generative network for 3D shape detailization. Given a low-resolution coarse voxel shape, our network refines it, via voxel upsampling, into a higher-resolution shape enriched with geometric details. The output shape preserves the overall structure (or content) of the input, while its detail generation is conditioned on an input "style code" corresponding to a detailed exemplar. Our 3D detailization via conditional refinement is realized by a generative adversarial network, coined DECOR-GAN. The network utilizes a 3D CNN generator for upsampling coarse voxels and a 3D PatchGAN discriminator to enforce local patches of the generated model to be similar to those in the training detailed shapes. During testing, a style code is fed into the generator to condition the refinement. #gan #3D

GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds
[Nvidia, Cornell University]

* project page
* youtube

-   GANcraft is a powerful tool for converting semantic block worlds to photorealistic worlds without the need for ground truth data.
 -  Existing methods perform poorly on the task due to the lack of viewpoint consistency and photorealism.
 -  GANcraft performs well in this challenging world-to-world setting where the ground truth is unavailable and the distribution mismatch between a Minecraft world and internet photos is significant.
-   We introduce a new training scheme which uses pseudo-ground truth. This improves the quality of the results significantly.
-   We introduce a hybrid neural rendering pipeline which is able to represent large and complex scenes efficiently.
 -  We are able to control the appearance of the GANcraft results by using style-conditioning images.

#gan #spade #neural_rendering

https://digitalhumans.com/sophie/
Here you can try to talk to Sophie.
I think it's very funny, even though her voice is too robotic. But it gives the feeling that if this issue could be solved, it could turn into very nice experience.
Also, they have Einstein.

https://tinytools.directory/
🦊
Really cool collection of tools for visual interactive projects
- author
#tools

Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks
[MIT, ChipBrain, Amazon]
- pdf
- cleanLab (for label cleaning)
- 10 common benchmark datasets were investigated: ImageNet, CIFAR-10, CIFAR-100, Caltech-256, Quickdraw, MNIST, Amazon Reviews, IMDB, 20 News Groups, AudioSet

We identify label errors in the test sets of 10 common benchmark datasets.
Label errors are identified using confident learning algorithms and then human-validated via crowdsourcing.
Errors in test sets are numerous and widespread: we estimate an average of 3.4% errors across the 10 datasets, where for example 2916 label errors comprise 6% of the ImageNet validation set.
Surprisingly, we find that lower capacity models may be practically more useful than higher capacity models in real-world datasets with high proportions of erroneously labeled data. For example, on ImageNet with corrected labels: ResNet-18 outperforms ResNet-50.
On CIFAR-10 with corrected labels: VGG-11 outperforms VGG-19.
- related article

- twitter
#sad