Аватарная диффузия!

Ну, за аватаро-конструкторы.
Микрософт разошелся не на шутку, мало того, что накачали OpenAI деньгами, теперь еще и лезут на поляну аватаростроения. И как!
Project 3D Avatar Diffusion - A Generative Model for Sculpting 3D Digital Avatars

На входе ваше фото, одна штука - на выходе трехмерный аватар.

Более того, можно еще и присунуть текстовый промпт по дороге. И потом также поорать на аватара текстом - типа "бороду сбрей, усы причеши, косы заплети". И тот слушается.
Что внутри? Набор уже известных штук.
Фотка с промптом хитро превращается диффузией в три планарные проекции 64х64, которые апскейлятся в 256х256, а на них натравливается NeRF! Который генерит трехмерное представление аватара.
Но.
Аватар рендерится вольюмным рендером (за который я тут притапливал недавно). Но внутри они делают и сетки (To reflect the geometry, we also extract the mesh from the generated density field using marching cubes, which demonstrates high-fidelity geometry)
Примеры на сайте, и они прикольные - с учетом того, что на входе одна фотка, а не 176 камер, как у Меты. Качество, конечно, не Пиксар, но дайте время.

Всем смотреть тут:
https://3d-avatar-diffusion.microsoft.com/

Выкатили демку Image Mixer
Будем посмотреть, насколько она далека от MidJourney

Тыкать тут

@derplearning