Впечатления о Rodin Gen-1 со вчерашней демосессии.

Признаю, он неидеален, но впечатляет! Лучше всего что я видел до сих пор. Для иллюстрации прилагаю ваши картинки, о которых речь

- Генерит объекты по тексту и по изображению
- генерит текстуры
- может смешивать два и более объектов, есть рулька смешивания. Гибрид Бендера с автомобилем вышел бесполезный но смешной
- Я в 3D дилетант, по мне сетка хорошая в сравнении с остальными генераторами, даже отличная для железки. Есть три варианта поликаунта для чистового прохода- 5000, 10000, 30000 полигонов
- умеет генерить воксели из геометрии и геометрию из вокселей. Для меня юзкейсы тут неочевидны были. Короче, так можно делать вариации геометрии или что-то детальное из грубого 3D наброска.
- умеет генерить объект из облака точек. Чую, это будет отличная замена нюковому генератору меша из облака точек
- Крышесносная фича - 3D инпейнтинг - можно на модельке выделить боксом область под замену. Правда, не знаю насколько полезная
- ну и конечно генерация сцены по боксам как было в изначальной презентации

Теперь о слабых местах

- не справляется с нестандартными позами персонажей. Бендера со скрещенными на груди руками не смог. Вернее, Бендер вышел отлично, а руки слились в один шланг. Игривого котэ смог, но в другой позе, с лапками поставленными вместе. Но было бы и странно, кому нужны статичные персонажи в странных позах? Думаю, с Т-позой для бипеда и стандартной позой для квадрапеда все будет ок.

- не справляется с мелкими детальными структурами. Эйфелеву башню порвал на кусочки. Из вот этого мелкоструктурного лица вообще сделал какой-то член, оставив пустоту вместо щек

- не справился с очками на жабе, оптические эффекты тяжеловато ему даются. Со второй или третьей попытки почти справился.

Ну и опять же, то что не получилось - экстремальные случаи, мне трудно себе представить кейсы когда такие вещи потребуется сделать с нуля.

Стол, пистолет, мозг получились отлично.

Обещают сначала открыть web-версию, потом API

#imageto3D #tetxtto3D #text2scene #test #inpainting

InstantStyle : Free Lunch towards Style-Preserving in Text-to-Image Generation

Новый адаптер стиля для генерации изображений

Код
Демо

#conditioning #text2image #image2image

COMO: Compact Mapping and Odometry

Восстановление 3D сцены и трекинг камеры по одному ракурсу. Камера-мэппинг на максималках

Код

#tracking #videoto3D #imageto3D #novelview

HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior

Легкие рилтаймовые фотореалистичные аватары все ближе. Вот еще один проект управляемых аватаров на гауссианах. Вернее, тут гибрид гауссиан и текстурированной геометрии. Обучается на одноракукрсном видео

Код

#humanavatar #gaussiuan