GRM: Large Gaussian Reconstruction Modelfor Efficient 3D Reconstruction and Generation

Реконструкция за долю секунды 3D объектов (гауссиан и мешей) по нескольким входным изображениям, по 3D данным из других генераторов (Zero123++, Instant3D, V3D, SV3D) и генерация по тексту.

Код
Демо

#imageto3D #textto3D #rendering #novelview

Stable Audio 2.0

Обновился генератор коммерческой музыки по промпту от Stability AI

В блоге написано что модель доступна на сайте, но при попытке ею воспользоваться мне показывают условия использования январской Version 1.2. Что это, наипало обман или забыли обновить текст?

На вход можно подать просто текстовое описание или аудиофайл. Продолжительность трека до 3 минут.

Заявлена генерация структурно полноценных инструментальных композиций с интро, развитием и финалом.

10 треков в месяц бесплатно.

Обещают доступ по API

Попробовать
бесконечный стрим

#text2music #text2audio #music2music #audio2music

Впечатления о Rodin Gen-1 со вчерашней демосессии.

Признаю, он неидеален, но впечатляет! Лучше всего что я видел до сих пор. Для иллюстрации прилагаю ваши картинки, о которых речь

- Генерит объекты по тексту и по изображению
- генерит текстуры
- может смешивать два и более объектов, есть рулька смешивания. Гибрид Бендера с автомобилем вышел бесполезный но смешной
- Я в 3D дилетант, по мне сетка хорошая в сравнении с остальными генераторами, даже отличная для железки. Есть три варианта поликаунта для чистового прохода- 5000, 10000, 30000 полигонов
- умеет генерить воксели из геометрии и геометрию из вокселей. Для меня юзкейсы тут неочевидны были. Короче, так можно делать вариации геометрии или что-то детальное из грубого 3D наброска.
- умеет генерить объект из облака точек. Чую, это будет отличная замена нюковому генератору меша из облака точек
- Крышесносная фича - 3D инпейнтинг - можно на модельке выделить боксом область под замену. Правда, не знаю насколько полезная
- ну и конечно генерация сцены по боксам как было в изначальной презентации

Теперь о слабых местах

- не справляется с нестандартными позами персонажей. Бендера со скрещенными на груди руками не смог. Вернее, Бендер вышел отлично, а руки слились в один шланг. Игривого котэ смог, но в другой позе, с лапками поставленными вместе. Но было бы и странно, кому нужны статичные персонажи в странных позах? Думаю, с Т-позой для бипеда и стандартной позой для квадрапеда все будет ок.

- не справляется с мелкими детальными структурами. Эйфелеву башню порвал на кусочки. Из вот этого мелкоструктурного лица вообще сделал какой-то член, оставив пустоту вместо щек

- не справился с очками на жабе, оптические эффекты тяжеловато ему даются. Со второй или третьей попытки почти справился.

Ну и опять же, то что не получилось - экстремальные случаи, мне трудно себе представить кейсы когда такие вещи потребуется сделать с нуля.

Стол, пистолет, мозг получились отлично.

Обещают сначала открыть web-версию, потом API

#imageto3D #tetxtto3D #text2scene #test #inpainting