Stable Audio 2.0

Обновился генератор коммерческой музыки по промпту от Stability AI

В блоге написано что модель доступна на сайте, но при попытке ею воспользоваться мне показывают условия использования январской Version 1.2. Что это, наипало обман или забыли обновить текст?

На вход можно подать просто текстовое описание или аудиофайл. Продолжительность трека до 3 минут.

Заявлена генерация структурно полноценных инструментальных композиций с интро, развитием и финалом.

10 треков в месяц бесплатно.

Обещают доступ по API

Попробовать
бесконечный стрим

#text2music #text2audio #music2music #audio2music

Впечатления о Rodin Gen-1 со вчерашней демосессии.

Признаю, он неидеален, но впечатляет! Лучше всего что я видел до сих пор. Для иллюстрации прилагаю ваши картинки, о которых речь

- Генерит объекты по тексту и по изображению
- генерит текстуры
- может смешивать два и более объектов, есть рулька смешивания. Гибрид Бендера с автомобилем вышел бесполезный но смешной
- Я в 3D дилетант, по мне сетка хорошая в сравнении с остальными генераторами, даже отличная для железки. Есть три варианта поликаунта для чистового прохода- 5000, 10000, 30000 полигонов
- умеет генерить воксели из геометрии и геометрию из вокселей. Для меня юзкейсы тут неочевидны были. Короче, так можно делать вариации геометрии или что-то детальное из грубого 3D наброска.
- умеет генерить объект из облака точек. Чую, это будет отличная замена нюковому генератору меша из облака точек
- Крышесносная фича - 3D инпейнтинг - можно на модельке выделить боксом область под замену. Правда, не знаю насколько полезная
- ну и конечно генерация сцены по боксам как было в изначальной презентации

Теперь о слабых местах

- не справляется с нестандартными позами персонажей. Бендера со скрещенными на груди руками не смог. Вернее, Бендер вышел отлично, а руки слились в один шланг. Игривого котэ смог, но в другой позе, с лапками поставленными вместе. Но было бы и странно, кому нужны статичные персонажи в странных позах? Думаю, с Т-позой для бипеда и стандартной позой для квадрапеда все будет ок.

- не справляется с мелкими детальными структурами. Эйфелеву башню порвал на кусочки. Из вот этого мелкоструктурного лица вообще сделал какой-то член, оставив пустоту вместо щек

- не справился с очками на жабе, оптические эффекты тяжеловато ему даются. Со второй или третьей попытки почти справился.

Ну и опять же, то что не получилось - экстремальные случаи, мне трудно себе представить кейсы когда такие вещи потребуется сделать с нуля.

Стол, пистолет, мозг получились отлично.

Обещают сначала открыть web-версию, потом API

#imageto3D #tetxtto3D #text2scene #test #inpainting

InstantStyle : Free Lunch towards Style-Preserving in Text-to-Image Generation

Новый адаптер стиля для генерации изображений

Код
Демо

#conditioning #text2image #image2image

COMO: Compact Mapping and Odometry

Восстановление 3D сцены и трекинг камеры по одному ракурсу. Камера-мэппинг на максималках

Код

#tracking #videoto3D #imageto3D #novelview

HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior

Легкие рилтаймовые фотореалистичные аватары все ближе. Вот еще один проект управляемых аватаров на гауссианах. Вернее, тут гибрид гауссиан и текстурированной геометрии. Обучается на одноракукрсном видео

Код

#humanavatar #gaussiuan