В RunwayML GEN-3 завезли image2video.
Теперь можно полноценно сравнивать Луму, Клинг и Ген-3.
Если сравнивать по скорости - очень и очень быстро (сейчас).
Если по цене, очень и очень и очень дорого.

У меня пока ощущение, то ГЕН-3 хорошо делает VFX, то есть всякие , водичку, дымы, огоньки и прочую пиротехнику.

Если у вас еще осталась хоть капля кредитов, го тестировать.

https://app.runwayml.com/

@cgevent

AuraSR-v2

Обновка GAN-апскейлера для сгенерированных изображений. Да, он заточен на генерации.

Побеждены проблемы при апскейле jpg компрессии. Поработали над деталями и починили стыки тайлов.
Fal.ai работает над третьей версией

Репозиторий
Демо (на офсайте)
Какое-то Демо

#upscale

Появились демоспейсы SAM2. Только для картинок.
А вот в колабе можно и видео обработать

Демо1 (со скачиванием маски)
Демо2
колаб

#segmentation #image2mask #video2mask

Matting by Generation

Новый подход матированию - созданию маски для отделения объекта от фона, позволяющий лучше сохранять мелкие детали.

Код ждем

#image2mask #matting

Вышел убийца Kling! Генерит за 30 секунд!

Ну почти...
Тут чуваки из Zhipu AI (это AI-стартап, китайский аналог Open AI со своим блэкджеком и ChatGPTGLM) выпустили свою Sora. Штука генерит 6-секундные видео за 30 секунд, что ну очень быстро, согласитесь (в Клинге я ждал больше часа, у Лумы 5 сек генерится 2 минуты). Так быстро работает, насколько я понял, из-за их хитрого 3D автоэнкодера, который сжимает представление видео в latent space до 2% от оригинального размера.

Вот промпты для видосиков из примера с голливудской адаптацией на английский язык от Google переводчика:

In a lush forest, some sunlight shines through the gaps between leaves, creating a Tyndall effect, giving the light shape.

When the tsunami roared in like a raging monster, the entire village was instantly swallowed up by the sea, just like a classic scene in a doomsday movie.

In the neon-lit city night scene, a little monkey full of cyber beauty holds high-tech tools and repairs equally flashing, futuristic electronic equipment.

Changing the style of painting, the kitten opened its mouth wide, showing a human-like confused expression, with question marks written all over its face.

Остальные без инструкций, так, для примера.

Качество ну не синематик, видно, что тренили на стоках и каких-то странных китайских видео. Назвали Qingying или Ying. Пока кредиты безлимитные. Я хотел потестить, но похоже, мы снова столкнулись с новым феноменом: paywall по-китайски. Опять нужен китайский номер :( Может, у кого из вас выйдет вот ссылка.

Как же китайцы дрючат!

Источник
Пытаемся вломиться здесь

@ai_newz