Magic 1-For-1: Generating One Minute Video Clips within One Minute

Новый опенсорсный китайский видеогенератор

Чего-то там наоптимизировали чтобы минутный ролик создавался за одну минуту в несколько шагов

Ест 30GB VRAM для 540x960

Веса будут на днях

Код

#text2video #image2video

History-Guided Video Diffusion

Метод генерации видео
За счет трюков с контекстом и трансформера форсированной диффуззи (DFoT) позволяет создавать консистентные ультрадлинные видео, видео бесконечной навигации, генерировать композиционное видео (сам не уверен о чем тут речь)

На видео с роботом объяснение работы модели, это непохоже на генерацию

Модельки небольшие, и разрешение у них 128x128 да 256x256, так что это пока не про контентмейкинг, а про фичи которые можно ожидать в видеогенераторах

Код
Демо

#image2video

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

Видеогенератор с персонализацией, создает видео с объектом, заданным картинкой

За основу берут CogVideoX-5B и прикручивают лору

Код ждем

#personalization #text2video

InspireMusic: A Unified Framework for Controlled Music, Song, Audio Generation with Collaborative Semantic and Acoustic Tokens

Опенсорсный генератор музыки от Tongyi Lab и Alibaba Group

Умеет создавать музыку по тексту, продолжать музыку, реконструировать (непонятно)

Качеством звука пока не впечатлил, но это опенсорс, тут есть перспектива

Код
Демо

#text2music #music2music #music