DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space

Совместная разработка Han Lab (авторов Nunchaku) и NVIDIA

Новый тип автоэнкодеров — Deep Compression Autoencoder (DC-AE) для ускорения генераторов изображений высокого разрешения

Ускоряет генерацию изображений: на ImageNet с разрешением 512x512 вывод становится быстрее в 19,1 раза, а обучение — в 17,9 раза.

На 5090 с Flux Krea выдает 4K за 3.5 сек

Позволяет создавать изображения по тексту даже на ноутбуке.

Гитхаб
Демо - DC-Gen-Sana-4.8B 1024px

#text2image #optimization

Wan-Alpha

Кто хотел генерировать видео с альфа-каналом? Вот оно.

На базе Wan2.1-T2V-14B

К нему нужна ускорялка Lightx2v-T2V-14B

VAE свой - Wan-Alpha VAE. Для #ComfyUI - отдельно декодер RGB и отдельно декодер альфа канала

И своя RGBA Dora

То есть, к привычному воркфлоу докачаете всего пару гигабайт

Гитхаб
HF
Wan-Alpha_ComfyUI
воркфлоу

#RGBA #text2video #text2rgba #workflow

Kandinsky 5.0 Video Lite

Сбер выпустил видеогенератор в опенсорс.

2B параметров, 768 x 512, до 10 сек

Из особенностей стоит отметить что модель учитывает элементы русской культуры при генерации и формирует текст на английском языке.

За всего 2B параметров неплохо

Прикрутили туда всевозможные ускоряторы и оптимизаторы: MagCache там, CFG distill. Вероятно поэтому опенсорс? Или наоборот, решили делать опенсорс значит развязаны руки прикрутить все что есть

Подать заявку в бета-тестеры можно в телеграм боте @kandinsky_access_bot

статья на Хабре
Гитхаб
HF

#text2video

SANA-Video

Небольшая диффузионная модель для эффективной генерации видео от NVIDIA, MIT, KAUST и других

По тексту и по картинке.

Способна генерировать сложные нарративные видео с переходами между сценами.

разрешение до 720P, 16 fps, хронометраж до 1 минуты

5-секундное видео выдает за 60 сек.

На RTX 5090 с NVFP4 - за 29 секунд

Код ждем

#text2video #image2video