Flash Diffusion: Accelerating Any Conditional Diffusion Model for Few Steps Image Generation

В полку ускоряторов прибыло.
Ускорение диффузных генераторов до нескольких шагов. В Демо ускоренный SD3

Код
Демо

#optimization

Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

Генератор текстурированного меша по картинке.
Тест Бендера - хорошо.
Сетка - плохо

Код
Демо

#imageto3d

CosmicMan: A Text-to-Image Foundation Model for Humans

Новая базовая модель для генерации портретов

Код
Демо

#text2image

⚡️Вау! Real-time генерация видео стала ближе к реальности.

Челики ускорили диффузию для видеогенерации в 10x раз! Утверждают, что качество при этом не теряется. На видео пример того, как они ускорили Open-Sora, например.

Генерация со скоростью 21 fps на 8 видеокартах. Для сравнения, до этого из восьми видеокарт с помощью tensor parallelism можно было выжать ускорение не более чем в 3-4 раза по сравнению с одной.

Если сейчас 60-сек генерации модели уровня Соры занимает по моим прикидкам от 20 минут до нескольких часов, то в ближайший год мы увидим ускорение этого процеса на 1 или 2 порядка. Pyramid Attention Broadcast делает шаг в этом направлении.

Идея базируется на тех же инсайтах, что мы вывели в нашей статье Cache me if you can о том, что выходы аттеншен слои могут быть закешированы и могут переиспользоваться во время шагов инференса. Или вот статья от господина Шмидхубера, где они кешируют cross-attention слои.

Ссылка на проект - Real-Time Video Generation with Pyramid Attention Broadcast

Статьи пока нет, но код уже есть тут.

@ai_newz

Upgraded Depth Anything V2 - UDAV2 16 bit

Мало того что Depth Anything v2 опять обновился, так теперь есть народная версия, работающая в 16 bit. Надеюсь не надо объяснять почему это хорошо?
И уже даже есть расширение для A1111!

Гитхаб
Реддит

#image2depth