Align your Latents:
High-Resolution Video Synthesis with Latent Diffusion Models

Подход заключается в том, чтоб использовать латентную картиночную диффузию для генерации видео. Для этого помимо уже имеющихся пространственных (spatial) слоев в блок UNet добавляются новые слои - временны́е (temporal), далее будем называть их темпоральными. B * T кадров обрабатываются пространственными слоями как картинки в то время как темпоральные слои моделируют временную ось. Многократно изменяется форма тензора (B, C, T, H, W) -> (B*T, C, H, W) и кадры видео обрабатываются как батч что и позволяет нем использовать 2Д слои из уже обученной картиночной диффузии, а в темпоральных слоях тензор уже представлен 5-мерным (B, C, T, H, W).

Реализовано два варианта темпоральных слоев: 3Д свертка и слой темпорального внимания. Важно отметить, что после каждого временнОго слоя мы комбинируем выходные значения со значениями из пространственного слоя используя обучаемый параметр α, уникальный для каждого темпорального слоя, используя взвешенную сумму a*z + (1-a)*z′

- для ориентации во времени используются синусоидальные эмбеддинги
- пространственные слои заморожены, обучаются только темпоральные

Со слов авторов интеграция темпоральных слоев в декодер является критическим и значительно улучшает межкадровую связность. енкодер остается неизменным так как нельзя изменять свойства латентного пространства в котором училась диффузия

Далее были предприняты шаги удлинения генерируемых видео путем предсказания T - S последующих кадров при S данных при T равному длине последовательности, через маскирование кадров. После чего этот подход использовали для улучшения fps путем маскирования 3-4 кадров между 2 известными.

Для улучшения пространственного разрешения был использован диффузионный апсемплер разрешения (пиксельный)

Overall, we believe that the combination of an LDM with an upsampler DM is ideal for efficient high-resolution video synthesis.

👀 LINK

#text2video #video #diffusion

Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

В какой то степени эта работа является продолжением работы Andreas Blattmann над архитектурой Align your Latents (прикрепил наш разбор к сообщению). В данной работе основное внимание уделено сбору данных и обучению модели, в то время как архитектура наследуется из статьи выше.

Обучение модели разделено на три этапа:

1. Обучение картиночной диффузии
2. Предобучение видео модели
3. Финальный тюн модели

Про первый этап писать не буду, давайте поговорим про второй и третий и в целом про предобработку данных.

Детекция смены сцены (cut detection) - после детекции вырезок на видео число клипов в датасете увеличилось в 4 раза

Вычисление оптического потока - для каждого видео в датасете при частоте 2 фпс был подсчитан оптический поток и после этого стало понятно что значительная часть видео (смотрите график) является статичными что значительно влияет на качество итоговой модели

Описание видео - CoCa для аннотации кадра посередине, V-BLIP для генерации описания для всего видео, далее суммаризация двух промптов через LLM.

Подсчет CLIP-score эстетичности

для того чтоб модели умела генерировать текст был интегрирован OCR-detection

2. Предобучение видео модели

Мы собрали аннотации: текстовые, информацию о статичности видео, мы подсчитали эмбеддинги видео, ну и почистили видео от обилия различных сцен, теперь надо обучить модель. Исследователи применяют метод курации данных для различных аннотаций в LVD. Они начинают с непрофильтрованного подмножества размером 9,8 миллиона примеров и удаляют нижние 12.5, 25 и 50% примеров для каждой аннотации. Для синтетических подписей они используют ранжирование Эло. Обучая модели на отфильтрованных подмножествах, они сравнивают результаты и выбирают наилучший порог фильтрации для каждой аннотации на основе голосов предпочтений людей. В итоге получилось 152M тренировочных примеров.

3. Финальный тюн модели производился на 250к видео с предварительно написанными субтитрами и высокой визуальной точностью.


Обучение

Авторы отмечают что крайне важно принять график шума при обучении моделей диффузии изображений, переходя к большему количеству шума для изображений с более высоким разрешением.

Так они сочли полезным линейно увеличивать guidance scale по по темпоральной оси (от меньшего к большему).

Путем маскирования (так же как и в работе выше) модель была дообучена для задач интерполяции увеличивая fps в 4 раза

Модель была дообучена для задачи генерации 360 видов сцены и показала конкурентные результаты c SOTA решениями

на 8 карточках А100 80гб обучение заняло 12к итераций ~ 16 часов с батчем 16

👀 LINK

#text2video #video #diffusion

ANIMATEDIFF: ANIMATE YOUR PERSONALIZED TEXT-TO-IMAGE DIFFUSION MODELS WITHOUT SPECIFIC TUNING

Как будет выглядеть архитектура, позволяющая загрузить любую версию лоры с хф 🤗 и превратить ее в персонализированный генератор анимаций? На этот вопрос пытаются ответить наши 🇨🇳 и 🇺🇸 коллеги.

Вводится новый слой названный Motion Module (приложил фото), он представляет из себя слой self-attention поверх проекции на темпоральную ось, делается это для темпоральной консистентности выходного видео. Модуль движения добавляется на каждом уровне UNet для увеличения receptive field. Со слов авторов ванильный трансформер показывает адекватные результаты и поиск оптимальной архитектуры они оставляют для дальнейшего rizzearch-a 😁.

Из интересного стоит отметить что небольшое изменение параметров расписания шума может благотворно повлиять на обучение диффузии под новую задачу (приложил фото)

Using the same diffusion schedule may mislead the model that it is still optimized for image reconstruction, which slower the training efficiency of our motion modeling module responsible for cross-frame motion modeling, resulting in more flickering animation and color aliasing.

👀 LINK

PIXART-α: FAST TRAINING OF DIFFUSION TRANS- FORMER FOR PHOTOREALISTIC TEXT-TO-IMAGE SYNTHESIS

Авторы данной статьи всерьез озабочены ценой и влиянием на экологию разработки нейросетей, например, они подсчитали, что обучение современной диффузии выделяет столько же CO2 сколько человек в течение 7 лет.

EFFICIENT T2I TRANSFORMER

Начнем с того что у нас есть уже предобученная на ImageNet модель DiT с дискретным кол-вом классов. Нам нужно каким либо образом интегрировать текстовый кондишен в модель и в то же время избавиться от классового кондишена. Что мы делаем для этого?

1. Между слоями self-attention и FF слоем внедрен слой cross-attention для эффективного внедрения текстового кондишена в модель

2. Модуль AdaLN-single: Линейные проекции внутри модуля AdaLN DiT занимают 27% параметров, однако они не являются необходимыми для задач T2I, так как классовые условия не используются. Для решения этой проблемы авторы предалагают ввести новый слой AdaLN-single который имеет глобальный набор весов и смещений.

Стандартный блок:

Sᵢ =f(c+t), параметры - [β₁, β₂, γ₁, γ₂, α₁, α₂]

Модифицированный:

S̅ = f(t)
И теперь:
Sᵢ = g(S̅, Eᵢ),
g - функция суммирования
Eᵢ обучаемый эмбеддинг с таким же размером что и S̅

2. Репараметризация: Для использования предварительно обученных весов все Eᵢ инициализируются значениями, которые дают те же параметры что и DiT без классового кондишена для 500-го шага. Этот подход эффективно заменяет слой-специфические параметры глобальными, обеспечивая совместимость с предварительно обученными весами и сокращая размер модели.

Данные

LAION содержит большое кол-во изображений товаров с маркетплейсов с довольно скудными фонами, наверно это не то что будет радовать глаз пользователей, поэтому авторы решили добавить в обучающую выборку SAM датасет ориентированный на задачу сегментации с обильным кол-вом объектов. Все данные были переразмеченны LLaVA. Ну и для достижения эстетического удовольствия пользователей финальный тюн произведен на JourneyDB.

👀 LINK

😟 ФИДБЕК 😟

Будем рады услышать обратную связь о канале. Оставляйте идеи/пожелания в секции комментариев!)