IF - топ за свои деньги

Выкатили демку Image Mixer
Будем посмотреть, насколько она далека от MidJourney

Тыкать тут

За наводку спасибо @tripl3wave
@derplearning

вчерашний стрим на ютуб - без редактуры, со всеми косяками. смотреть лучше на скорости 1.5)
всем кто участвовал - спасибо! это был интересный опыт. учту ошибки и в следующий раз постараюсь сделать лучше.
а если у тебя есть идеи - о чем еще сделать урок или стрим, пиши в комменты

@тоже_моушн

https://arxiv.org/pdf/2212.11565.pdf
В Дипмайнде допилили диффузную text2image сетку для создания видео на основе какого-то конкретного исходного видео.
Новая "text2video" нейросетка после обучения (как я понял, новое исходное видео - новое обучение) превращает цепочку кадров из исходного видео (уровня пара штук в секунду) + текстовый промпт --> в цепочку картинок, которые с натяжкой выглядят, как если бы это были кадры из нового видео (а не разрозненной мешаниной сгенерированных картинок, как раньше). Получается аж в 5/6 случаев.
Для этого в диффузионной нейросетке переделали projection матрицы (только) в блоках внимания.
Мы видим эмпирически, что отдельное пространственно-временное внимание в VDM baselines недостаточно для создания согласованного контента в one shot video, поэтому мы переходим от пространственного самовнимания к межкадровому вниманию, расширяя пространственный селф-аттеншн до пространственно-временного домена.

Экспериментируя с моделью #DeepFloyd (которая, напоминаю, умеет в текст) я подумал: “Блин, это же отличный инструмент для Lyric video!”. И сделал тест — первый куплет The Smiths - There Is a Light That Never Goes Out. Хотел передать ощущение от трека, когда едешь немного пьяненький (как пассажир) в машине и засматриваешься на вывески и огни ночного города. Ссылка на ютуб, если вдруг хотите пошерить со знакомым клипмейкером вне Телеграма.

Твит выше удолили, видео на всякий случай.