вчерашний стрим на ютуб - без редактуры, со всеми косяками. смотреть лучше на скорости 1.5)
всем кто участвовал - спасибо! это был интересный опыт. учту ошибки и в следующий раз постараюсь сделать лучше.
а если у тебя есть идеи - о чем еще сделать урок или стрим, пиши в комменты

@тоже_моушн

https://arxiv.org/pdf/2212.11565.pdf
В Дипмайнде допилили диффузную text2image сетку для создания видео на основе какого-то конкретного исходного видео.
Новая "text2video" нейросетка после обучения (как я понял, новое исходное видео - новое обучение) превращает цепочку кадров из исходного видео (уровня пара штук в секунду) + текстовый промпт --> в цепочку картинок, которые с натяжкой выглядят, как если бы это были кадры из нового видео (а не разрозненной мешаниной сгенерированных картинок, как раньше). Получается аж в 5/6 случаев.
Для этого в диффузионной нейросетке переделали projection матрицы (только) в блоках внимания.
Мы видим эмпирически, что отдельное пространственно-временное внимание в VDM baselines недостаточно для создания согласованного контента в one shot video, поэтому мы переходим от пространственного самовнимания к межкадровому вниманию, расширяя пространственный селф-аттеншн до пространственно-временного домена.

Экспериментируя с моделью #DeepFloyd (которая, напоминаю, умеет в текст) я подумал: “Блин, это же отличный инструмент для Lyric video!”. И сделал тест — первый куплет The Smiths - There Is a Light That Never Goes Out. Хотел передать ощущение от трека, когда едешь немного пьяненький (как пассажир) в машине и засматриваешься на вывески и огни ночного города. Ссылка на ютуб, если вдруг хотите пошерить со знакомым клипмейкером вне Телеграма.

Твит выше удолили, видео на всякий случай.

Blooper reel к недавнему ролику от Boston Dynamics

@derplearning

Простоквашино, но это Американский ситком 80х.

Аниверсии мы научились делать, интересно было попробовать обратное, особенно с тем, чего нет в датасете.

#midjourney

Пошла жара

https://dtf.ru/gamedev/1592200-realnyy-keys-vnedreniya-ai-generated-art-v-igrovoy-kompanii

Stable.art - бесплатный опенсорсный плагин, добавляющий stablediffusion automatic1111 в Фотошоп.

Код

@derplearning

Немного пляжных пикселей
#stablediffusion #warpfusion