новый способ контроля анимации в дефорум - теперь из AE

создатель MotionBro - бесплатного и очень толкового набора пресетов для афтера добавил в него новый пак - AE2SD, который позволяет удобно настроить анимацию дефорума не покидая знакомый интерфейс.

пресеты для 2д и 3д режима, поддержка экспрешнов (старый добрый wiggle) и прочих плюшек типа настроек изинга ключей + удобная система копирования параметров

два урока о том как установить и использовать AE2SD - от автора плагина - videolancer и нейро блоггера enigmatic_e

подробнее про AE2SD

@тоже_моушн

что ж, пришло время об этом рассказать: красиво стилизовать видео теперь можно не только в платном StableWarp но и бесплатном Deforum

и никакого фликера, даже напротив - еще более гладкая анимация. на видео сравнение двух техник при условно одинаковых настройках. магия работает в A1111 на ip2p контролнете и режиме hybrid video

узнал про этот трюк благодаря подписчику. спасибо, Михаил!

StableWarp по прежнему остается годным и очень крутым инструментом, но на мой личный взгляд - чрезмерно навороченным и чем дальше тем сложнее в нем разобраться, я уже не говорю про новых пользователей, у которых вскипает мозг при виде сотен настроек.

файл с настройками дефорума - в комментах

@тоже_моушн

очень нравится как стейбл шаг за шагом органично встраивается в знакомые пайплайны

например это аудио-реактив видео я сделал в тачдизайнере посмотрев тутор от elekktronaut. у него в инсте можно еще красивые примеры глянуть

как и в случае со stable houdini, здесь генерация происходит по api Автоматика. патч который позволяет сделать такую связку я взял на патреоне DotSimulate (про его эксперименты в Zeroscope кстати недавно был пост)

туториал
инста elekktronaut
sd_api на патреоне

@тоже_моушн

подробный туториал о стилизации видео в дефоруме от Никита AI

работа проделана серьезная, разобраны многие аспекты - как установить, что качать и какие настройки на что влияют. файлы настроек можно найти у Никиты в канале (кот вообще топовый!)

туториал на ютуб
пост с настройками

@тоже_моушн

соединяем стилизацию дефорумом c моделью контролнета qrcode monster и получается вот такая анимированная иллюзия с эффектом негативного пространства

вообще модель идеально показывает себя на генерациях природы - растения, горы, вода

инит видео и настройки в комментах

подробнее про negative space
модель на hf

@тоже_моушн

не удержался и тоже анимировал статичные картинки в ген2. понравилось)

запускается на сайте Runway. ты ей картинку, она тебе анимацию. без промптов, минимум настроек, результат ограничен 4 секундами. небольшой черри-пик)
бесплатных попыток хватает чтобы вдоволь наиграться с технологией и понять какие картинки лучше подходят и во что они превратятся в процессе анимации

runway
красивый эксперимент от ЭйАйЛера

@тоже_моушн

Pika Labs открылся для всех!

Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.

Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)
-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)
-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)

Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.

Дискорд
Сайт

кажется именно для этого и были придуманы видео диффузионные модели

идеальное сочетание оживших картин Клода Моне под музыку Эрика Сати. автор видео - Phil Van Treuren, анимация - Pika Labs

не, можно конечно и мемасики оживлять (как тут или тут), но до оживших фотографий из Гарри Поттера пока что далеко - внешность персонажа быстро теряется и всратый результат в 9 видео из 10

а в случае импрессионизма артефакты генерации не портят ее, напротив - делают еще более живой и волшебной

кстати очень крутую анимацию арта недавно постил Дмитрий Алексеев. если еще не видели - обязательно к просмотру!

пост на реддите
подробное описание проекта от автора
видео на ютуб
Pika Labs

@тоже_моушн

вау, даже не предполагал что нерф можно гнуть как душе угодно, искажая пространство как в фильме Нолана "Начало"

обычно для таких трюков с пространством используют реймаршинг, но с нерфом это что то новенькое!

информации о том как именно видео сделано - минимум, известно только что использован instant-ngp. хотя знающие люди говорят что возможно нерф экспортировали в sdf и затем гнули стандартно шейдерами - то есть все таки реймаршинг

что ж, придется изучать, это очень интересно)

видео на ютуб
подробнее про реймаршинг
пост про instant-ngp

upd. пост в твиттере

@тоже_моушн

осторожно, пространства искривляются!

в моей флюидной анимации был использован похожий способ, только в этот раз генерацией управляет не Houdini а Touchdesigner. а картинка теперь генерится не в A1111 а внезапно в ComfyUI

комфи - это крутой нодовый редактор для SD. у него тоже есть api, и по сути это просто json, то есть нужно в правильном формате указать порядок действий и запустить как скрипт. а тач отлично умеет в пайтон

да и манипуляции с картинкой в таче производить куда проще чем в гудини, а еще он бесплатный. так что у меня большие планы на этот сетап

ComfyUI на гитхаб
нейрофлюидная симуляция

@тоже_моушн