хотели морфинг? дарю рабочий пайплайн)

если взять серию картинок (фоток, генераций sd/mj), сморфить их между собой с помощью FILM или Topaz Video AI, а затем результат прогнать через стилизацию в Deforum - получается очень даже кайфовый гладкий морфинг (по сравнению например с sd_smooth_interpolation)

дефорум учитывая optical flow рисует новые детали и тем самым прекрасно сглаживает артефакты интерполяции в пиксельном пространстве (но не все!). конечно метод несовершенный и нужен текстовый промпт а иногда еще и лора - если морфим персонажа. тем не менее - сам пользуюсь и рекомендую

блокнот FILM
стилизация в Deforum
sd_smooth_interpolation

@тоже_моушн

уже слышали про 3D Gaussian Splatting? это который как бы нерф но совсем не нерф

сердце поет когда видишь как оно лихо летает с хорошим фпс даже на скромной по нынешним меркам видео карте) чтобы убедиться - с гитхаба качайте viewer и демо файлы моделей (осторожно - 14Гб). если новичок - доставайте бубны и готовьтесь танцевать)

а новость в том что теперь 3D Gaussian Splatting можно запустить в Nerfstudio! и значит доступна связка с блендером и полный контроль камеры. правда работает чуть медленней чем в оригинальном просмотрщике но все равно в разы быстрее чем любые нерфы. мощь!

3DGS для Nerstudio
оригинальный 3D Gaussian Splatting
гайд на ютубе
подробнее про нерфстудио

@тоже_моушн

окей, генерацией картинок и видео никого уже не удивить. а как насчет реалистичных движений персонажей в 3д с помощью моделей диффузии?

тогда добро пожаловать на бета-тест MoGen от motorica.ai

это бесплатный сервис в котором можно настроить некоторые правила поведения персонажа и затем экспортировать как 3д анимацию скелета.
выбор пресетов движения пока что конечно маловат, но зато можно прикольно смешивать походку "зомби" и "клевого парня".
а еще у них есть плагин для UE

мощная фича - из 3д экспортируем анимацию персонажа по пути. а MoGen уже дорисовывает весьма реалистично как бы этот персонаж на самом деле скакал, бежал и дергал ручками и ножками перемещаясь по заданной траектории. да еще и в выбранном стиле!

вы все еще анимируете вручную? тогда МоГен идет к вам!)

бета-тест MoGen
обзор MoGen
гайд о связке с гудини

@тоже_моушн

Только Runway выкатили возможность управлять камерой в генерациях, как Pika тут же выпустили такую же фичу! Чувствуете как атмосфера нагнетается, котаны?

Подробнее о фиче: камера управляется параметром -camera и работает с ОДНИМ из следующих типов движения:

* Zoom: приближаем/удаляем камеру через -camera zoom in/out.

* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью -camera pan up/down/left/right. Можно комбинировать два не конфликтующих направления, например, -camera pan up right.

* Поворот: вертим камеру по часовой стрелке или против часовой через -camera rotate clockwise/counterclockwise/anticlockwise или сокращения cw/ccw/acw.

Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра -motion XX задавая от 1 до 4.

Другие обновления:
* -fps теперь по умолчанию стоит 24.
* Автоматический канал "upvotes" больше не доступен.

PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.

Дискорд Pika
Пост с остальными параметрами для генерации

AnimateDiff это мощь!

Денис Demien Stoker натворил офигенных котов, полную версию смотрите у него в канале

у Нерди Родента вчера вышел обзор новой модели AnimateDiff. запускать можно в автоматике. а в ComfyUI можно анимировать даже с контролнетом!

коты by Demien Stoker
AnimateDiff
гайд от Нерди Родента
экстеншн A1111
версия для ComfyUI

@тоже_моушн

кто о чем а мне лишь бы погнуть пространство)

кайф в том что наконец то удалось нащупать способ доступный каждому пользователю дефорума в автоматике! без дополнительных заморочек с тачем или гудини

способ чем то похож на стилизацию, но в отличие от нее мы не видим содержания исходного видео а забираем оттуда только само движение через оптикал флоу. а это дает просто бешеный простор для творчества - можно использовать видео с телефона или готовые футажи или самим чего нибудь нагенерить если умеете в моушн. вероятно способ больше подходит для лэндскейпов или абстракции и арта. но зависит от исходника

за настройками айда в комменты, там же видео - источник движения и еще примеры анимации

гнем в гудини
гнем в таче

@тоже_моушн

как насчет стилизации БЕЗ ПРОМПТА? с новым IP-Adapter - запросто!

про IP-Adapter говорят что это "лора по одной картинке". он прекрасно работает в последней версии автоматика в расширении контролнет, нужно только скачать модели. есть версия для Comfy и в ней даже чуть больше возможностей!

волна хайпа до сих пор незаслуженно обходила IP-Adapter стороной и очень зря, потому что инструмент супер мощный. идеально делает вариации по входящему изображению без промпта. а еще позволяет неплохо смешивать картинки, но про это позже

насчет стилизации видео - сразу скажу, пайплайн еще очень сырой но точно стоит того чтобы хорошенько в нем покопаться. в анимации выше 2 версии, одна на ip2p, другая на temporalnet. в первой лучше держится стиль но сильнее гуляют формы, во второй лучше консистентность но картинка приобретает hdr эффект. моя локальная карточка не вмещает больше 3 слоев контрола за раз, возможно соединение этих двух подходов даст лучший результат

оригинальное видео и референс стиля плюс настройки - все в комментах

IP-Adapter project page и github
модели для автоматика
версия для Comfy

@тоже_моушн

продолжаю мучать IP-Adapter

киллер фича - возможность смешивать пару изображений. из первого контролнетом забираем карту глубины, из второго ай-пи адаптером получаем стиль. а дальше начинается магия. и я хочу еще раз акцентировать - это генерации без промпта!

две доступные модели для sd15 справляются чуть по разному. стандартная - чуть хуже схватывает стиль, но за счет своей "подвижности" круто накладывает его на карту глубины. модель с плюсом - старается жестче следовать стилю, менее подвижная, из за этого частенько попадает в неприятности, например рисует девушку поверх кота потому что в стиле был портрет.

максимально оценить возможности такого смешивания - можно по двум сравнительным таблицам в комментариях

IP-Adapter
стилизация видео ай-пи адаптером

@тоже_моушн

а вы в курсе что в AnimateDiff больше нет ограничения по хронометражу?

сначала в ComfyUI а теперь и в A1111 добавили немного костыльное но работающее решение: AD генерит все так же по 16 кадров, а затем еще 16 с небольшим наложением на предыдущие и так сколько душе угодно. если промпт не сильно динамичный, стыков не будет заметно

также AnimateDiff очень неплохо показал себя в задаче стилизации видео (vid2vid)! а с новым контекстным окном обработать можно любой хрон, круто же

еще интересное решение - motion lora - модели движения для AD (совсем как в ген2 и пикалабс), довольно простые но их можно комбинировать для получения более сложного движения

супер полезная к прочтению статья на civitai о том какие крутые штуки теперь можно творить с AnimateDiff в ComfyUI, да еще и сетапы в подарок

animatediff comfyui
ext a1111
motion lora
civitai guide + setup

@тоже_моушн

помните недавний мой эксперимент с деформацией по optical flow? говорил же что это гибкий пайплайн!

Mickmumpitz использовал в качестве исходника движения стандартные визуализации звука и получил на выходе - нейро-винамп, жаль только не реалтаймовый. по ссылке подробный гайд, где показан весь процесс подготовки, настройки и обработки

кстати у Mickmumpitz на канале масса годного контента из категории "делаем кино самостоятельно на коленке используя все доступные бесплатные методы"

подсмотрено у Psy Eyes

видео на ютуб
пост в Х
мой пост с настройками

@тоже_моушн

продолжаю пребывать в некотором шоке от далли-3

уровень детализации и качество картинки без тюнов, лор, инпейнтов и тд - зашкаливает и завораживает. особенно в сравнении со стейблом

кому интересно, почему так и как новый далли опять всех уделал - вот читабельный саммари от Дмитрий Савостьянов Вещает вчерашней статьи OpenAI

@тоже_моушн

🕸🎃 чрезвычайно милая и атмосферная хэллоуинская короткометражка от Алексея Лоткова

сделано на коленке но при этом профессионально, качественно, с юмором и любовью к делу. по словам автора - на создание ушло 2 дня

из инструментов: анимейтдифф для стилизации, стейбл для фонов и окружения, щепотка миксамо и классического композа, синтез голоса в play.ht

Алексей Лотков в IG

@тоже_моушн

обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества

Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету

я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую!

оригинальный пост
гайд на ютуб
lora LCM
патч для Тача

@тоже_моушн

ComfyUI Stable Diffusion Video

ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.

Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.

Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.

Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр:
--use-pytorch-cross-attention

В комментах скидываю два .json для ComfyUI.

Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1

Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне.

Кое-что новенькое в стабильной версии:
— Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель
— Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней
— Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии

Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год.

Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE.

Все детали, туториалы, скидки ждут вас здесь!

в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.

и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза

с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе

внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.

запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты

это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает

гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco

всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра

@тоже_моушн

вдруг вы из Лондона? если так то имеете шанс попасть на классную выставку, которую мы в Силе Света запилили незадолго до нового года: арт инсталляция Hyperfeeling про спектр человеческих чувств для The Balloon Museum

для меня это первый опыт создания нейро контента в формате сферы 360. выглядит и работает очень кайфово, хотя и не обошлось без костылей)

360 в статике - изи. но вдруг вам известны способы как генерить анимацию типа дефорума или анимейтдифф - без лор, ассиметричного тайлинга и прочих костылей - сразу со всеми искажениями 360 развертки? вроде несложная задача но до сих пор не попадалось хороших решений

@тоже_моушн