подробный туториал о стилизации видео в дефоруме от Никита AI

работа проделана серьезная, разобраны многие аспекты - как установить, что качать и какие настройки на что влияют. файлы настроек можно найти у Никиты в канале (кот вообще топовый!)

туториал на ютуб
пост с настройками

@тоже_моушн

соединяем стилизацию дефорумом c моделью контролнета qrcode monster и получается вот такая анимированная иллюзия с эффектом негативного пространства

вообще модель идеально показывает себя на генерациях природы - растения, горы, вода

инит видео и настройки в комментах

подробнее про negative space
модель на hf

@тоже_моушн

не удержался и тоже анимировал статичные картинки в ген2. понравилось)

запускается на сайте Runway. ты ей картинку, она тебе анимацию. без промптов, минимум настроек, результат ограничен 4 секундами. небольшой черри-пик)
бесплатных попыток хватает чтобы вдоволь наиграться с технологией и понять какие картинки лучше подходят и во что они превратятся в процессе анимации

runway
красивый эксперимент от ЭйАйЛера

@тоже_моушн

Pika Labs открылся для всех!

Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.

Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)
-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)
-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)

Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.

Дискорд
Сайт

кажется именно для этого и были придуманы видео диффузионные модели

идеальное сочетание оживших картин Клода Моне под музыку Эрика Сати. автор видео - Phil Van Treuren, анимация - Pika Labs

не, можно конечно и мемасики оживлять (как тут или тут), но до оживших фотографий из Гарри Поттера пока что далеко - внешность персонажа быстро теряется и всратый результат в 9 видео из 10

а в случае импрессионизма артефакты генерации не портят ее, напротив - делают еще более живой и волшебной

кстати очень крутую анимацию арта недавно постил Дмитрий Алексеев. если еще не видели - обязательно к просмотру!

пост на реддите
подробное описание проекта от автора
видео на ютуб
Pika Labs

@тоже_моушн

вау, даже не предполагал что нерф можно гнуть как душе угодно, искажая пространство как в фильме Нолана "Начало"

обычно для таких трюков с пространством используют реймаршинг, но с нерфом это что то новенькое!

информации о том как именно видео сделано - минимум, известно только что использован instant-ngp. хотя знающие люди говорят что возможно нерф экспортировали в sdf и затем гнули стандартно шейдерами - то есть все таки реймаршинг

что ж, придется изучать, это очень интересно)

видео на ютуб
подробнее про реймаршинг
пост про instant-ngp

upd. пост в твиттере

@тоже_моушн

осторожно, пространства искривляются!

в моей флюидной анимации был использован похожий способ, только в этот раз генерацией управляет не Houdini а Touchdesigner. а картинка теперь генерится не в A1111 а внезапно в ComfyUI

комфи - это крутой нодовый редактор для SD. у него тоже есть api, и по сути это просто json, то есть нужно в правильном формате указать порядок действий и запустить как скрипт. а тач отлично умеет в пайтон

да и манипуляции с картинкой в таче производить куда проще чем в гудини, а еще он бесплатный. так что у меня большие планы на этот сетап

ComfyUI на гитхаб
нейрофлюидная симуляция

@тоже_моушн

KeenTools 2023.2: Встречайте бету GeoTracker for Blender

Друзья, наш 3D трекер объектов теперь в вашем любимом Blender! Нужно добавить 3D эффекты или симуляции в ваше видео? С GeoTracker вы можете быстро отследить движение нужного объекта, получив его координаты в 3D, и сразу же притречить к нему желанный эффект — всё это не покидая Блендера.

Почему GeoTracker:
– Точный трекинг объектов и камеры на основе отслеживания геометрии в кадре
– Возможность разместить объект относительно камеры (и наоборот)
– Проецирование и запекание текстуры на 3D модель прямо из видео
– Идеальный трекинг движений головы при использовании вместе с FaceBuilder
– Результаты трекинга легко экспортируются за пределы Blender

И многое другое!

Скачать GeoTracker for Blender

Сейчас адд-он в бесплатной бете. Делитесь своими работами, мы будем рады добавить их в наши будущие шоурилы.

Но это ещё не всё! Мы также значительно улучшили наши другие продукты. Подробности.

Качайте и пробуйте!

смотрю это видео в десятый раз и меня впечатляет:

- то как круто ген2 подхватывает атмосферу и стиль картинок из миджорней

- как мощно работают спецэффекты типа дыма и таймлапса облаков

- как удачно двигается камера, динамика в кадре

косяки тоже есть: кривовато выглядит походка персонажей но как будто этот зомби стиль тут даже в тему

хочу узнать ваше мнение, это впечатляет или нет?

и кстати о дыме - вот еще пример очень вкусного видео из ген2 на основе картинок SDXL

оригинальное видео
подробнее о его создании от автора

@тоже_моушн

вокруг ComfyUI - ажиотаж

для пользователей WarpFusion Дерп Лернинг запилил эксплейнер на комфи с наглядным объяснением процессов аккуратной стилизации видео. и похоже что нас ждет Comfy версия варпа!

если по началу комфи был интересен только кучке нердов то в последнее время он развивается активными шагами, и вот почему:

высокая гибкость инструмента, возможность дописывать свои модули (ноды), лихо соединять все это в едином интерфейсе, мега простой апи. это уже достойная альтернатива автоматику

вот например урок о том как делать бесконечную зум анимацию в комфи да еще и менять промпты прямо в процессе рендера

а DotSimulate на днях выложил на патреоне свой ComfyUI Touchdesigner API Tool Setup

своим изгибающим реальность сетапом я все еще хочу и планирую поделиться. останавливает только то что в эпоху однокнопочных решений предлагать пользователю танцевать с бубнами без четкой инструкции - ну такое себе

ComfyUI
Warp and Consistency explanation
zoom tutorial
ComfyUI TD API by DotSimulate

@тоже_моушн