соединяем стилизацию дефорумом c моделью контролнета qrcode monster и получается вот такая анимированная иллюзия с эффектом негативного пространства

вообще модель идеально показывает себя на генерациях природы - растения, горы, вода

инит видео и настройки в комментах

подробнее про negative space
модель на hf

@тоже_моушн

не удержался и тоже анимировал статичные картинки в ген2. понравилось)

запускается на сайте Runway. ты ей картинку, она тебе анимацию. без промптов, минимум настроек, результат ограничен 4 секундами. небольшой черри-пик)
бесплатных попыток хватает чтобы вдоволь наиграться с технологией и понять какие картинки лучше подходят и во что они превратятся в процессе анимации

runway
красивый эксперимент от ЭйАйЛера

@тоже_моушн

Pika Labs открылся для всех!

Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.

Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)
-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)
-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)

Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.

Дискорд
Сайт

кажется именно для этого и были придуманы видео диффузионные модели

идеальное сочетание оживших картин Клода Моне под музыку Эрика Сати. автор видео - Phil Van Treuren, анимация - Pika Labs

не, можно конечно и мемасики оживлять (как тут или тут), но до оживших фотографий из Гарри Поттера пока что далеко - внешность персонажа быстро теряется и всратый результат в 9 видео из 10

а в случае импрессионизма артефакты генерации не портят ее, напротив - делают еще более живой и волшебной

кстати очень крутую анимацию арта недавно постил Дмитрий Алексеев. если еще не видели - обязательно к просмотру!

пост на реддите
подробное описание проекта от автора
видео на ютуб
Pika Labs

@тоже_моушн

вау, даже не предполагал что нерф можно гнуть как душе угодно, искажая пространство как в фильме Нолана "Начало"

обычно для таких трюков с пространством используют реймаршинг, но с нерфом это что то новенькое!

информации о том как именно видео сделано - минимум, известно только что использован instant-ngp. хотя знающие люди говорят что возможно нерф экспортировали в sdf и затем гнули стандартно шейдерами - то есть все таки реймаршинг

что ж, придется изучать, это очень интересно)

видео на ютуб
подробнее про реймаршинг
пост про instant-ngp

upd. пост в твиттере

@тоже_моушн

осторожно, пространства искривляются!

в моей флюидной анимации был использован похожий способ, только в этот раз генерацией управляет не Houdini а Touchdesigner. а картинка теперь генерится не в A1111 а внезапно в ComfyUI

комфи - это крутой нодовый редактор для SD. у него тоже есть api, и по сути это просто json, то есть нужно в правильном формате указать порядок действий и запустить как скрипт. а тач отлично умеет в пайтон

да и манипуляции с картинкой в таче производить куда проще чем в гудини, а еще он бесплатный. так что у меня большие планы на этот сетап

ComfyUI на гитхаб
нейрофлюидная симуляция

@тоже_моушн

KeenTools 2023.2: Встречайте бету GeoTracker for Blender

Друзья, наш 3D трекер объектов теперь в вашем любимом Blender! Нужно добавить 3D эффекты или симуляции в ваше видео? С GeoTracker вы можете быстро отследить движение нужного объекта, получив его координаты в 3D, и сразу же притречить к нему желанный эффект — всё это не покидая Блендера.

Почему GeoTracker:
– Точный трекинг объектов и камеры на основе отслеживания геометрии в кадре
– Возможность разместить объект относительно камеры (и наоборот)
– Проецирование и запекание текстуры на 3D модель прямо из видео
– Идеальный трекинг движений головы при использовании вместе с FaceBuilder
– Результаты трекинга легко экспортируются за пределы Blender

И многое другое!

Скачать GeoTracker for Blender

Сейчас адд-он в бесплатной бете. Делитесь своими работами, мы будем рады добавить их в наши будущие шоурилы.

Но это ещё не всё! Мы также значительно улучшили наши другие продукты. Подробности.

Качайте и пробуйте!

смотрю это видео в десятый раз и меня впечатляет:

- то как круто ген2 подхватывает атмосферу и стиль картинок из миджорней

- как мощно работают спецэффекты типа дыма и таймлапса облаков

- как удачно двигается камера, динамика в кадре

косяки тоже есть: кривовато выглядит походка персонажей но как будто этот зомби стиль тут даже в тему

хочу узнать ваше мнение, это впечатляет или нет?

и кстати о дыме - вот еще пример очень вкусного видео из ген2 на основе картинок SDXL

оригинальное видео
подробнее о его создании от автора

@тоже_моушн

вокруг ComfyUI - ажиотаж

для пользователей WarpFusion Дерп Лернинг запилил эксплейнер на комфи с наглядным объяснением процессов аккуратной стилизации видео. и похоже что нас ждет Comfy версия варпа!

если по началу комфи был интересен только кучке нердов то в последнее время он развивается активными шагами, и вот почему:

высокая гибкость инструмента, возможность дописывать свои модули (ноды), лихо соединять все это в едином интерфейсе, мега простой апи. это уже достойная альтернатива автоматику

вот например урок о том как делать бесконечную зум анимацию в комфи да еще и менять промпты прямо в процессе рендера

а DotSimulate на днях выложил на патреоне свой ComfyUI Touchdesigner API Tool Setup

своим изгибающим реальность сетапом я все еще хочу и планирую поделиться. останавливает только то что в эпоху однокнопочных решений предлагать пользователю танцевать с бубнами без четкой инструкции - ну такое себе

ComfyUI
Warp and Consistency explanation
zoom tutorial
ComfyUI TD API by DotSimulate

@тоже_моушн

друзья разрабатывают сервис OHMYSYNT и хотят получить фидбек. 3 дня триала: обучение внешности 5 персонажей + современные плюшки типа инпейнтинга в AI-редакторе с удобным интерфейсом. ну что, поможем парням нагрузить сервера?

Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.

Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.

Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡

Сорс

хотели морфинг? дарю рабочий пайплайн)

если взять серию картинок (фоток, генераций sd/mj), сморфить их между собой с помощью FILM или Topaz Video AI, а затем результат прогнать через стилизацию в Deforum - получается очень даже кайфовый гладкий морфинг (по сравнению например с sd_smooth_interpolation)

дефорум учитывая optical flow рисует новые детали и тем самым прекрасно сглаживает артефакты интерполяции в пиксельном пространстве (но не все!). конечно метод несовершенный и нужен текстовый промпт а иногда еще и лора - если морфим персонажа. тем не менее - сам пользуюсь и рекомендую

блокнот FILM
стилизация в Deforum
sd_smooth_interpolation

@тоже_моушн