SORA не нужна 😅

Главная проблема визуальных моделей — это проблема контроля. Сделать красиво легко, а сделать как надо — это квест. С картинками проблему можно считать решённой (Controlnet, Dreambooth, IPAdapter и другие решения умельцев). С видео — пока всё только начинается.

Новая возможность #Luma — загружать не только начальный кадр, но и конечный, что позволяет делать генеративную интерполяцию (переход) между ними. Это кажется маленькой фишкой, но на самом деле это большой шаг к контролю, который, думаю, станет стандартом для многих (#Gen3 и прочих Клингов).

Если вы умеете в консистентную визуализацию и в целом круто управляете картиночными моделями, то перед вами открывается целое поле видео возможностей и СТОРИТЕЛЛИНГА. Я придумал уже с десяток способов интеграции в пайплайны с другими инструментами, и это даже при том, что пока генерации в Luma довольно сомнительного качества (пока что).

В приложении технический тест, где я использовал четыре кадра своего персонажа для презентаций, созданного в Dalle-3.

А вот-вот и Gen-3 выйдет, во многом не уступающий Соре по качеству. Так что последняя окажется в очень конкурентном поле.

What a time to be alive 🔥 (снова).

ComfyUI LivePortrait

🔥 Отличная нода для ComfyUI по переносу эмоций и мимики. Сделал тест на самом сложном примере входного видео.

📕 Лучше добавлять крупного портрета картинки, а затем вшивать в генерацию. Но с коробки в некоторых вариантах работает даже очень хорошо.

👀 Весь процесс работает на insightface моделях (которое запрещает коммерческое использование)🐈‍⬛ и на базе Reactor ноды

COMFYUI—WORKFLOW(JSON)

IC Light для видео в ComfyUI

🔄 Сделано на базе ComfyUI-IC-Light и отлично работает с персонажами и лицами.

🐈‍⬛ Очень плохо работает с локациями и сложными объектами.

WORKFLOWS—YOUTUBE(инструкция на английском)

Отдельно конечно хочется сказать, что автор пайплайна сделал это в 20 кастомных нодах, которые с нуля накатывать прям боль:

Custom Nodes: 

1.  https://github.com/daxcay/ComfyUI-JDCN.git
2.  https://github.com/bronkula/comfyui-fitsize.git
3.  https://github.com/kijai/ComfyUI-IC-Light.git
4.  https://github.com/kijai/ComfyUI-KJNodes.git
5.  https://github.com/mcmonkeyprojects/sd-dynamic-thresholding.git
6.  https://github.com/cubiq/ComfyUI_essentials.git
7.  https://github.com/giriss/comfy-image-saver.git
8.  https://github.com/M1kep/ComfyLiterals.git
9.  https://github.com/theUpsider/ComfyUI-Logic.git
10.  https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
11.  https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
12.  https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet.git
13.  https://github.com/shiimizu/ComfyUI_smZNodes.git
14.  https://github.com/Suzie1/ComfyUI_Comfyroll_CustomNodes.git
15.  https://github.com/Nourepide/ComfyUI-Allor.git
16.  https://github.com/WASasquatch/was-node-suite-comfyui.git
17.  https://github.com/Fannovel16/ComfyUI-Video-Matting.git
18.  https://github.com/Fannovel16/comfyui_controlnet_aux.git
19.  https://github.com/comfyanonymous/ComfyUI_experiments.git
20.  https://github.com/ltdrdata/ComfyUI-Impact-Pack.git

Arata Fukoe и его невероятный клип через нейронки

🍎 Автор работы уже делал невероятные вещи через Gaussian Splatting и множество гопро камер, а теперь показывает мастерство клипмейкинга через нейронки.

Музыка: ChatGPT, Sunoai
Видео: DreamMachine, Gen-3, Kling
Картинки: MJ, SD
Монтаж: Photoshop, After Effects

📕 Это если мы говорим о полных нейронных видео, но можем посмотреть на классические работы с небольшими вставками нейронок:

Видеоклипная работа Ramzoid (Это один из любимчиков Славы Мэрлоу, а так же мой любимый артист) в этом клипе часто используется generative Fill от Adobe, когда края картинки дорисовываются, а центр остается оригинальным видео.
И так же есть момент с DreamMachine, сцена в прачечной, когда мы берем последний кадр из видео и подаем в видеонейронку для артового продолжения кадра.

Успех и мемность видеомоделей, а так же некоторые старые приемы, которые мы видели уже 2 года назад, становятся вновь актуальными как части видеоэффектов для клипов.

Подборка интересных новостей за неделю

🐈‍⬛ LIVE PORTRAIT

Позволяет перенести эмоции и липсинг с видео на вашу портретную генерацию. Делает это очень хорошо и ОЧЕНЬ БЫСТРО.
Пост о нем ранее, а вот тут вышел качественный стрим/обучалка про то как его использовать. Очень хорошо дополняет видеогенерации из AnimateDiff, Kling, Luma, RunwayML.
Примеры использования:
LivePortrait+Custom codes
Gradio standalone APP | Обучалка как поставить себе на винду
LivePortrait Test in ComfyUI with GTX 1060 6GB
Vid2Vid test
AnimateDiff and LivePortrait
Аниматоры точно оценят!

🔄 CONTROL NET all in ONE

Огромный зоопарк наконец-то качественных моделей в одном чекпоинте для CоntrolNet для SDXL + Tile Deblur, Tile Super Resolution, Image Inpainting, Image Outpainting, больше почитать можно тут.
Доступен в ComfyUI со стандартными нодами для ControlNET.
GITHUB

📕 COMFYUI

— Новые модели: Stable Audio, SD3 ControlNets, AuraFlow (новая текстово-графическая модель от fal.ai)
— Еженедельные версионированные релизы ComfyUI (первая версия v0.0.1)
— BetaUI с управлением рабочими процессами
— Более быстрое рассмотрение запросов на изменения (PR) и проблем (Issue) всей командой
BLOG

🧐 Анимация — AnimateDiff с маской для attention в ip-adapter + SDXL + motion Lora

Kling генерации

⭐️ Приятное видео воссоединения одного и того же человека в молодости и в старости.

🧠 Все это сделано в Kling видеонейронке. Предварительно сшив две фотографии из разного возраста звезд в одну картинку и похоже подав с промптом на обнимание. 🐈‍⬛Доступ к видеонейронке только с валидным китайским номером.

☺️ Хотя с таким же подходом можно подать видео в Dream machine