Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.

Нагенерируйте мне красоты!

https://www.youtube.com/watch?v=Un_b8cvzxcw

Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.

Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов

Сам скрипт в описании канала.

каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!

github

за наводку спасибо Psy Eyes

@тоже_моушн

кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.

должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.

Олегу Суркову - автору видеоряда - мой респект!

Кирилл Экономов - "Маликов"

@тоже_моушн

Вышел выпуск Редакции про ИИ

Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.

Рада оказаться в выпуске среди дорогих коллег и визионеров.

Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.

РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵

а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!

для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего

с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics

запись в вейтлист

@тоже_моушн

не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion

а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы

чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере

а для тех кто недавно присоединился к каналу - вот два поста на эту тему:

первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111

в обоих постах есть ссылки по которым можно покрутить генерации в 360

сделать свою панораму в BlockadeLabs

@тоже_моушн

c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства

Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)

Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE

@тоже_моушн

бытовой нейро-натюрморт в неоновых тонах

instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.

плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)

минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)

страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео

@тоже_моушн

и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.

взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика

мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу

плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку

минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF

и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра

nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером

@тоже_моушн

должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.

но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!

на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю

и еще примеры инпейнтинга положу в комменты

гайд о том как делать инпейнт как боженька

@тоже_моушн

ох каких нервов мне стоило получить эту простенькую анимацию!

такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots

не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию

и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить

а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу

@тоже_моушн

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

на полях консистентной стилизации прибыло!

Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов

colab notebook
и много красивых примеров на официальной страничке

upd. работает пока не очень (

@тоже_моушн

Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера

а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе

скачать плагин - в канале NeuroAE
гайды и уроки на ютуб

на днях еще кое что про связку AE и стейбла будет, не отключайтесь

@тоже_моушн

впечатляющая text2video генерация от Lyell. это вам не знаменитости поедающие макароны и прочий крипи шлак, это искусство! сделано с помощью Zeroscope XL, звук тоже нейронный - MusicGen

пост в твиттере
Zeroscope XL
MusicGen

p.s. в попытке подобрать промпт неожиданно кайфовые результаты получил, положу в комменты

@тоже_моушн

продолжая тему text2video не могу не поделиться новой работой Дмитрия Алексеева, это топ! а мы похоже наблюдаем бум видео моделек, и это только начало - вспомните stable 1.5 и сравните с уровнем генерации достигнутым за год - ситуация повторяется

@тоже_моушн

очень важная для меня веха - наконец то удалось использовать нейронный генератив в таком большом и ответственном проекте. вместе с командой Силы Света мы создали грандиозное 7 минутное иммерсивное шоу для фестиваля Videocitta в Риме. интереснейшая работа, сложнейшие задачи, мощнейшая прокачка навыков - и главный вывод: нейронки уже можно и нужно использовать для серьезных проектов!

больше красивостей смотрите в сториз и тиктоке

@тоже_моушн

новый способ контроля анимации в дефорум - теперь из AE

создатель MotionBro - бесплатного и очень толкового набора пресетов для афтера добавил в него новый пак - AE2SD, который позволяет удобно настроить анимацию дефорума не покидая знакомый интерфейс.

пресеты для 2д и 3д режима, поддержка экспрешнов (старый добрый wiggle) и прочих плюшек типа настроек изинга ключей + удобная система копирования параметров

два урока о том как установить и использовать AE2SD - от автора плагина - videolancer и нейро блоггера enigmatic_e

подробнее про AE2SD

@тоже_моушн