обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества

Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету

я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую!

оригинальный пост
гайд на ютуб
lora LCM
патч для Тача

@тоже_моушн

ComfyUI Stable Diffusion Video

ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.

Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.

Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.

Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр:
--use-pytorch-cross-attention

В комментах скидываю два .json для ComfyUI.

Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1

Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне.

Кое-что новенькое в стабильной версии:
— Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель
— Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней
— Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии

Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год.

Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE.

Все детали, туториалы, скидки ждут вас здесь!

в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.

и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза

с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе

внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.

запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты

это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает

гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco

всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра

@тоже_моушн

вдруг вы из Лондона? если так то имеете шанс попасть на классную выставку, которую мы в Силе Света запилили незадолго до нового года: арт инсталляция Hyperfeeling про спектр человеческих чувств для The Balloon Museum

для меня это первый опыт создания нейро контента в формате сферы 360. выглядит и работает очень кайфово, хотя и не обошлось без костылей)

360 в статике - изи. но вдруг вам известны способы как генерить анимацию типа дефорума или анимейтдифф - без лор, ассиметричного тайлинга и прочих костылей - сразу со всеми искажениями 360 развертки? вроде несложная задача но до сих пор не попадалось хороших решений

@тоже_моушн

морфинг с помощью animatediff и ip-adapter

выше я уже рекомендовал к просмотру гайды/туториалы от Latent Vision. и это видео не исключение. берем две картинки и анимированную чб маску перехода. твикаем настройки и вуаля - магия работает, морфинг супер плавный и кайфовый

но сразу должен расстроить - это снова не морфинг из картинки А в картинку Б. ipadapter не воссоздает оригинальные картинки, но весьма неплохо понимает что на них изображено, считывает стиль, некоторые детали и общий вайб

воркфлоу в комментах

туториал

@тоже_моушн

Houdini + Stable Diffusion

Принес годноты для CG-взрослых.

Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.

Вот такой нейрорендер нам нужен!
Более того, держите:

Подробный тутор, где все это расписано.

Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.

И клондайк из разных полезных постов для тех, кто в кино и VFX.

Enjoy CG-Bros.

P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).

Ежик в тумане, 2024

Stable Video Diffusion очень неплохо имитирует поведение природных явлений - воды, огня, тумана, облаков. а также вполне четко считывает объем и улавливает предполагаемую динамику в кадре: без особого управления хорошо двигает камеру обычно в 2 случаях из 5

поэтому пайплайн чаще всего выглядит так: закинул картинку и жмешь 2-3 раза на генерацию, выбираешь лучший вариант

шевелить объекты не очень любит но иногда умеет. главное не переборщить с таким оживлением, иначе объекты ломаются

и к сожалению главное ограничение - всего 25 кадров за раз

картинки - mj
анимация - SVD 1.1
музыка - suno.ai

@тоже_моушн

свежая китайская моделька I2VGEN-XL теперь доступна в комфи

в отличие от SVD не так пафосно и красиво двигает камерой, зато гораздо лучше анимирует объекты в кадре. по скорости генерации тоже немного проигрывает и к сожалению прожорлива до VRAM. в теории лучше держит внешность (у меня пока не получилось, фейлы в комментах)

посмотреть как работает можно тут. у меня нормально установилась только на свежую версию комфи

гитхаб
кастом ноды для I2VGEN-XL
гайд на ютубе
демо на replicate

@тоже_моушн

Новая технология нейрогенерации видео от Тиктока

Полный отвал башки.

В чем была главная проблема генерации видео в Pika или Gen2? В непредсказуемом результате.

Бралась картинка и случайным, бесконтрольным образом анимировалась.

И вот Тикток выкатывает новую работу, дающую возможность конкретно указывать, чего и куда нужно анимировать.

Через 2-3 месяца обещают публичное демо. Ждем.

нет, это не настоящее видео, это генерация

потому что опять пришли опенаи и всех уделали. это их новый text2video. инфы минимум. кода и подавно

смотреть и удивляться тут - openai.com/sora

@тоже_моушн

похоже что Sora мы еще не скоро пощупаем, а потому продолжаем работать с тем что есть. и пока что AnimateDiff остается самым гибким и перспективным инструментом, доступным каждому

Даниил Дорошков прислал классное видео. задумка взята с реддита, где чел использовал симуляции дыма и огня из Embergen как основу и превращал с помощью AnimateDiff в кайфовые анимации цветов. Даниил взял готовые футажи дыма со стоков и обработал стандартным воркфлоу vid2vid с добавлением контролнетов Depth и Lineart

Универсальных настроек не нашел, под каждое входное видео нужно подстраивать индивидуально. Ну и основная работа состояла из подбора настроек и композа всяких аморфных видосов для входного изображения. Чекпойнты моделей и лоры пробовал разные, мне зашли нескольо анимэшных, получилась стилистика олдового аниме.

чтобы оценить возможности метода рекомендую еще прогуляться по инсте shanef3d, который тоже вдохновился этим пайплайном. у него и цветочки и грибочки и даже рыбки из дыма есть

пост на реддите
гайд и воркфлоу на civitai
инстаграм Даниила
инстаграм shanef3d

@тоже_моушн

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.

Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.

Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.

Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.

P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.

Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.

P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".

Короче, расслабляем булки, ИИ все поправит. За вас.

Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895

хорошему дружескому проекту нужно помочь с тестированием их продукта:

Nim — новый проект на просторах вселенной AI, которому чуть больше месяца. Сейчас ребята активно исследуют генеративные модели и находятся в поиске профессиональных фото/видео креаторов, которые помогут им в креативном тестировании платформы в рамках оплачиваемой Creative Partner Program.
Ребята предоставляют ранний доступ к их генеративной платформе и платят почасовую ставку за генерации.

Подать заявку на участие.

совсем не новость но грех не поделиться

один из самых крутых и визуально интересных проектов над которыми поработал в прошлом году - показ BOSS в Милане. командой Силы Света мы разрабатывали его визуальную концепцию: что то типа офиса будущего с прозрачными экранами, нейро-интерфейсами и силиконовыми роботами, все такое smooth and sleek

был проделан настоящий глубокий ресерч - куча обученных лор, генеративная инфографика, стилизация реальных футажей мрт, бешеные эксперименты со временем и пространством в тач дизайнере, ранние тесты animatediff etc. и помимо нейронок конечно много качественного 3д

получилось по моему очень насыщенно, красиво и достойно

официальное видео показа
видео Сила Света

@тоже_моушн