Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это всё ещё не идеальный вариант.

К сожалению, попробовать пока негде, есть только страница проекта с описанием.

Так что пока любуемся Штурмовиком, пылесосящим пляж. В комменты можете кидать удачные примеры использования.

жара! в дискорде runway наконец то заработал gen-2 - генерация видео по текстовому запросу!
мой промпт до сих пор висит в списке ожидания поэтому вот вам чужие астро-котики

@тоже_моушн

некоторые из вас знают что я веду курс по видео-нейронкам в Пражской медиашколе. сегодня наконец то собрали выставку работ выпускников первого потока, и там есть на что посмотреть! очень горжусь студентами и рад что многие дошли до финала и выразили себя в нейро творчестве. ребята, вы крутаны!

а если вы хотите также, сейчас идет набор на третий поток, который стартует в конце мая. и промокод TOZHE все еще работает

@тоже_моушн

плагин для блендера Dream Textures мощно так обновился! он теперь поддерживает контролнет со всеми плюшками, а настройка генерации перекочевала в комфортный нодовый редактор. что это если не хорошая альтернатива автоматику?

p.s. это тот самый плагин который еще и генерацию текстур прямо на 3д объект умеет делать - супер буст для текстурирования не выходя из блендера

скачать плагин

@тоже_моушн

Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.

Нагенерируйте мне красоты!

https://www.youtube.com/watch?v=Un_b8cvzxcw

Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.

Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов

Сам скрипт в описании канала.

каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!

github

за наводку спасибо Psy Eyes

@тоже_моушн

кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.

должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.

Олегу Суркову - автору видеоряда - мой респект!

Кирилл Экономов - "Маликов"

@тоже_моушн

Вышел выпуск Редакции про ИИ

Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.

Рада оказаться в выпуске среди дорогих коллег и визионеров.

Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.

РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵

а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!

для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего

с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics

запись в вейтлист

@тоже_моушн

не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion

а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы

чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере

а для тех кто недавно присоединился к каналу - вот два поста на эту тему:

первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111

в обоих постах есть ссылки по которым можно покрутить генерации в 360

сделать свою панораму в BlockadeLabs

@тоже_моушн

c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства

Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)

Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE

@тоже_моушн

бытовой нейро-натюрморт в неоновых тонах

instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.

плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)

минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)

страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео

@тоже_моушн

и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.

взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика

мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу

плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку

минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF

и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра

nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером

@тоже_моушн

должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.

но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!

на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю

и еще примеры инпейнтинга положу в комменты

гайд о том как делать инпейнт как боженька

@тоже_моушн

ох каких нервов мне стоило получить эту простенькую анимацию!

такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots

не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию

и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить

а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу

@тоже_моушн

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

на полях консистентной стилизации прибыло!

Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов

colab notebook
и много красивых примеров на официальной страничке

upd. работает пока не очень (

@тоже_моушн