c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства

Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)

Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE

@тоже_моушн

бытовой нейро-натюрморт в неоновых тонах

instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.

плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)

минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)

страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео

@тоже_моушн

и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.

взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика

мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу

плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку

минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF

и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра

nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером

@тоже_моушн

должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.

но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!

на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю

и еще примеры инпейнтинга положу в комменты

гайд о том как делать инпейнт как боженька

@тоже_моушн

ох каких нервов мне стоило получить эту простенькую анимацию!

такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots

не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию

и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить

а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу

@тоже_моушн

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

на полях консистентной стилизации прибыло!

Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов

colab notebook
и много красивых примеров на официальной страничке

upd. работает пока не очень (

@тоже_моушн

Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера

а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе

скачать плагин - в канале NeuroAE
гайды и уроки на ютуб

на днях еще кое что про связку AE и стейбла будет, не отключайтесь

@тоже_моушн

впечатляющая text2video генерация от Lyell. это вам не знаменитости поедающие макароны и прочий крипи шлак, это искусство! сделано с помощью Zeroscope XL, звук тоже нейронный - MusicGen

пост в твиттере
Zeroscope XL
MusicGen

p.s. в попытке подобрать промпт неожиданно кайфовые результаты получил, положу в комменты

@тоже_моушн

продолжая тему text2video не могу не поделиться новой работой Дмитрия Алексеева, это топ! а мы похоже наблюдаем бум видео моделек, и это только начало - вспомните stable 1.5 и сравните с уровнем генерации достигнутым за год - ситуация повторяется

@тоже_моушн

очень важная для меня веха - наконец то удалось использовать нейронный генератив в таком большом и ответственном проекте. вместе с командой Силы Света мы создали грандиозное 7 минутное иммерсивное шоу для фестиваля Videocitta в Риме. интереснейшая работа, сложнейшие задачи, мощнейшая прокачка навыков - и главный вывод: нейронки уже можно и нужно использовать для серьезных проектов!

больше красивостей смотрите в сториз и тиктоке

@тоже_моушн

новый способ контроля анимации в дефорум - теперь из AE

создатель MotionBro - бесплатного и очень толкового набора пресетов для афтера добавил в него новый пак - AE2SD, который позволяет удобно настроить анимацию дефорума не покидая знакомый интерфейс.

пресеты для 2д и 3д режима, поддержка экспрешнов (старый добрый wiggle) и прочих плюшек типа настроек изинга ключей + удобная система копирования параметров

два урока о том как установить и использовать AE2SD - от автора плагина - videolancer и нейро блоггера enigmatic_e

подробнее про AE2SD

@тоже_моушн

что ж, пришло время об этом рассказать: красиво стилизовать видео теперь можно не только в платном StableWarp но и бесплатном Deforum

и никакого фликера, даже напротив - еще более гладкая анимация. на видео сравнение двух техник при условно одинаковых настройках. магия работает в A1111 на ip2p контролнете и режиме hybrid video

узнал про этот трюк благодаря подписчику. спасибо, Михаил!

StableWarp по прежнему остается годным и очень крутым инструментом, но на мой личный взгляд - чрезмерно навороченным и чем дальше тем сложнее в нем разобраться, я уже не говорю про новых пользователей, у которых вскипает мозг при виде сотен настроек.

файл с настройками дефорума - в комментах

@тоже_моушн

очень нравится как стейбл шаг за шагом органично встраивается в знакомые пайплайны

например это аудио-реактив видео я сделал в тачдизайнере посмотрев тутор от elekktronaut. у него в инсте можно еще красивые примеры глянуть

как и в случае со stable houdini, здесь генерация происходит по api Автоматика. патч который позволяет сделать такую связку я взял на патреоне DotSimulate (про его эксперименты в Zeroscope кстати недавно был пост)

туториал
инста elekktronaut
sd_api на патреоне

@тоже_моушн

подробный туториал о стилизации видео в дефоруме от Никита AI

работа проделана серьезная, разобраны многие аспекты - как установить, что качать и какие настройки на что влияют. файлы настроек можно найти у Никиты в канале (кот вообще топовый!)

туториал на ютуб
пост с настройками

@тоже_моушн