Нейронная анимация от Vnderworld и мысли о нейроклипах

Год назад весь мир получил StableDiffusion и блокнот Deforum, анимация в котором считалась в 15 раз быстрее, чем на DiscoDiffusion, а изображения стали реалистичнее. Это сделало нейросети сильно доступнее для творческих экспериментов или скучных попыток словить хайп.

За год мы получили много волшебных подарков от разработчиков, поэтому Deforum уже не способен удивить креативщиков сам по себе. Сейчас трудно поверить, в какой восторг мог привести PyTTi или, что A$AP ROCKY не побоялся делать клип на нейронках.

Все чаще в возможностях нейросетей как будто ищут слабые места и точки роста, но уже не пытаются достичь каких-то результатов с ограниченными возможностями. Красота глитчей постепенно уходит — инструмент становится таким же привычным как камера, от него просят такого же качества. Множество идей заморожено до прихода простого UX и последовательной анимации.

Меня иногда спрашивают: какой должна быть хорошая нейронная анимация? Нейронные сети как медиум сами по себе не имеют никакой ценности (как и любой другой). Поэтому техника должна соответствовать содержанию и подчеркивать его глубину. Ну а иначе получается легион «этих клипов сгенерила нейросеть», которые никто, кажется, уже не досматривает до конца.

И отдельной строкой при любопытном содержимом идет интересный, хитрый ход работы. Не обязательно аккуратно и четко (нейросети пока все еще не для этого). Но хотя бы не так просто, что как будто самому автору было неинтересно нажимать кнопки в процессе работы.

Никогда хорошим произведением не будет такое, которое орет на зрителя криком или тупое желание выстрелить на болезненой теме с помощью ассоциаций первого порядка. Все вы такие работы видели за последние полгода, нейросети не делают их лучше или хуже.

Мысли у меня появились после просмотра работы «Panopticom» Vnderworld, она медитативная, хорошо сделана и показывает силу инструмента. Прочитала об работе в дайджесте StableDiffusion, на который и вы можете подписаться.

Не совсем в тему, но там Старфилд вышел без русских субтитров. Вот инструмент для мгновенного перевода субтитров на русский язык. Устанавливай,выбирай язык и укажи область где будет появляться текст для перевода. Готово! https://github.com/Danily07/Translumo.git

Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.

Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.

Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡

Сорс

Опубликована инпейнтинг-модель #SDXL

Демо
Веса

#inpainting #image2image