Illusion Diffusion

Оптические иллюзии по текстовым запросам с использованием Stable Diffusion

https://github.com/tancik/Illusion-Diffusion

Сolab: https://colab.research.google.com/github/tancik/IllusionDiffusion/blob/main/IllusionDiffusion.ipynb

#text2image #text2illusion #text2puzzle

Jump in hypetrain.

Следующим на oчереди идёт Roblox, который на самом деле, не очевидно, но пытается конкурировать с Epic Games в сфере UGC.

В ближайшее время нам обещают Generative AI driven content просто по запросу голосом, что и показывают в видосе выше.

Но в то же время говорят, что процесс потребует времени, а к концу десятилетия мы не будем даже задумываться о том, имеет что-либо ИИ или нет.

https://www.wired.com/story/roblox-generative-ai-gaming-universe/

С помощью молотка, молитв и двухметрового костыля я сделал API для ControlNet. Теперь можно работать с ним из Гудини, делать батч-процессинг и прочие прикольные вещи.

Погружение в глубины исходников Автоматика стоило мне пары лет жизни. По возможности избегайте этого.

ControlNet-Video
Теперь на хаггингфейс можно контролнетить видео

#video2video #controlnet

AssemblyAI
Инструмент, который переводит видео или аудио в текст. Работает с несколькими языками. Русского пока нет, но Assemblyai постоянно обновляют и добавляют новые языки и возможности.

Из полученного текста сразу можно выделить короткое саммари, упорядочить его по таймкодам и даже анализировать эмоциональную окраску каждой фразы.

Можно за пару минут понять, о чём говорится в длинном гайде на YouTube или в зарубежном новостном подкасте. Инструмент полностью бесплатный.

#video2text #audio2text #tools #video2summary

Invertible Neural Skinning (INS)

Позер для 3D моделей одетых человеков
На гифке сравнение с конкурентами.
INS способен сохранять мэппинг атрибутов и текстур.

Код обещают позже

#poser #humanamination #3D2pose

pix2pix3D. 3D-aware Conditional Image Synthesis

Генерация объемных изображений, управляемая сегментной маской

Код

#maskto3D #imageto3D #image2image

In-N-Out: Face Video Inversion and Editing with Volumetric Decomposition

Новая модель от Adobe Research, для редактирования видео с поддержкой 3D, позволяет манипулировать объектами в условиях сдвига данных, что бы это ни значило

Код обещают позже

#facialanimation #talkinghead #imageto3D

Кому Stable Diffusion для Худини? Налетай.
Теперь полностью локально, с поддержкой AUTOMATIC1111.
https://www.cgchannel.com/2023/02/free-tool-mohsen-tabasis-stablediffusion_houdini-2-0/

X-Decoder
Нейросеть от Microsoft похожая на Instruct-Pix2Pix
Умеет распознавать объекты, сегментировать картинку, изменять ее по текстовым указаниям.

Код
Демо - очень капризное, иногда вообще ничего не меняет. Перекрашивать костюм Форреста в черный отказался. А изменить расу самого Форреста - пожалуйста (в следующем посте). Для демо к X-Decoder прикрутили GPT-3 и StableDiffusion

Экспериментируйте, делитесь результатми

#pix2pix #image2image

💠 ComfyUI 🏞

Я тут колаб принес, пользовательский интерфейс которого позволит вам проектировать пайплайн стабильной диффузии, используя интерфейс на основе нод (да да, прям в колабе). Если это кажется сложным, то предлагаю ознакомиться с этими примерами. Может работать асинхронно, куча оптимизаций, поддержка ckpt и safetensors, эмбэды, контролнеты и кучу всего другого.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/SDNode_v_1_0.ipynb