С помощью молотка, молитв и двухметрового костыля я сделал API для ControlNet. Теперь можно работать с ним из Гудини, делать батч-процессинг и прочие прикольные вещи.

Погружение в глубины исходников Автоматика стоило мне пары лет жизни. По возможности избегайте этого.

ControlNet-Video
Теперь на хаггингфейс можно контролнетить видео

#video2video #controlnet

AssemblyAI
Инструмент, который переводит видео или аудио в текст. Работает с несколькими языками. Русского пока нет, но Assemblyai постоянно обновляют и добавляют новые языки и возможности.

Из полученного текста сразу можно выделить короткое саммари, упорядочить его по таймкодам и даже анализировать эмоциональную окраску каждой фразы.

Можно за пару минут понять, о чём говорится в длинном гайде на YouTube или в зарубежном новостном подкасте. Инструмент полностью бесплатный.

#video2text #audio2text #tools #video2summary

Invertible Neural Skinning (INS)

Позер для 3D моделей одетых человеков
На гифке сравнение с конкурентами.
INS способен сохранять мэппинг атрибутов и текстур.

Код обещают позже

#poser #humanamination #3D2pose

pix2pix3D. 3D-aware Conditional Image Synthesis

Генерация объемных изображений, управляемая сегментной маской

Код

#maskto3D #imageto3D #image2image

In-N-Out: Face Video Inversion and Editing with Volumetric Decomposition

Новая модель от Adobe Research, для редактирования видео с поддержкой 3D, позволяет манипулировать объектами в условиях сдвига данных, что бы это ни значило

Код обещают позже

#facialanimation #talkinghead #imageto3D

Кому Stable Diffusion для Худини? Налетай.
Теперь полностью локально, с поддержкой AUTOMATIC1111.
https://www.cgchannel.com/2023/02/free-tool-mohsen-tabasis-stablediffusion_houdini-2-0/

X-Decoder
Нейросеть от Microsoft похожая на Instruct-Pix2Pix
Умеет распознавать объекты, сегментировать картинку, изменять ее по текстовым указаниям.

Код
Демо - очень капризное, иногда вообще ничего не меняет. Перекрашивать костюм Форреста в черный отказался. А изменить расу самого Форреста - пожалуйста (в следующем посте). Для демо к X-Decoder прикрутили GPT-3 и StableDiffusion

Экспериментируйте, делитесь результатми

#pix2pix #image2image

💠 ComfyUI 🏞

Я тут колаб принес, пользовательский интерфейс которого позволит вам проектировать пайплайн стабильной диффузии, используя интерфейс на основе нод (да да, прям в колабе). Если это кажется сложным, то предлагаю ознакомиться с этими примерами. Может работать асинхронно, куча оптимизаций, поддержка ckpt и safetensors, эмбэды, контролнеты и кучу всего другого.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/SDNode_v_1_0.ipynb

Научно-фантастический журнал Clarkesworld Magazine больше не принимает материалы от читателей — они массово присылают истории, написанные ChatGPT

По правилам журнала, все предложенные тексты должны быть написаны человеком. Год назад количество заблокированных авторов по этой причине составляло всего 20 человек, а в феврале 2023 года достигло 500.

ИИ пишет скучные, однообразные, хотя и технически правильные художественные произведения, это серьезная проблема для создателей журнала.

В автоматике теперь можно использовать несколько #controlnet сразу. Держите туториал
https://www.youtube.com/watch?v=cNIHZInV3mg

Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition

Создает 3D-аватар человека (меш, 3D-модель, карта нормалей) по одному видео. В процессе используется nerf. Далее Vid2Avatar может анимировать полученный аватар.
Судя по презентации, Vid2Avatar дает результаты заметно лучше чем ICON и прочие конкуренты.

Код обещают позже.

#imageto3D #videoto3D #videoavatar #humananimation