Upside-down — оптическая иллюзия от Alex Carlier, созданная с помощью Stable Diffusion XL модели . Переверните телефон или изображение чтобы увидеть эффект. Если хотите повторить, то вот ссылка на коллаб:

https://colab.research.google.com/drive/1rjDQOn11cTHAf3Oeq87Hfl_Vh41NbTl4?usp=sharing

Pinokio — браузер, который позволяет автоматически устанавливать, запускать и автоматизировать любые приложения и модели искусственного интеллекта.

Если вы хотели попробовать всевозможные AI инструменты, но не умеете работать с кодом или сталкивались со сложной установкой, то стоит попробовать это решение.

https://youtu.be/mB_bZC8pMDA?si=LOFrj5HaSAUccaYV

Nicolas Cage is Childish Gambino — пример Deepfake созданного с помощью FaceFusion и Pinokio из предыдущего поста.
Самое интересное что на весь процесс ушло 10 мин на Mac m1 max.

Artist Style Studies — список из 4387 стилей для промптов SDXL с примерами.

https://sdxl.parrotzone.art/

ProPainter — новый метод видео-inpaint с помощью искусственного интеллекта, который позволяет удалять объекты, водяные знаки и поддерживает видео-outpaint.

https://shangchenzhou.com/projects/ProPainter/

Real-time dance visual — немного с запозданием сделал что-то похожее на контент Tale Of Us, Anyma и тд, который разлетелся по всем соцсетям.
Также решил себе устроить из этого челендж. Сделать все одному и бесплатными или условно-бесплатными инструментами, т.е. без перформера, мокап костюма, риггера, скульптера и других участников пайплайна. Также максимально не затягивать процесс и в итоге уложился в два дня (но теперь можно и быстрее). Ну и главное запустить все лайвом и синхронизировать с музыкой.
OBS (да, это запись экрана) и Telegram пожали качество, в первом комментарии найдете видео без сжатия.

Интересно посмотреть процесс/бэкстейдж создания проекта?

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Список изменений для версии 2.1.0:
- Stream. Авто-генерация изображения (live генерация).
- Multi-Controlnet. Поддержка нескольких ControlNet модулей для генерации изображений.
- Inpainting. Метод при котором Stable Diffusion перерисовывает только часть изображенияю
- Scripts & Extensions. Частичная поддержка для скриптов и расширений.
- Clips skip, Hires Fix, Prompt styles, Refiner

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.1.0

Stable Fast и TensorRT — релиз расширения для Stable Diffusion (A1111) и нового драйвера от NVIDIA ускоряющего генерацию в 2 раза, а также библиотека Stable Fast для Diffusers, ускоряющая еще больше. Если помните, я выкладывал эксперименты с AITemplate 0.4-0.5 сек на генерацию, то эти решения, в теории, должны еще больше сократить время генерации.

Latent Consistency Model — новый класс моделей Stable Diffusion, позволяющий за секунду получать 10 изображений при 4 шагах в разрешении 512х512, тоесть это генерация со скоростью 10 FPS.

Latent Consistency Model — лайв-генерация с камеры в Stable Diffusion и TouchDesigner со скоростью 0,8 сек. на изображение.

Полгода назад AITemplate с 1.5 сек/изображение казался нереальным быстрым.

Interactive inpaint — интерактивная перерисовка части изображение в TouchDesigner с помощью Stable Diffusion, RIFE и Leap Motion.

Видео ускорено x4 в момент генерации, так как используются модели без "ускорения".

Resolume Countdown — обратный отсчет с помощью REST API.

1) Включаете Webserver в настройках.
2) Копируете папку из скачанного архива в Root Directory.
3) Открываете файл index.html в текстовом редакторе и заменяете значения после // Set Text Block position и // Set the countdown date.
4) Добавляете Text Block из Source.
5) Открываете в браузере http://localhost:8080/countdown/ Таймер будет активен пока браузер открыт, но окно можно свернуть.
6) Если вы вносите какие-то изменения, необходимо сохранить файл и обновить страницу в браузере.

Необходимо заменить только цифры в файле, где:
Layer, Column - слой и колонка на котором Text Block.
Day, Month, Year, Hour, Minute, Seconds - дата до которой необходим обратный отсчет
onfinish - текст который отобразится после завершения отсчета. Можно поставить пробел, если текст не нужен.

Наверное можно закрыть наконец-то вопрос с таймерами в Resolume. Сам архив в первом комментарии.

TDComfyUI — компонент TouchDesigner для генерации изображение через ComfyUI API. ComfyUI - нодовый интерфейс для Stable Diffusion, который можно описать как "Процедурное рисование".

TDComfyUI позволяет собрать свой workflow, не ограничиваясь "зашитыми" решениями как в Automatic1111.

https://github.com/olegchomp/TDComfyUI

Если у вас появился вопрос, для чего этот компонент вообще нужен?

Вот например концепт фотобудки с нейронной сетью внутри. На генерацию картинки уходит около 40 секунд и можно выбрать стилизацию.

И при этом не написана ни одна строчка кода. Workflow в ComfyUI собран по урокам на YouTube за вечер. В TouchDesigner только закинул картинку на вход и запустил генерацию.

Как подключить что угодно к Stable Diffusion — в этом видео мы рассмотрим базовые примеры как подключить Вебкамеру, Photoshop или любую другую программу к Stable Diffusion, с помощью ComfyUI и TouchDesigner.

https://youtu.be/utJqviJW7YU

StreamDiffusion — новый пайплайн для real-time генерации в Stable Diffusion. В примерах на Github генерация достигает скорости 100 FPS на RTX 4090.

На видео пример с интеграцией в TouchDesigner, на скорости 15 FPS. Для ускорения, видимо надо будет запускать StreamDiffusion отдельно, как бэкэнд.

StreamDiffusion — в предыдущем посте показывал первую попытку запустить пайплайн. В этот раз показываю генерацию на скорости 20 FPS (на самом деле там и 23-24, но OBS съел немного). Качество конечно не очень, но давайте вспомним каким был Stable Diffusion год назад, про real-time речи и не было.

SteamDiffusion-NDI — выложил на Github скрипт и инструкцию для real-time генерации в Stable Diffusion. Внутри работает через NDI для стрима изображений и OSC для управления промптом и отображения FPS.

Можно подключить любой софт с поддержкой NDI, например TouchDesigner, Resolume, Unreal Engine и тд и тд. А также разделить нагрузку при помощи стриминга по сети, между сервером с Stable Diffusion и клиентом.

https://github.com/olegchomp/StreamDiffusion-NDI

SteamDiffusion-NDI — пример real-time генерации в Resolume и Stable Diffusion

Comfy Textures — плагин для автоматической генерации текстур с помощью Stable Diffusion в Unreal Engine.

Делаете сценарий и лор в ChatGPT, затем Blockout в UE, там же текстурите с помощью плагина. смотрите урок как сделать 2.5D платформер и открываете фабрику по производству игр.

https://github.com/AlexanderDzhoganov/ComfyTextures

Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS.

Да-да, никаких Realsense, Kinect и других специальных камер глубины.