SteamDiffusion-NDI — выложил на Github скрипт и инструкцию для real-time генерации в Stable Diffusion. Внутри работает через NDI для стрима изображений и OSC для управления промптом и отображения FPS.
https://github.com/olegchomp/StreamDiffusion-NDI
Можно подключить любой софт с поддержкой NDI, например TouchDesigner, Resolume, Unreal Engine и тд и тд. А также разделить нагрузку при помощи стриминга по сети, между сервером с Stable Diffusion и клиентом.
https://github.com/olegchomp/StreamDiffusion-NDI
GitHub
GitHub - olegchomp/StreamDiffusion-NDI
Contribute to olegchomp/StreamDiffusion-NDI development by creating an account on GitHub.
👍13🔥11❤6
This media is not supported in your browser
VIEW IN TELEGRAM
SteamDiffusion-NDI — пример real-time генерации в Resolume и Stable Diffusion
🔥35👍5⚡2
This media is not supported in your browser
VIEW IN TELEGRAM
Comfy Textures — плагин для автоматической генерации текстур с помощью Stable Diffusion в Unreal Engine.
https://github.com/AlexanderDzhoganov/ComfyTextures
Делаете сценарий и лор в ChatGPT, затем Blockout в UE, там же текстурите с помощью плагина. смотрите урок как сделать 2.5D платформер и открываете фабрику по производству игр.
https://github.com/AlexanderDzhoganov/ComfyTextures
🔥13❤3
This media is not supported in your browser
VIEW IN TELEGRAM
Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS.
Да-да, никаких Realsense, Kinect и других специальных камер глубины.
👍26🔥12❤4🤝2
VJ SCHOOL
Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS. Да-да, никаких Realsense, Kinect и других специальных камер глубины.
This media is not supported in your browser
VIEW IN TELEGRAM
Real-time monocular depth estimation — продолжение с Depth Anything. На видео используется самая большая модель с TensorRT ускорением. В предыдущий раз была маленькая модель и без ускорения, а большая модель без ускорения выдает 12 FPS. Также запустил все внутри TouchDesigner без NDI, тем самым получилось синхронизировать генерацию, так как при использовании NDI получаем около секунды задержки.
Справа можно увидеть часть кода, собранного по частям из разных источников и ноткой "и так сойдет", который надо понять как теперь выложить на Github.
🔥23⚡4👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер.
https://github.com/olegchomp/TDDepthAnything/
https://github.com/olegchomp/TDDepthAnything/
🔥23👏2👍1
Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через Effectors.
В Unreal Engine подобного результата можно было добиться через Blueprints, Niagara или сторонни плагины, но решение даже самых простых задач занимало очень много времени.
https://www.youtube.com/watch?v=ZftACL1CCEQ
В Unreal Engine подобного результата можно было добиться через Blueprints, Niagara или сторонни плагины, но решение даже самых простых задач занимало очень много времени.
С интеграцией простой системы клонирования в Unreal Engine, Motion Design артисты получают знакомый пайплайн, который позволяет быстро достигать желаемых результатов.
https://www.youtube.com/watch?v=ZftACL1CCEQ
YouTube
NEW Cloner & Effectors in Unreal Engine 5.4! (scene examples + walkthrough tutorial)
more info! ⬇
https://www.instagram.com/_ali.3d/
https://linktr.ee/ali.3d
Helloooooo my friends! Have been very busy lately so the upload schedule had to slow down (won't be stopping though so don't worry) - I've decided to come back with an exciting one!…
https://www.instagram.com/_ali.3d/
https://linktr.ee/ali.3d
Helloooooo my friends! Have been very busy lately so the upload schedule had to slow down (won't be stopping though so don't worry) - I've decided to come back with an exciting one!…
🔥7❤2👍1
VJ SCHOOL
Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через…
Unreal Engine 5.4 Preview — новая версия доступна для скачивания. Из всех изменений очень интересно посмотреть на Motion Design mode — кажется, это должна быть киллер-фича. На канале WINBUSH уже есть краткий обзор инструментов, таких как Cloner, 2D Text tools, импорт векторных изображений и Audio Effector.
⚡4❤3
This media is not supported in your browser
VIEW IN TELEGRAM
AnimateDiff-Lightning — «молниеносная» text-to-video модель от ByteDance. Представлены 1-8 steps checkpoints, ускоряющие генерацию видео в 10 раз. Почитать подробнее на HuggingFace, поиграться с Демо, worfklow для ComfyUI.
🔥7❤3
This media is not supported in your browser
VIEW IN TELEGRAM
FRESCO — генерация coherent (целостных/связанных) видео в Stable Diffusion. Примеры и демо можно посмотреть на Github. Внутри optical flow + ebsynth, который использовались и раньше, но теперь собраны в один инструмент.
❤7👍3
One-step Diffusion DMD — новый метод дистилляции моделей, позволяющий генерировать изображения со скоростью 20 FPS (0.05 sec/img). Подробнее на видео и по ссылке , код еще не доступен.
YouTube
Distribution Matching Distillation
Please visit our project webpage
https://tianweiy.github.io/dmd/
https://tianweiy.github.io/dmd/
🔥5❤1
Real-time Stable Diffusion — два новых метода Yoso и SDXS, позволяющих генерировать изображение только одним шагом, что практически real-time. Если добавить TensorRT, то скорость генерации в теории будет 30+ FPS.
Семимильными прыжками идем к тому, что вместо многодневных рендеров контента, будем писать промпты в Resolume и получать мгновенный результат.
👍8❤5👏1
This media is not supported in your browser
VIEW IN TELEGRAM
NoiseeAi — онлайн сервис, который автоматически создает видеоклипы на основе музыкальных треков.
Создаете текст песни в ChatGPT, загружаете его в генератор музыки Suno, результат отправляете в NoiseeAI и получаете музыкальный клип за полчаса.
Создаете текст песни в ChatGPT, загружаете его в генератор музыки Suno, результат отправляете в NoiseeAI и получаете музыкальный клип за полчаса.
Вероятно где-то уже создается сервис, который будет делать все в один клик
🔥9❤5👍3
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA Copilot — расширение для VS code, разработанное для ускорения и оптимизации процесса программирования. Из очевидных возможностей это объяснение, оптимизация и решение ошибок в коде.
Регистрируетесь на платформе NVIDIA, там же получаете ключ API и подключаете через расширение CodeGPT.
Регистрируетесь на платформе NVIDIA, там же получаете ключ API и подключаете через расширение CodeGPT.
Сложный код конечноникогдане всегда рабочий получается, но как помощник в несложных задач, очень даже решение.
❤6🔥5
CGIT_Vines
У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию. Автор, правда, ничего лучше не придумал, чтобы…
Media is too big
VIEW IN TELEGRAM
Virtual Assistant — вернулся к истории с аватарами (спустя год). Прогресс в каких-то инструментах нереальный, а в некоторых все осталось как и было. Из того что на видео:
- память
- синтез речи
- распознавание речи
- активация по ключевому слову
- погода + время + в целом все что угодно
- компьютерное зрение
Сейчас из облачного только LLM, но хочу попробовать заменить на локальную и поработать над качеством речи.
- память
- синтез речи
- распознавание речи
- активация по ключевому слову
- погода + время + в целом все что угодно
- компьютерное зрение
Сейчас из облачного только LLM, но хочу попробовать заменить на локальную и поработать над качеством речи.
Конечно можно отдать все в облако LLM + TTS + ASR + Vision и получать супер быстрые и качественные ответы, но бюджет будет очееееень быстро уходить и самое главное будет непредсказуемым.
❤8🔥7
Forwarded from • МОТЫЛЁК | MOTYLYOK • (Ksusha Chekhovskaya)
Моя любимая рубрика на канале – интервью. Это возможность лучше узнать 🦋 сподвижников🦋 , с которыми мы вроде бы и так уже много лет знакомы, и есть общие проекты за плечами, но все всегда на бегу, без возможности вот так поговорить. С удовольствием представляю вам мультимедийного художника Олега Тысячного, также известного как Олег Чомп – автора обучающего YouTube и Telegram канала VJSCHOOL, работающего с генеративной графикой и инструментами на основе AI.
Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”.
Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках.
#artists #interview
Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”.
Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках.
#artists #interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24❤7