VJ SCHOOL – Telegram
VJ SCHOOL
2.41K subscribers
166 photos
110 videos
2 files
251 links
— YouTube: vjschool.ru
— GitHub: github.com/olegchomp
— Boosty: boosty.to/vjschool
Download Telegram
SteamDiffusion-NDI — выложил на Github скрипт и инструкцию для real-time генерации в Stable Diffusion. Внутри работает через NDI для стрима изображений и OSC для управления промптом и отображения FPS.

Можно подключить любой софт с поддержкой NDI, например TouchDesigner, Resolume, Unreal Engine и тд и тд. А также разделить нагрузку при помощи стриминга по сети, между сервером с Stable Diffusion и клиентом.


https://github.com/olegchomp/StreamDiffusion-NDI
👍13🔥116
This media is not supported in your browser
VIEW IN TELEGRAM
SteamDiffusion-NDI — пример real-time генерации в Resolume и Stable Diffusion
🔥35👍52
This media is not supported in your browser
VIEW IN TELEGRAM
Comfy Textures — плагин для автоматической генерации текстур с помощью Stable Diffusion в Unreal Engine.

Делаете сценарий и лор в ChatGPT, затем Blockout в UE, там же текстурите с помощью плагина. смотрите урок как сделать 2.5D платформер и открываете фабрику по производству игр.


https://github.com/AlexanderDzhoganov/ComfyTextures
🔥133
This media is not supported in your browser
VIEW IN TELEGRAM
Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS.

Да-да, никаких Realsense, Kinect и других специальных камер глубины.
👍26🔥124🤝2
VJ SCHOOL
Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS. Да-да, никаких Realsense, Kinect и других специальных камер глубины.
This media is not supported in your browser
VIEW IN TELEGRAM
Real-time monocular depth estimation — продолжение с Depth Anything. На видео используется самая большая модель с TensorRT ускорением. В предыдущий раз была маленькая модель и без ускорения, а большая модель без ускорения выдает 12 FPS. Также запустил все внутри TouchDesigner без NDI, тем самым получилось синхронизировать генерацию, так как при использовании NDI получаем около секунды задержки.

Справа можно увидеть часть кода, собранного по частям из разных источников и ноткой "и так сойдет", который надо понять как теперь выложить на Github.
🔥234👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/
🔥23👏2👍1
Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через Effectors.
В Unreal Engine подобного результата можно было добиться через Blueprints, Niagara или сторонни плагины, но решение даже самых простых задач занимало очень много времени.

С интеграцией простой системы клонирования в Unreal Engine, Motion Design артисты получают знакомый пайплайн, который позволяет быстро достигать желаемых результатов.


https://www.youtube.com/watch?v=ZftACL1CCEQ
🔥72👍1
VJ SCHOOL
Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через…
Unreal Engine 5.4 Preview — новая версия доступна для скачивания. Из всех изменений очень интересно посмотреть на Motion Design mode — кажется, это должна быть киллер-фича. На канале WINBUSH уже есть краткий обзор инструментов, таких как Cloner, 2D Text tools, импорт векторных изображений и Audio Effector.
43
This media is not supported in your browser
VIEW IN TELEGRAM
AnimateDiff-Lightning — «молниеносная» text-to-video модель от ByteDance. Представлены 1-8 steps checkpoints, ускоряющие генерацию видео в 10 раз. Почитать подробнее на HuggingFace, поиграться с Демо, worfklow для ComfyUI.
🔥73
This media is not supported in your browser
VIEW IN TELEGRAM
FRESCO — генерация coherent (целостных/связанных) видео в Stable Diffusion. Примеры и демо можно посмотреть на Github. Внутри optical flow + ebsynth, который использовались и раньше, но теперь собраны в один инструмент.
7👍3
One-step Diffusion DMD — новый метод дистилляции моделей, позволяющий генерировать изображения со скоростью 20 FPS (0.05 sec/img). Подробнее на видео и по ссылке , код еще не доступен.
🔥51
Real-time Stable Diffusion — два новых метода Yoso и SDXS, позволяющих генерировать изображение только одним шагом, что практически real-time. Если добавить TensorRT, то скорость генерации в теории будет 30+ FPS.

Семимильными прыжками идем к тому, что вместо многодневных рендеров контента, будем писать промпты в Resolume и получать мгновенный результат.
👍85👏1
This media is not supported in your browser
VIEW IN TELEGRAM
NoiseeAi — онлайн сервис, который автоматически создает видеоклипы на основе музыкальных треков.
Создаете текст песни в ChatGPT, загружаете его в генератор музыки Suno, результат отправляете в NoiseeAI и получаете музыкальный клип за полчаса.

Вероятно где-то уже создается сервис, который будет делать все в один клик
🔥95👍3
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA Copilot — расширение для VS code, разработанное для ускорения и оптимизации процесса программирования. Из очевидных возможностей это объяснение, оптимизация и решение ошибок в коде.
Регистрируетесь на платформе NVIDIA, там же получаете ключ API и подключаете через расширение CodeGPT.

Сложный код конечно никогда не всегда рабочий получается, но как помощник в несложных задач, очень даже решение.
6🔥5
CGIT_Vines
У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию. Автор, правда, ничего лучше не придумал, чтобы…
Media is too big
VIEW IN TELEGRAM
Virtual Assistant — вернулся к истории с аватарами (спустя год). Прогресс в каких-то инструментах нереальный, а в некоторых все осталось как и было. Из того что на видео:
- память
- синтез речи
- распознавание речи
- активация по ключевому слову
- погода + время + в целом все что угодно
- компьютерное зрение

Сейчас из облачного только LLM, но хочу попробовать заменить на локальную и поработать над качеством речи.

Конечно можно отдать все в облако LLM + TTS + ASR + Vision и получать супер быстрые и качественные ответы, но бюджет будет очееееень быстро уходить и самое главное будет непредсказуемым.
8🔥7
Вышло интервью со мной для канала MOTYLOK, который ведет Ксюша Чеховская. Ксюша —соосновательница и куратор фестиваля медиаискусства INTERVALS. На YouTube канале выходил подкаст про то, как он устроен изнутри.
🔥112
Forwarded from • МОТЫЛЁК | MOTYLYOK • (Ksusha Chekhovskaya)
Моя любимая рубрика на канале – интервью. Это возможность лучше узнать 🦋сподвижников🦋, с которыми мы вроде бы и так уже много лет знакомы, и есть общие проекты за плечами, но все всегда на бегу, без возможности вот так поговорить. С удовольствием представляю вам мультимедийного художника Олега Тысячного, также известного как Олег Чомп – автора обучающего YouTube и Telegram канала VJSCHOOL, работающего с генеративной графикой и инструментами на основе AI.
Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”.

Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках.

#artists #interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥247