Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion
Метод ускорения видеогенерации через какие-то там трюки на обучении.
Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.
Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.
Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.
Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...
Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)
Используйте LCM SAMPLER
Код
воркфлоу
#text2video #optimization #realtime
Метод ускорения видеогенерации через какие-то там трюки на обучении.
Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.
Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.
Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.
Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...
Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)
Используйте LCM SAMPLER
Код
воркфлоу
#text2video #optimization #realtime
❤10
This media is not supported in your browser
VIEW IN TELEGRAM
Topaz Labs Astra
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
❤7😈1
Опубликован код нвидиевского GEN3C
Говорят, что 48ГБ VRAM не хватает
Только линукс
Код
#image2video #cameracontrol
Говорят, что 48ГБ VRAM не хватает
Только линукс
Код
#image2video #cameracontrol
👍5🔥2❤1🤯1
Magistral
Новая рассуждающая модель от Mistral.
Быстрый. Справляется с задачами, требующими специфических знаний, прозрачности и мультиязычности. Понимает русский
• Small - опенсорс.
• Medium - более крупная модель для корпоративных клиентов. Тянется к уровню DeepSeek R1. Превью можно потестить в Le Chat.
Веса Small на HF
LeChat - Попробовать Medium
#assistant #reasoning
Новая рассуждающая модель от Mistral.
Быстрый. Справляется с задачами, требующими специфических знаний, прозрачности и мультиязычности. Понимает русский
• Small - опенсорс.
• Medium - более крупная модель для корпоративных клиентов. Тянется к уровню DeepSeek R1. Превью можно потестить в Le Chat.
Веса Small на HF
LeChat - Попробовать Medium
#assistant #reasoning
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Krea 1
Новый генератор картинок от Krea AI
Пока еще не в общем доступе
- способty создавать изображения с фотореалистичными текстурами кожи и продвинутой цветопередачей;
- предлагает возможность работы с экстремальными ракурсами камеры;
- умеет воспроизводить визуальные эффекты, такие как зёрно, блики и размытие;
- отличается высокой визуальной сложностью генерируемых изображений;
- позволяет создавать художественные и выразительные рендеры, включая ультрареалистичный сюрреализм;
- совместим с Krea Train, что позволяет обучать модель на пользовательских изображениях для воспроизведения определённого стиля, объектов или лиц.
Попросить ранний доступ
#text2image #imageediting
Новый генератор картинок от Krea AI
Пока еще не в общем доступе
- способty создавать изображения с фотореалистичными текстурами кожи и продвинутой цветопередачей;
- предлагает возможность работы с экстремальными ракурсами камеры;
- умеет воспроизводить визуальные эффекты, такие как зёрно, блики и размытие;
- отличается высокой визуальной сложностью генерируемых изображений;
- позволяет создавать художественные и выразительные рендеры, включая ультрареалистичный сюрреализм;
- совместим с Krea Train, что позволяет обучать модель на пользовательских изображениях для воспроизведения определённого стиля, объектов или лиц.
Попросить ранний доступ
#text2image #imageediting
👍9💩4
This media is not supported in your browser
VIEW IN TELEGRAM
Triangle Splatting for Real-Time Radiance Field Rendering
Новый способ представления и рендера объемных сцен от DeepMind и Ко на треугольных сплатах. Конец гегемонии гауссовых сплатов?
- Высокая визуальная точность. В отличие от гауссиан сохраняет четкость в мелких деталях
- Быстрая сходимость
- Скорость. Более 2400 FPS при разрешении 1280×720 на RTX4090
- Совместим с традиционными пайплайнами
Код
#rendering #news #trisplat #photogrammetry
Новый способ представления и рендера объемных сцен от DeepMind и Ко на треугольных сплатах. Конец гегемонии гауссовых сплатов?
- Высокая визуальная точность. В отличие от гауссиан сохраняет четкость в мелких деталях
- Быстрая сходимость
- Скорость. Более 2400 FPS при разрешении 1280×720 на RTX4090
- Совместим с традиционными пайплайнами
Код
#rendering #news #trisplat #photogrammetry
🔥5
😁14👍3
Forwarded from Igor Nevestenko
Собрал первую коллекцию для АрхВиза - в архиве описание workflow, ссылки на модели\лоры и примеры. Коллекция была сделана для моих платных подпичсиков на Boosty с акцентом на взаимодействие с плагином C4D to ComfyUI, но обычным пользователям ComfyUI так же актуальна!
https://news.1rj.ru/str/c4d_folder/529
https://news.1rj.ru/str/c4d_folder/529
Telegram
C4D：folder
ArchViz Workflow Collection - Vol.1 is designed to bridge the gap between Cinema 4D and ComfyUI
Download FREE
#ai #c4d #cinema4d #cg #comfy #comfyui #maxon #redshift #vfx
Download FREE
#ai #c4d #cinema4d #cg #comfy #comfyui #maxon #redshift #vfx
❤5⚡3
Seaweed APT2
Интерактивная модель генерации потокового видео по картинке в рилтайме от ByteDance, второе поколение. Первое было в январе
1 минута видео ,1 шаг, 24 кадра в секунду, потоковое разрешение 736x416 (эквивалент 640x480 - что???) в режиме реального времени на 1xh100 с интерактивным управлением!
Контроль позы, контроль камеры
Кода нет, ждем на сервисах
#image2video #realtime #cameracontrol #pose2video #posecontrol
Интерактивная модель генерации потокового видео по картинке в рилтайме от ByteDance, второе поколение. Первое было в январе
1 минута видео ,1 шаг, 24 кадра в секунду, потоковое разрешение 736x416 (эквивалент 640x480 - что???) в режиме реального времени на 1xh100 с интерактивным управлением!
Контроль позы, контроль камеры
Кода нет, ждем на сервисах
#image2video #realtime #cameracontrol #pose2video #posecontrol
👍6❤2🤷♂1