MV-RAG: Retrieval Augmented Multiview Diffusion

Метод генерации 3D по тексту, который использует 2D-изображения в качестве ориентира для модели диффузии с несколькими видами.

Сначала находит в базе подходящие референсные изображения, затем генерирует разные ракурсы.

Авторы явно пишут что модель генерирует 3D объекты, при этом показывают новые ракурсы, а не 3D. Но ставим плюсик за то что проект заточен на реализм и согласованность изображений объектов, обычно редко встречающихся в датасетах.

Код

#novelview

Hermes 4

LLM на базе Llama-3.1-405B с гибридным режимом рассуждений от Nous Research

— избегает назидательности и подхалимства

— хорош в математике, программировании, STEM, логике, творческом письме и субъективных ответах

— обучен создавать валидный JSON по заданным схемам и исправлять некорректные объекты

— легче поддаётся управлению и выравниванию, имеет сниженные показатели отказа

— поддерживает вызовы функций и использование инструментов в рамках одного хода ассистента

— способен адаптироваться к дополнительным системным инструкциям, изменяя стиль, формат и подход к решению задач

— работает с разными форматами чата

— сохраняет воспоминания для использования в разных моделях

70B и 405B параметров. Есть полные и FP8 веса

Попробовать в чате - чат шикарный, с настройками, но GUI тормозной
HF

#assistant #chat

ComfyUI-VibeVoice

Ноды голосовой модели VibeVoice

воркфлоу

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui

Квантизованный для простых смертных Wan2.2-S2V-14B

GGUF
воркфлоу

#gguf #workflow #image2video #audio2video #referencing #wan22

Поделюсь рефералками

Фигню рекламировать самому было бы зашквар, делюсь тем чем доволен.

Т-мобайл. Пересел на него несколько лет назад и ни разу не пожалел. Трачу на связь вдвое меньше чем было там. Если подключитесь по моей ссылке, обещают закинуть денег на счет. А когда пополните на 500р - еще закинут вам и мне.

С экономией на связи есть нюанс, она максимальная с подпиской Pro в Т-банке. Подписка стоит 199 рублей в месяц, которые обычно покрываются кэшбеком. Ну и если закажете карту Black по моей ссылке, то и вам и мне дадут немного денег.

Вдруг кто собирался стать их клиентом — вам полезно, мне приятно.

Опубликован код Uni3C - алибабаевского видеогенератора с контролем камеры и движения. Давно уже

Код

#image2video #cameracontrol #motioncontrol

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx

Week #2: “Falling”

ComfyOrg проводит конкурс, уже вторая неделя пошла, второй челендж. А я как-то пропустил.

Приз
✅Денежный приз в размере 100 долларов США или эквивалентный бонус ComfyUI для 1 участника
✅ Монтаж Spotlight для выбранных работ
✅ Специальный подарок (в процессе разработки) для участников и победителей, начиная с 1-й недели.

Требования:

Должно начинается со сцены падения

Стиль, оформление и настроение - свободные

Отправка до 19:00 1 сентября по восточному времени

Рекомендуется использовать формат 1:1,< 20 секунд

Большая часть работы должна быть выполнена в ComfyUI

Избегайте водяных знаков и нелицензионных IP, а подписи должны быть небольшими

ROSE: Remove Objects with Side Effects in Videos

Удаление объектов из видео (клинап, инпейнтинг) вместе с сопутствующими эффектами, такими как тени, отражения, изменения освещения и т д. Модель решает проблему, с которой сталкиваются существующие методы — сложность устранения побочных эффектов из-за нехватки парных видеоданных.

А откуда же у вас эти пары видеоданных которых ни у кого нет? А из синтетического датасета с 3D рендера.

Под капотом видеоинпейнтинг на основе Wan2.1

Код ждем
Демо

#cleanup #objectremoval #videoinpainting

VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space

Редактирование 3D-моделей без обучения в нативном латентном 3D пространстве по текстовым промптам и изображениям

Работает с геометрией, #Nerf и гауссианами

Код
Демо ждем

#3d #3dediting #gaussian