MV-RAG: Retrieval Augmented Multiview Diffusion

Метод генерации 3D по тексту, который использует 2D-изображения в качестве ориентира для модели диффузии с несколькими видами.

Сначала находит в базе подходящие референсные изображения, затем генерирует разные ракурсы.

Авторы явно пишут что модель генерирует 3D объекты, при этом показывают новые ракурсы, а не 3D. Но ставим плюсик за то что проект заточен на реализм и согласованность изображений объектов, обычно редко встречающихся в датасетах.

Код

#novelview

Hermes 4

LLM на базе Llama-3.1-405B с гибридным режимом рассуждений от Nous Research

— избегает назидательности и подхалимства

— хорош в математике, программировании, STEM, логике, творческом письме и субъективных ответах

— обучен создавать валидный JSON по заданным схемам и исправлять некорректные объекты

— легче поддаётся управлению и выравниванию, имеет сниженные показатели отказа

— поддерживает вызовы функций и использование инструментов в рамках одного хода ассистента

— способен адаптироваться к дополнительным системным инструкциям, изменяя стиль, формат и подход к решению задач

— работает с разными форматами чата

— сохраняет воспоминания для использования в разных моделях

70B и 405B параметров. Есть полные и FP8 веса

Попробовать в чате - чат шикарный, с настройками, но GUI тормозной
HF

#assistant #chat

ComfyUI-VibeVoice

Ноды голосовой модели VibeVoice

воркфлоу

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui

Квантизованный для простых смертных Wan2.2-S2V-14B

GGUF
воркфлоу

#gguf #workflow #image2video #audio2video #referencing #wan22

Поделюсь рефералками

Фигню рекламировать самому было бы зашквар, делюсь тем чем доволен.

Т-мобайл. Пересел на него несколько лет назад и ни разу не пожалел. Трачу на связь вдвое меньше чем было там. Если подключитесь по моей ссылке, обещают закинуть денег на счет. А когда пополните на 500р - еще закинут вам и мне.

С экономией на связи есть нюанс, она максимальная с подпиской Pro в Т-банке. Подписка стоит 199 рублей в месяц, которые обычно покрываются кэшбеком. Ну и если закажете карту Black по моей ссылке, то и вам и мне дадут немного денег.

Вдруг кто собирался стать их клиентом — вам полезно, мне приятно.

Опубликован код Uni3C - алибабаевского видеогенератора с контролем камеры и движения. Давно уже

Код

#image2video #cameracontrol #motioncontrol

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx