MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

Реконструкция материала по многоракурсному набору изображений объекта

Код

#image2passes #image2pbr

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

Аниматор бипедов от Nvidia. Генерирует широкий спектр движений на различных поверхностях на основе интуитивно понятных пользовательских намерений.

Генерация движений всего тела на основе частичных целевых положений суставов, реагирование на управление джойстиком, взаимодействие с объектами, следование по траекториям, интерпретация текстовых команд и даже комбинирование этих возможностей, например, выполнение текстовых команд для следования по траекториям

Код

#text2animation #humananimation

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

Языковая модель для голосового общения. По русски не умеет.Может слышать и говорить, одновременно думая.

Код
Демо

#assistant #voiceassistant #speech

TalkinNeRF: Animatable Neural Fields forFull-Body Talking Humans

Продолжаем тему. Говорящие человеки на нерфах в полный рост. Кода нет. Ну и правильно, кому сейчас нужны эти нерфы

#talkinghuman #speech2nerf #nerf #humananimation

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

Единая мультимодальная LLM для пространственно-временного понимания изображений, видео и трехмерных сцен с несколькими видами

По бенчмарку MLVU превосходит GPT-4o

Код
Демо

#mllm #vlm #video2text #image2text #3d2text

Llama-3.2

Новость погромче. На прошлой неделе вышла Llama-3.2, ее старшие версии 11B и 90B тоже мультимодальные.
Она уже есть на vision арене

Уже есть колаб ноутбук для дообучения и Instruct версия


Веса на HF
Демо (чат)
Демо Llama-3.2-11B-Vision-Instruct

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

Очень нишевая штука
Стэнфордский университет представил новый подход к управлению двумя руками при физическом моделировании игры на гитаре.

Виртуальный гитарист играет по табам. Судя по видео, играет неправильно - оставляет пальцы левой руки только на тех струнах которые сейчас играет.

Код

#music2animation

awesome-denoiser

Коллекция звуковых денойзеров (шумодавов) в gradio интерфейсе

Код

#audiodenoise

ElevenLabs Video Dubbing Application

Gradio интерфейс для дубляжа видео через API Elevenlabs. Потребуется API токен.

Напоминаю, что Elevenlabs блокируют обслуживание российских клиентов, предположительно потребуется VPN

Код

#dubbing

TTS Generation WebUI

А тут агрегатор генераторов звука по тексту. Речь, музыка. Разложение музыки на стемы (отдельные партии) тоже есть

Код
Колаб

#tools #TTS #demucs #demix