TalkinNeRF: Animatable Neural Fields forFull-Body Talking Humans

Продолжаем тему. Говорящие человеки на нерфах в полный рост. Кода нет. Ну и правильно, кому сейчас нужны эти нерфы

#talkinghuman #speech2nerf #nerf #humananimation

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

Единая мультимодальная LLM для пространственно-временного понимания изображений, видео и трехмерных сцен с несколькими видами

По бенчмарку MLVU превосходит GPT-4o

Код
Демо

#mllm #vlm #video2text #image2text #3d2text

Llama-3.2

Новость погромче. На прошлой неделе вышла Llama-3.2, ее старшие версии 11B и 90B тоже мультимодальные.
Она уже есть на vision арене

Уже есть колаб ноутбук для дообучения и Instruct версия


Веса на HF
Демо (чат)
Демо Llama-3.2-11B-Vision-Instruct

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

Очень нишевая штука
Стэнфордский университет представил новый подход к управлению двумя руками при физическом моделировании игры на гитаре.

Виртуальный гитарист играет по табам. Судя по видео, играет неправильно - оставляет пальцы левой руки только на тех струнах которые сейчас играет.

Код

#music2animation

awesome-denoiser

Коллекция звуковых денойзеров (шумодавов) в gradio интерфейсе

Код

#audiodenoise

ElevenLabs Video Dubbing Application

Gradio интерфейс для дубляжа видео через API Elevenlabs. Потребуется API токен.

Напоминаю, что Elevenlabs блокируют обслуживание российских клиентов, предположительно потребуется VPN

Код

#dubbing

TTS Generation WebUI

А тут агрегатор генераторов звука по тексту. Речь, музыка. Разложение музыки на стемы (отдельные партии) тоже есть

Код
Колаб

#tools #TTS #demucs #demix

LLaMa 3.2 Multimodal Web UI using Ollama

Ах да, забыл вам дать ссылку на локальную морду для новой лламы
Про требования к железу не спрашивайте, заготавливайте гигабайты

[UPDATE] в комментариях ссылка на получение ключа api на сумму 5$

Код

#mllm #vlm #assistant