LongCat-Video-Avatar

Генератор на базе LongCat-Video создаёт реалистичные длительные видеоролики с липсинком и сохранением идентичности персонажа

Генерирует видео на основе аудио и текста или аудио, текста и изображения

Умеет петь, продлять видео, делать мультидиалог, видеоподкасты, продающие видео

Гитхаб
HF
MS

#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video

DistillPatch LoRA

Восстанавливает истинную 8-шаговую скорость Turbo для любой LoRA, обученной на Z-Image Turbo

решает проблему ухудшения качества изображений (размытие) при использовании стандартной тренировки LoRA в Z-Image Turbo при параметрах steps=8 и cfg=1

HF
Демо
MS
MS Демо
Гитхаб

#lora #zimage #optimization

EgoX: Egocentric Video Generation from a Single Exocentric Video

Еще одна работа на субъективный вид от первого лица (POV), от KAIST

Превращает видео с видом со стороны в видео от лица одного из персонажей

Лора на базе Wan 2.1 14B i2v

Код ждем

#video2pov #pov #video2video #cameracontrol #lora

chatterbox-turbo

Новая версия голосовой модели от Resemble AI, всего 350М параметров

Для естественности можно добавлять паралингвистические теги, например [cough], [laugh], [chuckle]

В аудиофайлы, созданные с помощью Chatterbox, встраиваются незаметные нейронные водяные знаки Perth, которые сохраняются при сжатии MP3, редактировании аудио и других манипуляциях

Ну и главное - есть мультиязычная версия модели на 500М параметров, поддерживающая более 23 языков, в том числе русский

HF
Демо
Демо мультиязычный - спасибо @Black_human

#voicecloning #tts #russian

Molmo 2: State-of-the-art video understanding, pointing, and tracking

Семейство пониматоров видео и изображений от AI2 (Allen AI)

#SOTA среди открытых моделей

— обгоняет Gemini 3 Pro и другие открытые модели в отслеживании объектов в видео

— поддерживает работу с одиночными изображениями, несколькими изображениями и видеоклипами разной длины

— указывает конкретные события и объекты в видео, а не просто даёт описательные ответы

— выполняет подсчёт объектов с указанием их местоположения, отслеживание нескольких объектов, плотную разметку видео, обнаружение аномалий и артефактов, работает с субтитрами в видео

Molmo 2 (8B) — лучшая общая модель для работы с видео
Molmo 2 (4B) — оптимизирована для эффективности

Эти две модели на базе Qwen 3

Molmo 2-O (7B) — полностью открытая модель с контролем над всеми компонентами

Playground
HF

#vlm #multimodal

SAM Audio

Изолятор источников звука на аудио (или видео со звуком) в реальном времени от Meta (запрещено в РФ)

Принимает три типа подсказок: текстовые, визуальные и временные. Например кликаем на видео на источник звука чтобы выделить его

Умеет изолировать как повседневные шумы так и музыкальные инструменты

Гитхаб
HF - доступ к моделям по запросу, могут не дать
Playground
Блогпост

Спасибо @EvgenyiPerm

#audioseparation #music2stem #demix #unmix #segmentation #denoise #audio2audio #multimodal