ComfyUI-VoxCPM

Кастом нода контекстной бестокеновой думающей говорилки VoxCPM

#comfyui #tts #text2speech #realtime #voicecloning

Moondream 3 Preview

Превью 3 версии VLM для описания (и не только) изображений

— может отвечать на открытые вопросы об изображениях

— создаёт описания изображений разной длины: короткие, стандартные и длинные

— определяет координаты конкретных объектов на изображении

— предоставляет bounding boxes (ограничивающие рамки) для объектов на изображении

— поддерживает предварительное кодирование изображений для ускорения многократных запросов

— работает как с изображениями, так и как универсальная текстовая модель

Плейграунд попробовать
Демо HF
API

#vlm #captioning #detection #moe #cv #image2text

ARC-Qwen-Video

Версия ARC-Hunyuan-Video-7B с Qwen2.5-VL-7B-Instruct в качестве базовой модели.

Мультимодальная модель для понимания коротких видеороликов из реального мира. Обрабатывает визуальные, аудио- и текстовые сигналы

Синхронизирует визуальные и аудиосигналы, что позволяет отвечать на сложные вопросы, которые невозможно решить, используя только один тип данных

Определяет не только, что происходит в видео, но и когда это происходит, поддерживает детализированную временную разметку и обобщение событий

Знает китайский и английский

На скриншоте транскрибация демонстрационного видео (перевод с китайского)

ARC-Qwen-Video-7B

ARC-Qwen-Video-7B-Narrator - выдает описания видео с таймкодами, определяет личности говорящих в видео, распознаёт и транскрибирует речь

Гитхаб
Демо - вход по китайскому телефону

#vlm #assistant #video2text #asr #speech2text #stt

Вот куда вы точно давно не заглядывали так это на Artbreeder

Они там конечно наплодили инструментов похожих один на другой для смешивания персонажей

Даже какой-то оживлятор персонажей есть

#referencing #inage2image #characteranimation