LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

Эффективная визуально-языковая модель.
Понимает изображения и видео.

на обработку одной картинки уходит 40 мс. А на обработку трехчасового видео хватит 24Гб VRAM.

Изображение кодируется одним единственным токеном, за счет чего и эффективность. Холмс, но как?

Код
Веса

#vlm #assistant

Grok iOS

Мобильное приложение вышло в AppStore в США

Веб-версию ждем

#assistant #mobile #ios

STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution

Апскейлер видео от ByteDance

Они там придумали как апскейлить видео при помощи видеогенераторов, сохраняя консистентность во времени.

Основано на I2VGen-XL, VEnhancer, CogVideoX и OpenVid-1M

Прикручено к I2VGen-XL и CogVideoX-5B

Претрейн на CogVideX-5B поддерживает исходники только 720x480

Иyфу по потреблению VRAM не нашел

Код
Демо

#upscale #enhance #video2video

Applio

Инструмент преобразования голоса.
Умеет переводить текст в речь, клонировать голос, смешивать голоса.

Есть поддержка плагинов

Есть рулька скорости произношения.

Работает быстрее чем ebook2audiobook

Applio есть в Pinokio

Сделал небольшое видео как перевести скан учебника в аудиокнигу

Сайт
Демо
Код
Колаб
Дискорд

#tts #text2speech #voicecloning #tutorial