Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

Генератор глубины разрешением до 4К для видео. Но не для любого, нужны данные с лидара. У потребительских лидаров, таких как в айфоне, например, очень кислое разрешение, что-то вроде 256x192. Эти данные плюс RGB видео используются как промпт для генерации высококачественной карты глубины

Код
Демо
Код неофициальный
Пример результата на rerun.io покрутить

#rgbd #video2depth

DiffVSR: Enhancing Real-World Video Super-Resolution with Diffusion Models for Advanced Visual Quality and Temporal Consistency

Ну-ка, ну-ка
Еще один апскейлер для видео от китайцев, хвалится консистентностью, на черрипиках хорош

Препринт (Ссылка на сайте не работает)
Код ждем

#upscale #upscalevideo #enhance

Open Deep Research

Опенсорсный клон Deep Reserach вышел спустя 12 часов после презентации Open AI агента для исследований

Экономим $200 на подписке

#assistant #agent

Срочные (нет) новости (нет)

Слышали про квадрат на Марсе?
Так вот, там целый датацентр уже построен и даже нанесен на гуглмапс с панорамами самим Гуглом 1 апреля 2017 года

#оффтоп #humor

Dialog 1.0

Новая голосовая диалоговая модель от Play AI (aka PlayHT)
"Ультраэмоциональная"
Рилтайм, задержка 303 мс
30+ языков, русский есть
до 48КГц

Возможности:
- клонирование голоса
- ИИ подкасты из PDF, картинок, текстов
- голосовые агенты
- API
- рилтайм среда - диктор или диалог 2 голоса

Попробовать

#voicecloning #text2speech #tts #agent #podcast

BEN2: Background Erase Network

Удаление фона с изображений и видео
Ест 3.5 ГБ VRAM, скорость 3fps на RTX3090
Демоспейс выдает RGB mp4 с зеленкой, естественно без альфы

Демо
Код
Веса
Попробовать на офсайте

#bg #bgremoval #image2matte #video2matte

Сравнение опенсорсных видеогенераторов от подписчика Mr. D

Сделано запросом к DeepResearch

высокие цифры = лучшие для пользователя

Hunyuan на диаграмме: 🤘

#comparison

Diffusion-Eraser

Инпейнтинг на gradio
Никаких настроек, только выделение области кистью
Что под капотом непонятно
Попробовал - рисует фигню
Ну пусть будет на всякий случай

#inpainting

Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation

Генератор звука по тексту, по входному звуку, инпейнтинг звука, примеры по ссылке в заголовке

Умеет:
- контроль акустики
- контроль материала предметов, издающих звук
- контроль высоты тона
- контроль хронологии событий

Демо
Код
Колаб ноутбуки

#text2audio #tta #audio2audio #audioinpainting