И снова Gemini.
Мне удалось зайти в обновленный Bard по инструкции Сиолошной. Есть плагин для анализа видео с YouTube. Но он упрямо не может получить доступ к большинству видео. Пятое видео согласился обработать, задумался уже минут на 5. Так что пока печально. Зато бесплатный анализ видео. Ну и в Барде сейчас не старшая модель, а старшую выкатят позже.

Теперь о хорошем. Если вы не видели вот это видео с официального канала Google, обязательно посмотрите, у меня сносит крышу
https://youtu.be/UIZAiXYceBI?si=kVlJjRIbbXxdHUde

Marigold: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation

Новый инструмент точной оценки глубины на основе SD. Круче чем все что я видел

Код
Демо
Колаб

#image2depth

PatchFusion: An End-to-End Tile-Based Framework for High-Resolution Monocular Metric Depth Estimation

И его конкурент. Берет грубое предсказание глубины, например от ZoeDepth. Бьет картинку на патчи и поверх грубого делает более точную оценку.

Есть желающие экспериментально выяснить кто лучший из этих двух?

Код
Демо

#image2depth

pose.rip

Пляшем. Magic Animate для всех.
Тут можно сделать и DensePose и анимацию.

Накидывайте результаты в комменты

#tools #image2video #video2motion #video2pose

Поздравляю всех причастных к VFX индустрии! Сегодня наш официальный праздник!

Организаторы запланировали бесчисленное количество лекций и стримов, подробности: worldvfxday.com

А праздник-то настоящий.
Пришел триал-доступ к Cuebrick
Проверьте свою почту

Aura

Deepgram, известный своим транскрибатором Nova2, представил голосовой движок реального времени Aura. Задержка всего 200мс.

В комплекте API для голосовых агентов искусственного интеллекта. Много языков, в том числе русский

Записаться в вейтлист

#text2speech

S-LoRA: матрица намного ближе, чем кажется

S-LoRA превращает любую большую языковую модель в "Матрицу", где каждый Агент Смит может быть адаптирован в уникального персонажа, создавая целый мир на одной платформе.

Представьте, если бы Агент Смит из "Матрицы" мог превращаться в любого уникального персонажа по вашему желанию. Вот рецепт:

1. Базовая модель - Агент Смит: LLaMA, наша базовая модель, аналогична Агенту Смиту - мощной и адаптируемой форме ИИ, готовой к изменениям.

2. LoRA-адаптеры - Настройки персонажей: Каждый LoRA-адаптер добавляет свои уникальные характеристики к базовой модели, превращая стандартного Агента Смита в множество разнообразных персонажей.

3. S-LoRA - Матрица: S-LoRA действует как "Матрица", в рамках которой все эти преобразования происходят. Она позволяет масштабировать и управлять множеством адаптированных персонажей, поддерживая сложную сеть взаимодействующих и эволюционирующих форм.

S-LoRA открывает новые горизонты в использовании LLMs, позволяя нам не только создавать уникальные характеристики базовой модели, но и управлять ими в масштабах, сравнимых с "Матрицей".

🤩 Статья
🐙 Код

Можно попробовать DemoFusion в колабе

Колаб

#upscale #text2image

VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models

Генерация видео с движением, заданным образцом из другого видео

Код

#video2video #motion2video #text2video

DynamiCrafter: Animating Open-domainImages with Video Diffusion Priors

Анимация изображений по текстовому описанию, интерополяция кадров на видео, закольцовывание видео

Код
Демо

#image2video #video2video #frameinterpolation

Еще пришла месячная триалка на Unity Muse.
Только она требует для бесплатной триалки заграничную кредитку или рабочий PayPal. Палка у меня есть пустая, не прокатило.

Если вдруг кто хочет помочь своей палкой или кредиткой ради теста, пишите в лс