Google научил Gemini 1.5 Pro понимать аудио.

• Распознает слова, тон, эмоции и т д
• Можно скинуть лекцию и получить викторину по содержанию за пару секунд, как на видео
• Выжимка подкастов, лекций и т д
• До 11 часов аудио за раз
• Добавили режим JSON и открыли API без листа ожидания

Попробовать (включайте VPN)

#audio2text #speech2text #assistant

LEGaussians: Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding

Гауссианы с открытым словарным запасом для понимания сцен

Код

#gaussian #NOVELVIEW #RENDERING

CameraCtrl: Enabling Camera Control for Text-to-Video Generation

Контроль камеры на генерации видео

Код

#text2video #conditioning

Обновился Resemble AI

Теперь он умеет за 1 минуту клонировать голос по 10-секундному отрывку с сохранением акцента.
Кроме английского есть португальский и французский. Русского нет. Ну и естественно есть библиотека голосов если вам надо озвучить текст.

Бесплатно можно склонировать 1 голос, остальные фичи - 300 секунд в месяц

Попробовать

#text2speech #speech2speech #voicecloning

Похоже, вейтлист отменили, доступ дают сразу

https://www.udio.com/

ZeST: Zero-Shot Material Transfer from a Single Image

Перенос материала с одного изображения на другое без дообучения

Код

#material #image2image

Тут NVIDIA выяснила что CFG (есть такая рулька в Stable Diffusion) вредит диффузионному процессу в его начале и конце. А если включать CFG только на середине, то генерация станет разнообразнее и качественнее. Ждем перепиленных воркфлоу

Пейпер

#news

Наш подписчик поделился вокрфлоу

@triton2030

#оффтоп
Найди админа в титрах «100 лет тому вперед» и возьми с полки пирожок

Тут Tensor Banana собрал ассистента на русском языке

Talk-llama-fast с поддержкой wav2lip:

- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- отстановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.

Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp

Работает на 3060 12 GB,

Видео
Гитхаб

спасибо за наводку @moistofficial

#llm #assiatant