Simulon

Воу, воу, конкурент Wonder Studio!
Это работает в смартфоне в дополненной реальности в реальном времени!

Записаться в бетатест для iOS

твиттер

#characteranimation #compositing #lighting #AR

Делюсь результатами эксперимента которым я занимался последнее время.
Это не совсем обычный апскейл и реставрация. Не видел чтобы кто-то использовал такой подход и решил попробовать.

Если наберется несколько заинтересованных комментариев, сделаю туториал.

Рад буду вашей поддержке комментариями и лайками на ютубе

https://youtu.be/swN85-ceRMg?si=5zLfRCxHg3MWyZFY

#neuronaut_art #upscale

https://youtu.be/qM4X02HRRf0

Опробовал SeamlessM4T на мастер-классе Курта Воннегута.
Использовал демоспейс, в котором, как я понял, крутится самая старшая модель SeamlessM4T-Large. То есть, лучше не будет.

Первые впечатления

- забывает перевести значительные части аудиофайла. Закидываешь в него минуту (это максимум на демоспейсе) - переводит только первые 12 секунд. Это самый большой недостаток

- русский голос звучит довольно живо, в отличие от, например, нейродублера видео в Яндекс браузере

- при этом дубляж на русский звучит как косноязычный переводчик, не знающий как ставить ударения в самых обычных словах. Иногда добавляет лишние слоги в слова, иногда теряет

- судя по построению фраз есть ощущение что перевод осуществляется не напрямую с английской речи в русскую речь, а через текст. Хотя, конечно, не через текст, а через токены.

- если хочется поправить что-то в речи, можно сначала перегнать в текст, а потом текст в речь. В демоспейсе все это есть.

Вердикт. Надеюсь, что хотя бы часть недостатков можно списать на ограничения демоспейса. Если в колабе будет так же, то для дубляжа на русский эта модель бесполезна. Быстрее перевести и озвучить вручную

#dubbing #multimodal #nauronaut_art #llm #speech2speech

В Modelscope добавили Image2Video и Video2Video
Теперь можно делать видео из картинки и стилизовать видео. Есть колаб ноутбук, который, видимо, запустится только на платном аккаунте.
Есть демо, для которого нужна рега на modelscope.

Колаб
Демо

#Image2Video #Video2Video

Ideogram

Новый генератор картинок по тексту от Google.
Из сильных сторон - умеет генерировать текст на картинках, но не русский.

записаться в вейтлист (сейчас доступ дают сразу)

#text2image

Code Llama
Новый ассистент программиста от Meta AI, на базе Llama 2. По тестам бьет всех известных конкурентов.

Code Llama выпустили в трех версиях: основная, для Python и с акцентом на исполнение инструкций.

Гитхаб
Блог (у меня открывается только через VPN)
Колаб

#coding #llm

camenduru уже напилил нам Colab ноутбуков Code Llama, пользуйтесь

Колаб

#coding #llm

нейрокотиков вам в ленту

твиттер

#нейрокотики

🔥 Ученые сделали нейропротез для расшифровки речи парализованного человека с анартрией.
Считанный с мозга пациента сигнал отправляется на вход цифрового аватара, который генерирует речь.

Nature
Ютуб (5 минут)

#brain2speech #mindreading

Авторы AudioLDM 2 выложили чекпойнт для генерации звука 48 КГц. До сих пор был доступен только 16КГц

Гитхаб

#text2music #text2audio #text2speech #TTS

WavJourney: Compositional Audio Creation withLarge Language Models

Еще один интересный генератор звука, который я почему-то забыл запостить на прошлой неделе.

Интересен он тем что генерирует полную звуковую последовательность по сценарию. Скармиливаете ему сценарий с таймкодами (можно и без них) - на выходе получаете полноценную радиопрограмму или подкаст. Сценарий, кстати, тоже можете не писать, в демо реализован генератор сценария по текстовому запросу.

На видео генерация по запросу Марсианские новости о запуске зонда к Альфа Центавра

Код
Демо

#text2audio

Vispunk

Новый ИИ-редактор изображений.
Под капотом, видимо, Stable Diffusion.
Есть онлайн версия, только мне не удалось получить от нее результата. Генерит не то что пишешь а то что и было чуть в другой вариации

Онлайн-редактор
Код обещают выложить
Сабреддит проекта, там пачка туториалов


#text2image #image2image #tools

Code Llama теперь интегрирован в Hugging Chat

Пользоваться здесь

#coding #chatbot

А вот и WizardCoder 34B

#coding #chatbot

VALL-E X: Multilingual Text-to-Speech Synthesis and Voice Cloning

Мультиязычный генератор речи по тексту и клонировщик голоса. Английский, Японский, Китайский. Для клонирования голоса достаточно 3-7 секунд образца. Контроль акцента, эмоций, акустики.

Примеры
Код
Демо
Колаб

#text2speech #tts #voicecloning

MagicEdit:High-Fidelity Temporally Coherent Video Editing

Редактирование видео: стилизация, локальное редактирование, смешивание разных видео, аутпейнтинг

Код будет позже

#video2video