VALL-E X: Multilingual Text-to-Speech Synthesis and Voice Cloning

Мультиязычный генератор речи по тексту и клонировщик голоса. Английский, Японский, Китайский. Для клонирования голоса достаточно 3-7 секунд образца. Контроль акцента, эмоций, акустики.

Примеры
Код
Демо
Колаб

#text2speech #tts #voicecloning

MagicEdit:High-Fidelity Temporally Coherent Video Editing

Редактирование видео: стилизация, локальное редактирование, смешивание разных видео, аутпейнтинг

Код будет позже

#video2video

AI Text-To-Image Prompt Generating Software

Генератор промптов для генераторов картинок.
Gradio, javanoscript.
Туповат, вырвиглазный дизайн. Но довольно удобный и быстрый

#tools #text2text

друзья разрабатывают сервис OHMYSYNT и хотят получить фидбек. 3 дня триала: обучение внешности 5 персонажей + современные плюшки типа инпейнтинга в AI-редакторе с удобным интерфейсом. ну что, поможем парням нагрузить сервера?

Runway добавили в GEN-2 слайдер для контроля количества движения в кадре. Можно задать величину от 0 до 10.

Отличная новость.
CoTracker теперь можно погонять на huggingface

Только посмотртите, он пытается отследить даже руку, уходящую за кадр

Демо

#tracking #opticalflow

MyoSuite 2.0

Обновление симулятора скелетно-мускульного аппарата. Новая модель, новые возможности

Демо покрутить
Код
Туториалы
Колаб

#humananimation

Когда мы начинали SciOne, в команде было в разное время 20-30 волонтеров, кто-то онлайн только, кто-то вживую, помогали в съемках или просто поддерживали. Тогда-то мы познакомились с Аленой, она озвучивала аниме и любила науку, как мы. Потом она ушла с головой в карьеру, и я радовался за нее, потому что она становилась очень крутым профессионалом в озвучивании и дубляже фильмов и игр. Вы наверняка слышали ее голос не раз. И вот спустя много лет мы тут рассказываем про риски и возможности ИИ, а для Алёны один из сценариев стал драматичной реальностью. Ее голос украли с помощью нейросетей. Причем почти официально. Хочется поддержать ее и предупредить тех, кого нехорошие люди с помощью ловких договоров и ИИ могут обманывать и ломать жизни.

https://youtu.be/xfhPMKpPQng

Prompt2Model - Generate Deployable Models from Instructions

Эпоха метанейросетей подкралась незаметно. Перед вами система, которая использует описание задачи на естественном языке для обучения небольшой модели специального назначения, которая подходит для развертывания.

Иначе говоря, описываете под какую задачу вам нужен ИИ - на выходе получаете нужную модель, которую можно установить на сервере.

Код
Колаб

#llm #coding

Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.

Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.

Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡

Сорс

Опубликована инпейнтинг-модель #SDXL

Демо
Веса

#inpainting #image2image

вы должны это видеть

Классный эксперимент с Гауссовскими Сплаттингом (я писал об этом методе на днях). Челик взял три картины, задал для них вручную разные позиции камер внутри ондной сцены и обучил сплаттинг.

В итоге при повороте камеры достигается такой интересный эффект перехода одной картины в другую. Сплатики научились отображать разные картины с различных углов.

Кстати, вот тут еще повилась имплементация рендеринга Gaussian Splatting внутри божественной библиотеки nerfstudio (подробнее про нее в этом посте).

@ai_newz