AudioCraft Plus

Еще один однокнопочный установщик AudioCraft в браузере Pinokio. С возможностями, которых нет в других сборках:
- можно задать тональность
- можно задать темп
- можно выбрать тип лада

Установить можно по инструкции из предыдущего поста про Pinokio

Старую сборку в корзину!

#text2music #text2audio #tools

JEN-1

Новая мощная музыкальная модель.
Возможности:

- генерация музыки по тексту
- инпейнтинг (замена заданного фрагмента)
- продолжение заданного фрагмента

Хорошо справляется с попаданием в заданный темп, инструмент, настроение, эру (70-е, 80-е, 90-е), жанр

Послушать примеры

#text2music #music2music

Опубликован код и веса генератора глубины по видео Neural Video Depth Stabilizer
Если удастся запустить, поделитесь результатами

Код

#depth #depth2video

Вслед за лидерами конкурентной гонки в области генерации ИИ-видео Kaiber выкатил генерацию видео по тексту и по начальному изображению.
Может генерировать видео продолжительностью до 4 минут.

И снова открыли пробный доступ для всех. Доступно 40 секунд бесплатной генерации. А помнится, в мае бесплатные сервисы прикрывали.

Попробовать Kaiber motion

#text2video #image2video

Дорогие подписчики, которые уносят заботливо добытые мною новости на свои коммерческие каналы с 50К+, 200К+ подписчиков. Я со своего канала не получаю ни копейки. Подумайте пожалуйста о том чтобы упомянуть меня как источник новости хотя бы один раз из 10 когда вы бесплатно ее тут забираете. Вам нетрудно, и мне приятно.

У меня довольно часто новости выходят раньше чем у соседей с пересекающейся тематикой, и я могу сделать так что таскать у меня новости станет менее удобно.

Всем хорошего дня

Еще не утихли баталии на счет генеративных 2D конечностей, как в университете Tsinghua пытаются научить сети правильной семантики движения суставов. Задача сложная, в ход идет даже Mixamo и датасет InterHand2.6M.

Успехи оцените сами, но мне кажется, я знаю, куда мы применим мощности квантовых компьютеров. 🤌

Почитать тут

Помните реконструкцию музыки по фМРТ мозговой активности?

Подоспело еще одно исследование в этой области, только на этот раз вместо фМРТ использовали электроды. В качестве испытуемых приняли участие 29 человек.

Исследователям удалось получить реконструкцию, отдаленно похожую на песню Another Brick in the Wall.
На примере можно услышать оригинал, преобразованный в амплитудную слуховую спектрограмму и обратно в аудиоволну. После него - реконструкция.
Такое преобразование демонстрируют чтобы можно было оценить разницу между оригиналом и реконструкцией в виде спектрограммы, считываемой с мозга. Криво объяснил, но надеюсь понятно.

Хабр

#tought2music #brain2music

Аж олдскулы свело

Сорс by Dmitry Alekseev

Опубликованы экспериментальные облегченные #ControlNet модели для SDXL. Они занимают меньше места, 320 Мб младшие и 545 Мб средние. При этом, по первым отзывам пользователей, работают не так хорошо как полновесные модели.

Что еще интереснее, команда diffusers опубликовала скрипт для обучения моделей ControlNet и код бенчмаркинга. Ну, теперь заживем.

твиттер

canny-small
canny-mid
depth-small
depth-mid

скрипт обучения
код бенчмаркинга

Relightable and Animatable Neural Avatar from Sparse-View Video

Создание анимируемых аватаров по видео с нескольких или с одного ракурса, с возможностью релайтинга.

Код обещают выложить

#video2avatar #humananimation #relighting

SceNeRFlow:Time-Consistent Reconstruction of General Dynamic Scenes

Исследователи (Meta Reality Labs Research, Институт Макса Планка и другие) научились восстанавливать динамическую 3D модель неригидных объектов и сцен по видео с нескольких статичных камер с известными параметрами оптики. Для этого, правда, им еще сначала нужна каноническая модель объекта, для которой рассчитывают деформацию чтобы получить движущуюся 3D модель и отрендерить ее волюметрически.

Кода, увы, нет

#videoto3D #nerf

DragNUWA

генератор видео от Microsoft по тексту, изображению и траектории. Видимо, это развитие NUWA.
DragNUWA позволяет пользователям напрямую манипулировать фоном или объектами внутри изображений, а модель плавно преобразует эти действия в движения камеры или объекта, генерируя соответствующее видео.

[UPDATE]
Код
Демо

#image2video #text2video #trajectory2video