Опубликован код и веса генератора глубины по видео Neural Video Depth Stabilizer
Если удастся запустить, поделитесь результатами

Код

#depth #depth2video

Вслед за лидерами конкурентной гонки в области генерации ИИ-видео Kaiber выкатил генерацию видео по тексту и по начальному изображению.
Может генерировать видео продолжительностью до 4 минут.

И снова открыли пробный доступ для всех. Доступно 40 секунд бесплатной генерации. А помнится, в мае бесплатные сервисы прикрывали.

Попробовать Kaiber motion

#text2video #image2video

Дорогие подписчики, которые уносят заботливо добытые мною новости на свои коммерческие каналы с 50К+, 200К+ подписчиков. Я со своего канала не получаю ни копейки. Подумайте пожалуйста о том чтобы упомянуть меня как источник новости хотя бы один раз из 10 когда вы бесплатно ее тут забираете. Вам нетрудно, и мне приятно.

У меня довольно часто новости выходят раньше чем у соседей с пересекающейся тематикой, и я могу сделать так что таскать у меня новости станет менее удобно.

Всем хорошего дня

Еще не утихли баталии на счет генеративных 2D конечностей, как в университете Tsinghua пытаются научить сети правильной семантики движения суставов. Задача сложная, в ход идет даже Mixamo и датасет InterHand2.6M.

Успехи оцените сами, но мне кажется, я знаю, куда мы применим мощности квантовых компьютеров. 🤌

Почитать тут

Помните реконструкцию музыки по фМРТ мозговой активности?

Подоспело еще одно исследование в этой области, только на этот раз вместо фМРТ использовали электроды. В качестве испытуемых приняли участие 29 человек.

Исследователям удалось получить реконструкцию, отдаленно похожую на песню Another Brick in the Wall.
На примере можно услышать оригинал, преобразованный в амплитудную слуховую спектрограмму и обратно в аудиоволну. После него - реконструкция.
Такое преобразование демонстрируют чтобы можно было оценить разницу между оригиналом и реконструкцией в виде спектрограммы, считываемой с мозга. Криво объяснил, но надеюсь понятно.

Хабр

#tought2music #brain2music

Аж олдскулы свело

Сорс by Dmitry Alekseev

Опубликованы экспериментальные облегченные #ControlNet модели для SDXL. Они занимают меньше места, 320 Мб младшие и 545 Мб средние. При этом, по первым отзывам пользователей, работают не так хорошо как полновесные модели.

Что еще интереснее, команда diffusers опубликовала скрипт для обучения моделей ControlNet и код бенчмаркинга. Ну, теперь заживем.

твиттер

canny-small
canny-mid
depth-small
depth-mid

скрипт обучения
код бенчмаркинга

Relightable and Animatable Neural Avatar from Sparse-View Video

Создание анимируемых аватаров по видео с нескольких или с одного ракурса, с возможностью релайтинга.

Код обещают выложить

#video2avatar #humananimation #relighting

SceNeRFlow:Time-Consistent Reconstruction of General Dynamic Scenes

Исследователи (Meta Reality Labs Research, Институт Макса Планка и другие) научились восстанавливать динамическую 3D модель неригидных объектов и сцен по видео с нескольких статичных камер с известными параметрами оптики. Для этого, правда, им еще сначала нужна каноническая модель объекта, для которой рассчитывают деформацию чтобы получить движущуюся 3D модель и отрендерить ее волюметрически.

Кода, увы, нет

#videoto3D #nerf

DragNUWA

генератор видео от Microsoft по тексту, изображению и траектории. Видимо, это развитие NUWA.
DragNUWA позволяет пользователям напрямую манипулировать фоном или объектами внутри изображений, а модель плавно преобразует эти действия в движения камеры или объекта, генерируя соответствующее видео.

[UPDATE]
Код
Демо

#image2video #text2video #trajectory2video