4D Gaussian Splatting SLAM

4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.

Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля

Код

#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian

SkyReels-A3

Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.

Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.

Умеет создавать профессиональное движение камеры

Гитхаб (пусто)
Попробовать видимо здесь

[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей

#lipsync #portraitanimation #characteranimation #speech2video

EchoMimicV3

Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.

Что-то там про мультимодальность и мультизадачность в архитектуре говорят.

Умеет делать взаимодействие с объектами, пение.

Выглядит несколько деревянно, но весит всего 3Гб с хвостиком

Код
Веса

#lipsync #portraitanimation #characteranimation #speech2video

💡LightSwitch💡: Multi-view Relighting with Material-guided Diffusion

Изменение освещения на изображениях (релайтинг) с учётом свойств материалов объектов.
Пишут что побили #SOTA

Обрабатывает любое количество входных изображений, собирая информацию о материалах.
Пока дело доходит до релайтинка данные уже превращаются в сцену на гауссианах. И на выходе тоже гауссианы.
А там видимо рендерите чем хотите.

Авторы тестировали на A100

Код

#relighting

Matrix-3D: Omnidirectional Explorable 3D World Generation

Генератор 3D миров по изображению с бесконечным перемещением в них.
Траектория камеры задается перед началом генерации.
Сначала создает панорамное видео, потом из этого видео собственно доступную для исследования 3D модель.

Код
HF

#text2world #research #text2game

Крутанские лоры Qwen-Image от нашего подписчика @Danrisi

Воркфлоу там же

Lenovo_Qwen - бустер реализма, ждем версию под Chrome
adorablegirls_qwen - с фокусом на женскую красоту

Реддит - не скупитесь на лайки

#text2image #lora #workflow