роботесса троллит кожаные мешки

NeROIC - визуализация 3д-объектов из набора фотографий.

Там snapchat опубликовали очередную вариацию NeRF, в которой, судя по описанию, собрано все, что можно.

Работает примерно так:
- определение положения камер на фото,
- сегментация главных объектов,
- итеративная генерация геометрии и уточнение положения камер (NeRF),
- генерация привычных для 3д-рендеринга карт albedo, specular, glossiness, normal

С помощью карт стало возможным сохранить мелкие детали и улучшить освещение при генерации новых кадров.

Судя по примерам, подход работает даже для фото, сделанных разными камерами, в разное время (то есть для фотограмметрии не нужно ехать и фоткать предмет, достаточно удачно загуглить)

Звучит круто, но кода я бы все-таки подождал.

Подробнее
Доклад
Видео

Ну если вас это не впечатлит, то я не знаю что вас впечатлит.
Они научили нейросеть рендерить объект (человека) с любого угла, подав на вход одно видео

Подвезли редактирование лиц на видео. Демки, кода пока нет

Stitch it in Time: GAN-Based Facial Editing of Real Videos.

Редактирование лица на основе GAN в реальных видеороликах.

"Мы используем те же методы редактирования изображений StyleGAN, которые вы все знаете и любите, и мы делаем это на уровне кадра — без каких-либо компонентов, которые пытаются обеспечить временную согласованность! Почему так гладко? Почему так мало дрожания? Ответ прост — исходное видео уже согласовано во времени. Вместо того, чтобы использовать неправильные инструменты, нарушать согласованность и усердно работать над ее восстановлением, мы анализируем различные компоненты конвейера редактирования GAN, определяем, какие из них непротиворечивы, и просто используем их!"

• https://stitch-time.github.io

• ждём-с код
https://github.com/rotemtzaban/STIT

Нейросеть Ботто заработала миллион долларов на продаже своих картин в качестве NFT. Музыке, книгам, фильмам - приготовиться