LEDITS++: Limitless Image Editing using Text-to-Image Models

Новый уровень редактирования изображений текcтовыми указаниями. Очевидно, развитие проекта LEDITS

- быстрый
- универсальный
- точный, привязывает изменения к соответствующим областям
- не зависит от архитектуры

Код
Демо

#image2image #text2image #inpainting #imageediting

VideoBooth: Diffusion-based Video Generation with Image Prompts

Генератор видео по тексту с объектом из референсной картинки

Код обещают в конце декабря

#text2video #image2video

GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs

Генератор 3D с новой парадигмой. Генерирует композиционные 3D-сцены из графов сцен, где объекты представлены в виде узлов, а их взаимодействия - в виде ребер. Текстовый промт графа пишет ChatGPT. Не вручную же его создавать.

Ну а для семантической реконструкции графа из изображения - используют GPT4V

Код обещают выложить

#text2csene #textto3D

GeoDream: High-Fidelity and Consistent 3D Generation

Генератор 3D объектов по тексту. Модель помогает диффузионному генератору каким-то 3D пониматором. На выходе текстурированный меш

Код
Колаб

#texto3D

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

Новый уровень точности реконструкции 3D сцен гауссианами. Превосходит 3D-GS по скорости, экономичности и качеству

Код обещают выложить на этой неделе

#imageto3D #image2scene #rendering #gaussian

PyNeRF: Pyramidal Neural Radiance Fields

#nerf не умирает. Подъехал оптимизированный подход, который ускоряет работу. Далекие части сцены рендерят nerf низкого разрешения, близкие - nerf высокого разрешения.

Код

#imageto3D #rendring #novelview