VideoBooth: Diffusion-based Video Generation with Image Prompts

Генератор видео по тексту с объектом из референсной картинки

Код обещают в конце декабря

#text2video #image2video

GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs

Генератор 3D с новой парадигмой. Генерирует композиционные 3D-сцены из графов сцен, где объекты представлены в виде узлов, а их взаимодействия - в виде ребер. Текстовый промт графа пишет ChatGPT. Не вручную же его создавать.

Ну а для семантической реконструкции графа из изображения - используют GPT4V

Код обещают выложить

#text2csene #textto3D

GeoDream: High-Fidelity and Consistent 3D Generation

Генератор 3D объектов по тексту. Модель помогает диффузионному генератору каким-то 3D пониматором. На выходе текстурированный меш

Код
Колаб

#texto3D

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

Новый уровень точности реконструкции 3D сцен гауссианами. Превосходит 3D-GS по скорости, экономичности и качеству

Код обещают выложить на этой неделе

#imageto3D #image2scene #rendering #gaussian

PyNeRF: Pyramidal Neural Radiance Fields

#nerf не умирает. Подъехал оптимизированный подход, который ускоряет работу. Далекие части сцены рендерят nerf низкого разрешения, близкие - nerf высокого разрешения.

Код

#imageto3D #rendring #novelview

ИИ вползает в графику.

Ну в ту, которая "глядите чо мужики творят в Midjourney", а в настоящую.

Пока Автодеск и Фаундри отмалчиваются, умельцы сами пилят разные помогаторы для рендеринга и 3Д. К Блендору тоже прикручивают разные смешные штуки.
А на днях вышел анонс нового Octane Render 2024. Это такой рендер для взрослых.

В OctaneRender 2024.1 появится OctaneGPT, сервис на основе Large Language Model, который будет оказывать помощь в приложении и сможет генерировать новые узлы, шейдеры, скрипты и даже целые сцены в интерактивном режиме на основе текстовых или голосовых подсказок пользователей. Еще раз: в интерактивном режиме с помощью текста, голоса и даже совместного использования экрана.

Юлик всегда отличался тем, что быстрее всех пытался внедрить самые горячие штуки в свой рендер. Так было с блокчейном (в рендере!), его рендер-монетками и распределенным рендером. Интересно будет поглядеть, как octaneGPT будет генерить "целые сцены". Это звучит уже крайне заманчиво.

И поднимите веки Автодеску, пожалуйста. Еще в в 2018 году они сделали AIUV - гениальную AI-развертку для ювишек, но потом зачистили все упоминания о ней.
https://home.otoy.com/octane2024/

MagicAnimate:Temporally Consistent Human Image Animation using Diffusion Model

Сегодня уже весь твиттер в курсе про этот генератор анимаций изображений человека. На данный момент - самый качественный из доступных. Может анимировать сразу несколько человек.

Кидайте свои анимации в комменты

Код
Демо

#image2video