ComfyUI IPAdapter plus

Обновление IPAdapter для ComfyUI. В IPAdapter V2 полностью переписан код, старые воркфлоу не будут работать после обновления.

- multiple new IPAdapter nodes: regular (named "IPAdapter"), advanced ("IPAdapter Advanced"), and faceID ("IPAdapter FaceID);

- there's no need for a separate CLIPVision Model Loader node anymore, CLIPVision can be applied in a "IPAdapter Unified Loader" node;

- CLIPVision can be applied separately if "IPAdapter Unified Loader" is not used;

- new Weight Types;

- new Combine Embed types for multiple images inside of one IPAdapter node.

#text2image #image2image

🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!

Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.

Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.

Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.

В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.

Сайт проекта

@ai_newz

Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже

Код

#gaussian #video2scene #rendering #videoto3D

Говорят, Google Photos обновился ИИ-фичами

- Magic Eraser - самое интересное, удаление объектов
- Photo Stacks - группирование похожих фото
- Highlight video - автомонтаж видеоклипов
- Best Take - выбор лучшего варианта фото
- Организация документов и чеков в отдельные альбомы

#inpainting

TC4D: Trajectory-Conditioned Text-to-4D Generation

Генератор видео движущихся 3D объектов по тексту + траектории.
Под капотом #nerf

Код

#text2video #textto3D

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Реконструкция 3D сцен на гауссианах с LOD - тридешники поймут, это уровни детализации по удаленности от камеры.

Код ждем

#gaussian #optimization

GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image

Похоже, крутой генератор глубины и нормалей по изображению. На сайте сравнение с DepthAnything и Marigold

Код
Демо
ComfyUI

#image2depth #image2normal

Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting
Семантическая сегментация сцен на гауссианах

Код ждем

#gaussian #segmentation