🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!

Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.

Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.

Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.

В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.

Сайт проекта

@ai_newz

Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже

Код

#gaussian #video2scene #rendering #videoto3D

Говорят, Google Photos обновился ИИ-фичами

- Magic Eraser - самое интересное, удаление объектов
- Photo Stacks - группирование похожих фото
- Highlight video - автомонтаж видеоклипов
- Best Take - выбор лучшего варианта фото
- Организация документов и чеков в отдельные альбомы

#inpainting

TC4D: Trajectory-Conditioned Text-to-4D Generation

Генератор видео движущихся 3D объектов по тексту + траектории.
Под капотом #nerf

Код

#text2video #textto3D

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Реконструкция 3D сцен на гауссианах с LOD - тридешники поймут, это уровни детализации по удаленности от камеры.

Код ждем

#gaussian #optimization

GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image

Похоже, крутой генератор глубины и нормалей по изображению. На сайте сравнение с DepthAnything и Marigold

Код
Демо
ComfyUI

#image2depth #image2normal

Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting
Семантическая сегментация сцен на гауссианах

Код ждем

#gaussian #segmentation

Советую вам толковый канал, автор которого реально занимается AI и опубликовал 15+ статей на топовых конфах.
Артем — Staff Research Scientist в элитной лабе по генеративному AI, Meta GenAI в Цюрихе и ещё находит время вести канал!

Например, там он рассказывал о новой text-2-image модели Emu, к которой приложил свою руку и ускорил генерацию до 5 секунд. Или вот пост про модель для генерации стикеров, котороую Артем лично оптимизировал. Моделька уже крутится в Инсте и Whatsup в проде.

Артем в целом пишет о нейронках, AR/VR и генеративном AI, добавляя свое критическое мнение, а также травит байки о работе AI ресерчера в Meta. Недавно Артем писал о том, как он запромоутился до Staff Research Scientist.

Мало у кого из авторов каналов есть такой мощный полевой опыт в AI как у Артема, так что его канал точно стоит читать: @ai_newz

Stable Assistant

По сообщению реддитора, Stability AI тестируют чат-бота с бета-версией #SD3

Записаться в вейтлист

#assistant #text2image #chatbot

Блогеры - все. Вы не поверите, это девушка полностью генерация!

Ох, ребята, иногда у меня подгорает с твиттерских "аи-блогеров" (ex. криптобро), обожающих бомбить громкими заголовками ради репостов, не проверяя информацию, а потом это мощно тиражируется.

Люди на видео реальны, вы даже можете нанять их, чтобы сделать видео здесь, например:
https://fiverr.com/amarie1717

Другими словами, "стартап", получил лицензию на нескольких людей "говорилок" и подключил HeyGen (пруф) для их анимации/кастомизации.

Все.

Кто хотел попробовать AniPortrait?
Держите подгон

Демо
Колаб
AniPortrait for windows - работает на 11GB VRAM

#image2video #talkinghead #speech2video

BrushNet : A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

Плагин к диффузным моделям для инпейнтинга по попиксельной маске

Код
Демо

#inpainting

DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing

Microsoft изобрел еще одну модель для манипуляций с изображением. Главное, что опенсорс, и можно сразу попробовать

Код

#imageediting #image2image #inpainting

ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion

Google тоже кое-что придумал. Фотореалистичное удаление и вставка объектов. Но пока есть только сайт и препринт

#inpainting