TC4D: Trajectory-Conditioned Text-to-4D Generation

Генератор видео движущихся 3D объектов по тексту + траектории.
Под капотом #nerf

Код

#text2video #textto3D

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Реконструкция 3D сцен на гауссианах с LOD - тридешники поймут, это уровни детализации по удаленности от камеры.

Код ждем

#gaussian #optimization

GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image

Похоже, крутой генератор глубины и нормалей по изображению. На сайте сравнение с DepthAnything и Marigold

Код
Демо
ComfyUI

#image2depth #image2normal

Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting
Семантическая сегментация сцен на гауссианах

Код ждем

#gaussian #segmentation

Советую вам толковый канал, автор которого реально занимается AI и опубликовал 15+ статей на топовых конфах.
Артем — Staff Research Scientist в элитной лабе по генеративному AI, Meta GenAI в Цюрихе и ещё находит время вести канал!

Например, там он рассказывал о новой text-2-image модели Emu, к которой приложил свою руку и ускорил генерацию до 5 секунд. Или вот пост про модель для генерации стикеров, котороую Артем лично оптимизировал. Моделька уже крутится в Инсте и Whatsup в проде.

Артем в целом пишет о нейронках, AR/VR и генеративном AI, добавляя свое критическое мнение, а также травит байки о работе AI ресерчера в Meta. Недавно Артем писал о том, как он запромоутился до Staff Research Scientist.

Мало у кого из авторов каналов есть такой мощный полевой опыт в AI как у Артема, так что его канал точно стоит читать: @ai_newz

Stable Assistant

По сообщению реддитора, Stability AI тестируют чат-бота с бета-версией #SD3

Записаться в вейтлист

#assistant #text2image #chatbot

Блогеры - все. Вы не поверите, это девушка полностью генерация!

Ох, ребята, иногда у меня подгорает с твиттерских "аи-блогеров" (ex. криптобро), обожающих бомбить громкими заголовками ради репостов, не проверяя информацию, а потом это мощно тиражируется.

Люди на видео реальны, вы даже можете нанять их, чтобы сделать видео здесь, например:
https://fiverr.com/amarie1717

Другими словами, "стартап", получил лицензию на нескольких людей "говорилок" и подключил HeyGen (пруф) для их анимации/кастомизации.

Все.

Кто хотел попробовать AniPortrait?
Держите подгон

Демо
Колаб
AniPortrait for windows - работает на 11GB VRAM

#image2video #talkinghead #speech2video

BrushNet : A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

Плагин к диффузным моделям для инпейнтинга по попиксельной маске

Код
Демо

#inpainting

DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing

Microsoft изобрел еще одну модель для манипуляций с изображением. Главное, что опенсорс, и можно сразу попробовать

Код

#imageediting #image2image #inpainting

ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion

Google тоже кое-что придумал. Фотореалистичное удаление и вставка объектов. Но пока есть только сайт и препринт

#inpainting

Structure Reference

Adobe выкатили свой Controlnet в Firefly.
Меня туда не пускают. родился не в той стране

#textimage #image2image #conditioning

Пришло приглашение в бету 3D генератора Rodin Gen-1
Вернее, письмо о том что меня выбрали для бета теста, но перед этим надо пройти опросник. Внимательно читайте условия в опроснике чтобы вас не кикнули с беты.

Ну а если вы еще не вписались, попробуйте:

записаться в вейтлист

#tetxtto3D #text2scene #realtime

#оффтоп
Надо такую же капчу, только чтоб надо было роботов убивать, тогда роботы точно не пройдут

P.S. читкоды работают!

2DGS: 2D Gaussian Splatting for Geometrically Accurate Radiance Fields

Для реконструкции 3D сцен вместо 3DGS авторы придумали схлопывать объем в двухмерные диски, что дает представление поверхности, независимое от ракурса

Код ждем
Демо ждем

#gaussian #novelview #rendering

Marigold-LCM Depth Estimation

К генератору глубины Marigold прикрутили LCM, теперь он быстрый как поноскоростная саморазборка ракеты Маска в верхних слоях атмосферы

#image2depth #optimization