ZenCtrl

Еще одна альтернатива #controlnet от Fotographer AI
Умеет генерить разные ракурсы сцены/объекта, фон под объект. Из привычного - Canny, Depth

Разрешение до 1024×1024, в будущем 2К и 4К

Есть пара моделек под #flux и одна под Ominicontrol (деблюр)

Код ждем
Демо
Веса
API
Статья

#conditioning #deblur #image2image #personalization #multiview #novelview

TriplaneTurbo: Progressive Rendering Distillation: Adapting Stable Diffusion for Instant Text-to-Mesh Generation without 3D Data

#SD адаптировали для генерации 3D моделей по тексту за 4 шага.

Должен же быть легковесный генератор 3D, да?

Код
Демо

#textto3d

Easi3R: Estimating Disentangled Motion from DUSt3R Without Training

Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео

Нэо потешный получился

Код
Посмотреть результаты интерактивно

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

И еще один похожий инструмент, реконструкция 4D сцены по видео.

C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме

Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе

Код
Демо

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

К 3D генераторам приставили обратную связь от симуляции физики чтобы модельки получались более устойчивыми. Даже напечатали модельку на 3D принтере в доказательство

Интересно, кто из подписанов использовал сгенерированные модельки с физикой или для 3D печати, что скажете?

Код
DSO-finetuned-TRELLIS

#simulation #textto3D #imageto3d

Sparrow-0: Advancing Conversational Responsiveness in Video Agents with Transformer-Based Turn-Taking

Видео-ассистент от Tavus, который понимает когда его очередь говорить, не полагаясь на молчание собеседника. Таким образом устраняются раздражающие паузы

Здесь можно создать говорящий аватар, есть библиотека аватаров, называются Replica

Sparrow-0 обучен на базе BERT и поддерживает более 100 языков.

Есть бесплатный тариф

#assistant #voicemode #talkinghead #humanavatar