TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

Текстуровщик мечты от Meta. По фото с нескольких ракурсов грабит с объекта детальные текстуры. Но это еще не все. После этого он может натянуть их на чуть ли не рандомный объект и зарелайтить. Магия?

Кода нет, мы и так знаем что это для VR

#image2texture #relighting #texture

Foundry ищет ML инженера с опытом в ротоскопе. Ну ладно, я преувеличил, просто ИИ-энтузиаста с опытом в ротоскопе. Угадайте для чего? Чтобы в нюке наконец сделать авотматический ротоскоп. Надо уж было подождать пока кто-нибудь сделает автоматический композитинг, чего там (сарказм).

А Виктор Перез обещает пиво за решение этой задачи.

линкедин

#news

Blackout Diffusion

Новый тип генератора изображений. Кто знает, может быть он сменит диффузию из шума как в свое время диффузия сменила GAN.

Суть в том что Blackout Diffusion не нужен изначально шум для проявления картинки. И работает он в дискретном пространстве, а не в непрерывном как SD. Благодаря чему тратит меньше вычислительных ресурсов. Ну и ему прочат какие-то перспективы в статье (RUS). Сайта проекта нет,зато есть

Код
Препринт

[UPDATE] препринт от 18 мая 2023, за это время могло бы уже взлететь.

#text2image #news

SHINOBIShape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

Реконструкция 3D объекта с материалами и освещением из набора изображений от Google

Код ждем

#imageto3D

Alibaba запилили демоспейс колоризатора DDColor

Демо

#colorize #image2image

ActAnywhere: Subject-Aware Video Background Generation

Adobe смастерили генератор видео, который понимает переднеплановый объект и генерит соответствующий задний план под него. Да так, что они еще могут и взаимодействовать! В качестве задания можно подать начальный кадр задника, по видимому текст. Можно заменять и переднеплановый объект.

Короче, это ближе к той кнопке Сделать Красиво, которую мы хотим в кинопроизводстве. Ждем новую фичу в ПО Adobe

#text2video #video2video

Скрейпинг веб страниц в эпоху GPT-Vision

Последние пару недель, я много эксперементировал с парсингом и скрейпингом веб страниц. В итоге я пришел к выводу, что сайты были сделаны для того что бы на них смотрели глазами, и соответственно парсить их эффкетивнее всего тоже будет глазами.

Собрал для вас старый добрый Colab, с помощью которого можно сделать summary любой страницы в интернете (в пределах того, на что не обидится OpenAI).

Как это работает:

- с помощью selenium я делаю скриншоты сайта

- объединяю их в одну картинку

- отправляю эту картинку в GPT-vision

- получаю summary

🚀 Google Colab

Приглашаю всех попробовать и присылать PR c новыми функциями, исправлением багов и прочими правками.

В качестве бонуса (для продвинутых пользователей), добавил в pipeline создание эмбедингов поверх полученных summary.

Если пойдет, может быть сделаем крутого open-source Web-scrapping Assistant или типа того

dewatermark.ai

Удаление вотермарков с изображений. Говорят что бесплатно. Сервис умный, сам находит вотермарки, но можно выделить и кистью

#tools #inpainting #restoration