🔥CM3leon - Новая универсальная генеративная модель для Картинок и текста

Ребята из Meta AI (FAIR) представили новую генеративную модель. Это по сути мультимодальная decoder-only LLM на базе архитектуры OPT, которая умеет работать как с изображениями, так и с текстом.

Для картинок используется предобученный токенизатор VQ-VAE, который разбивает 256x256 изображеие на 1024 токена из словаря размером в 8192.

Натренили модельку на 7 млрд параметров — CM3Leon-7B, которая хорошо генерит в 256x256 и выдает state-of-the-art FID = 4.8 на MS-COCO.

Модель умеет:
1. text-to-image
2. image-to-text, то есть можно спрашивать любые вопросы по картинке
3. image-to-image с текстовой инструкцией

Одна генерация 256x256 занимает 9 сек в int8 (для сравнения авторегрессионная модель Parti-3В требует 6.4 сек, но дает хуже результаты).

Блог
Статья

@ai_newz

PSLD: Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models

Новый метод использования диффузионных моделей для инпейнтинга без дообучения, апскейла, удаления шума, удаления моушенблюра, восстановления резкости. Выглядит впечатляюще

Код
Демо

#image2image #inpainting #deblur #denoise #upscale #superresulution

NIFTY: Neural Object Interaction Fieldsfor Guided Human Motion Synthesis

Модель взаимодействия 3D-человеков с 3D-объектами.
Собрались вместе Университет Мичигана, Стэнфорд, Google и NVIDIA. Это как Мстители, только в области 3D-технологий. Да и придумали назначить 3D-объектам так называемое поле взаимодействия. Это поле и управляет анимацией персонажа, взаимодействующего с объектом. А взаимодействия это отдельная попоболь в 3D. Видимо, там серьезные планы на AR гарнитуры, цифровые аватары и вот это все.

Код обещают выложить

#humananimation

ReVersion : Diffusion-BasedRelation Inversion from Images

А тут про взаимодействия в 2D.
По нескольким образцам нейросеть выучивает в каких отношениях состоят объекты на изображении (взаимное расположение, способ взаимодействия и т д.), после чего можно генерировать другие объекты в таких же отношениях.

Код
Демо

#image2image

BoostPixels

Занятный генератор flat-lay фотографий (не знаю как это называется у русских фотографов) по заданному логотипу

#image2image

INVE: Interactive Neural Video Editing
Редактор видео в реальном времени.
Трек плывет, но для тиктока сойдет.
Для блогеров бомба. Видимо, туда эту тулзу и интегрируют в будущем. Разработака Adobe research, так что ждем в мобильном Премьере или как там оно называется.

Кода нет

#video2video