Katalist

Генератор раскадровок с постоянством персонажа, стиля и сцены

Записаться в вейтлист

#text2image #storyboard #text2story

Google может ввести платный запуск web-ui в бесплатном колабе. Сейчас они блокируют запуск web-ui.

твиттер

#news

Новый скандал на просторах VFX-пустоши.

Framestore (одна из топовых студий), несколько дней назад опубликовали новую вакансию "Generative AI Artist", кандидат должен был работать в Stable Diffusion, ComfyUI, Automatic1111, Midjourney, Dalle и Runway.

Комментарии под постом разделились: некоторые считают, что художники и искусственный интеллект должны работать вместе, чтобы максимизировать результат, но большинство считает, что это ужасная идея, отчасти из-за проблем с авторским правом, и Framestore следует просто нанять традиционного художника.

Комментарий от студии:

Вчера одно из наших объявлений о вакансиях для AI-художника вызвало некоторое беспокойство в нашем сообществе. Новый сотрудник будет работать в сотрудничестве с иллюстратором над проектом. Сначала мы закажем работу у классического художника, а потом используем различные методы VFX, включая AI, чтобы доработать изображение. Частично это будет сделано путем анимации определенных ключевых кадров, а также обучения частных моделей и расширений

Студия добавила, что использует AI для содействия творчеству людей, помогая командам художников быстрее достигать результата. Они считают, что AI может "помочь работе художников, позволяя им делать больше того, что они любят".

Вакансию удалили.

Напомню, что в июне Marvel пытались использовать AI-генерацию для титров "Секретного вторжения", что из этого вышло можно глянуть здесь. Но тогда тоже разгорелся скандал, что скайнет забирает работу у мешков с костями.

Что касается моего мнения по этой теме — да вообще похуй. Я сам использую нейросети для упрощения и ускорения работы, только динозавры могут протестовать против AI. Давайте тогда отключим ротобраш и runway, эти штуки у индусов забирают рисовые пиалки.

I2VGen-XL можете опробовать здесь:

https://www.basedlabs.ai/

Дискорд

#image2video

ZeroShape: Regression-based Zero-shot Shape Reconstruction

Реконструкция 3D объекта по одному изображению, превосходит конкурентов по скорости генерации и стоимости обучения. Реконструирует только геометрию, без текстур.

Код
Демо

#imageto3D

UniVG: Towards UNIfied-modal Video Generation

Генератор видео по тексту от Baidu. Заявлена генерация сложных сцен и превосходство над опенсорсными решениями при оценке на людях. По закрытым нейронкам соответствует Gen2. Что-то мне подсказывает, что это не надолго, где-то на пороге должен быть Gen3

Кода нет

#text2video

VideoCrafter2 : Overcoming Data Limitationsfor High-Quality Video Diffusion Models

Что я говорил? Все пилят новые версии. Вот и Tencent выкатил обновку VideoCrafter.

Код
Демо

#text2video

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

Текстуровщик мечты от Meta. По фото с нескольких ракурсов грабит с объекта детальные текстуры. Но это еще не все. После этого он может натянуть их на чуть ли не рандомный объект и зарелайтить. Магия?

Кода нет, мы и так знаем что это для VR

#image2texture #relighting #texture

Foundry ищет ML инженера с опытом в ротоскопе. Ну ладно, я преувеличил, просто ИИ-энтузиаста с опытом в ротоскопе. Угадайте для чего? Чтобы в нюке наконец сделать авотматический ротоскоп. Надо уж было подождать пока кто-нибудь сделает автоматический композитинг, чего там (сарказм).

А Виктор Перез обещает пиво за решение этой задачи.

линкедин

#news

Blackout Diffusion

Новый тип генератора изображений. Кто знает, может быть он сменит диффузию из шума как в свое время диффузия сменила GAN.

Суть в том что Blackout Diffusion не нужен изначально шум для проявления картинки. И работает он в дискретном пространстве, а не в непрерывном как SD. Благодаря чему тратит меньше вычислительных ресурсов. Ну и ему прочат какие-то перспективы в статье (RUS). Сайта проекта нет,зато есть

Код
Препринт

[UPDATE] препринт от 18 мая 2023, за это время могло бы уже взлететь.

#text2image #news

SHINOBIShape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

Реконструкция 3D объекта с материалами и освещением из набора изображений от Google

Код ждем

#imageto3D

Alibaba запилили демоспейс колоризатора DDColor

Демо

#colorize #image2image