ControlNet++: All-in-one ControlNet for image generations and editing!

Один универсальный SDXL контролнет чтоб править всеми который работает с более 10 препроцессоров и , соответственно, выполняет более 10 контролнетных задач.
Архитектура основана на Controlnet и расширена с заявкой на поддержку генерации в качестве Midjourney (что бы это ни значило)

Гитхаб
Веса на HF

#controlnet #conditioning #text2image #image2image

MOTIA (Be-Your-Outpainter)

Аутпейнтинг для видео (расширение кадра)

Код
Веса

#outpainting #video2video

CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Calibration

Генератор 3D-персонажей по одному входному изображению, унифицированных по позе, предположительно пригодных для рига и анимации.

Код

#imageto3D

Paints-Undo

Новый проект от lllyasviel (автора Forge, Fooocus, Controlnet, IC-Light), моделирующий процесс рисования кожаным художником в надежде, что будущие модели искусственного интеллекта смогут лучше соответствовать реальным потребностям людей-художников.

Создает видео рисовки по входной готовой картинке или наброску. Создает набросок по картинке

Код

#image2sketch #sketch2image #image2video #sketch2video

Claude Artifacts теперь можно делиться с друзьями

Anthropic только что анонсировали возможность делиться созданными артифактами.

Сделал для вас AI Змейку

Пока что, созданным артифактом нельзя управлять (нет никакого дашборда и статистики), но пологаю что это временно. Еще из прикольного - артифакты можно Ремиксовать (откроется окошко с чатом, и Артифакт можно будет переделать под себя).

Определенно - это инетерсный подход, и думаю что будет спрос на инструменты для отслеживания эволюции Артифактов.

Вообщем, добро пожаловать в новукю эру - Apps 2.0

Вы сидите в кресле перед большим экраном. На дворе 1979 год. Указываете пальцем (пультом), куда вы хотите переместить разноцветные примитивы, нарисованные компьютером по команде вашего голоса. И он рисует. Также он понимает не только формы и цвета, но и может поставить объекты за или поверх уже нарисованных.

Кроме этого, вы можете вести примитивные указательные диалоги. "Возьми (это), поставь (туда)." Система может распознавать голос, простые команды, немного текст, но не в том виде, как сейчас, конечно.

И вот теперь, если бы вам в 79 году принесли то, что мы можем делать в 2024 с LLM и GAN, вы бы скорее сказали: "Какого хрена так мало?" 45 лет спустя, после таких экспериментов в 79 году, мне кажется, что мы должны были бы добиться большего, разве нет?

Проект возглавлялся Крисом Шмандтом, на видео одна из итераций уже 82 года, но в 79 были первые тесты с примитивами.
Выдержка из журнала «The geek» MIT Tech Review 2019.

Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer

Апскейлер изображения до любого (?!) разрешения

Код
Демо ждем
ComfyUI ждем

#upscale

Odyssey

Анонсирован визуальный ИИ "голливудского уровня". Язык не поворачивается назвать его генератором видео, ибо создатели проекта обещают контроль над каждым элементом, освещением, движением. Ждем

#news #visualAI