Scene Transfer

Пока одни публикуют препринты и не делятся кодом, другие (Krea.ai) уже раскатывают фичу бесплатно в онлайн сервис.

Интеграция объекта с одного изображения в другое с учетом освещения

#image2image #imageinsert

Kolors

Новый крутой генератор картинок от авторов Kling.
В будущем обзаведется Lora, Controlnet, IP-adapter, ComfyUI.
Хороним Stability?

Гитхаб
Демо

#text2image

Подписчики подсказывают что #ComfyUI уже есть. Видимо, народный

ComfyUI-KwaiKolors

#text2image

На и сам Kling тоже обновился до версии 2.

Прикрутили ключевые кадры как в Luma, контроль камеры, негативный промпт.
Хрон расширили до 10 секунд.
И самое главное, пользоваться теперь можно на сайте в браузере. Но все равно вход через Wechat

#text2video #image2video

ControlNet++: All-in-one ControlNet for image generations and editing!

Один универсальный SDXL контролнет чтоб править всеми который работает с более 10 препроцессоров и , соответственно, выполняет более 10 контролнетных задач.
Архитектура основана на Controlnet и расширена с заявкой на поддержку генерации в качестве Midjourney (что бы это ни значило)

Гитхаб
Веса на HF

#controlnet #conditioning #text2image #image2image

MOTIA (Be-Your-Outpainter)

Аутпейнтинг для видео (расширение кадра)

Код
Веса

#outpainting #video2video

CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Calibration

Генератор 3D-персонажей по одному входному изображению, унифицированных по позе, предположительно пригодных для рига и анимации.

Код

#imageto3D

Paints-Undo

Новый проект от lllyasviel (автора Forge, Fooocus, Controlnet, IC-Light), моделирующий процесс рисования кожаным художником в надежде, что будущие модели искусственного интеллекта смогут лучше соответствовать реальным потребностям людей-художников.

Создает видео рисовки по входной готовой картинке или наброску. Создает набросок по картинке

Код

#image2sketch #sketch2image #image2video #sketch2video

Claude Artifacts теперь можно делиться с друзьями

Anthropic только что анонсировали возможность делиться созданными артифактами.

Сделал для вас AI Змейку

Пока что, созданным артифактом нельзя управлять (нет никакого дашборда и статистики), но пологаю что это временно. Еще из прикольного - артифакты можно Ремиксовать (откроется окошко с чатом, и Артифакт можно будет переделать под себя).

Определенно - это инетерсный подход, и думаю что будет спрос на инструменты для отслеживания эволюции Артифактов.

Вообщем, добро пожаловать в новукю эру - Apps 2.0

Вы сидите в кресле перед большим экраном. На дворе 1979 год. Указываете пальцем (пультом), куда вы хотите переместить разноцветные примитивы, нарисованные компьютером по команде вашего голоса. И он рисует. Также он понимает не только формы и цвета, но и может поставить объекты за или поверх уже нарисованных.

Кроме этого, вы можете вести примитивные указательные диалоги. "Возьми (это), поставь (туда)." Система может распознавать голос, простые команды, немного текст, но не в том виде, как сейчас, конечно.

И вот теперь, если бы вам в 79 году принесли то, что мы можем делать в 2024 с LLM и GAN, вы бы скорее сказали: "Какого хрена так мало?" 45 лет спустя, после таких экспериментов в 79 году, мне кажется, что мы должны были бы добиться большего, разве нет?

Проект возглавлялся Крисом Шмандтом, на видео одна из итераций уже 82 года, но в 79 были первые тесты с примитивами.
Выдержка из журнала «The geek» MIT Tech Review 2019.