Paints-Undo

Новый проект от lllyasviel (автора Forge, Fooocus, Controlnet, IC-Light), моделирующий процесс рисования кожаным художником в надежде, что будущие модели искусственного интеллекта смогут лучше соответствовать реальным потребностям людей-художников.

Создает видео рисовки по входной готовой картинке или наброску. Создает набросок по картинке

Код

#image2sketch #sketch2image #image2video #sketch2video

Claude Artifacts теперь можно делиться с друзьями

Anthropic только что анонсировали возможность делиться созданными артифактами.

Сделал для вас AI Змейку

Пока что, созданным артифактом нельзя управлять (нет никакого дашборда и статистики), но пологаю что это временно. Еще из прикольного - артифакты можно Ремиксовать (откроется окошко с чатом, и Артифакт можно будет переделать под себя).

Определенно - это инетерсный подход, и думаю что будет спрос на инструменты для отслеживания эволюции Артифактов.

Вообщем, добро пожаловать в новукю эру - Apps 2.0

Вы сидите в кресле перед большим экраном. На дворе 1979 год. Указываете пальцем (пультом), куда вы хотите переместить разноцветные примитивы, нарисованные компьютером по команде вашего голоса. И он рисует. Также он понимает не только формы и цвета, но и может поставить объекты за или поверх уже нарисованных.

Кроме этого, вы можете вести примитивные указательные диалоги. "Возьми (это), поставь (туда)." Система может распознавать голос, простые команды, немного текст, но не в том виде, как сейчас, конечно.

И вот теперь, если бы вам в 79 году принесли то, что мы можем делать в 2024 с LLM и GAN, вы бы скорее сказали: "Какого хрена так мало?" 45 лет спустя, после таких экспериментов в 79 году, мне кажется, что мы должны были бы добиться большего, разве нет?

Проект возглавлялся Крисом Шмандтом, на видео одна из итераций уже 82 года, но в 79 были первые тесты с примитивами.
Выдержка из журнала «The geek» MIT Tech Review 2019.

Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer

Апскейлер изображения до любого (?!) разрешения

Код
Демо ждем
ComfyUI ждем

#upscale

Odyssey

Анонсирован визуальный ИИ "голливудского уровня". Язык не поворачивается назвать его генератором видео, ибо создатели проекта обещают контроль над каждым элементом, освещением, движением. Ждем

#news #visualAI

AuraFlow v0.1

Новый опенсорсный генератор картинок от Fal.ai
Просят не ждать от v0.1 хорошей анатомии, модель еще в процессе обучения.

Народ уже сравнивает с другими моделями

Демо
Код/веса/ComfyUI

#text2image

Expressive Photo Avatar

HeyGen выкатил свой оживлятор портретов по звуку речи.
Хронометраж от 3 до 20 секунд

#image2video #humananimation #speech2video

Смотрите что можно вытворять при помощи LivePortrait
https://youtu.be/YHbmSwBisp8?si=LZ15vSbR6wb1g0gk

Выложен код денойзера-апскейлера видео DiffIR2VR-Zero

Код

Спасибо @MIXTRESH

#denoise #upscale #video2video

Claude Engineer 2.0

Система агентов для работы с кодом на базе Claude 3 и Claude 3.5.
Структурированно пишет код, дебажит. Исполняет и динамически редактирует.

Код

#coding

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

Сегментация 3D сцен на гауссианах. Позволяет в реальном времени манипулировать объектами сцены.

Кода нет

#gaussian #realtime #segmentation

MMPose

Набор инструментов для определения позы

#image2pose #video2pose #poseestimation

Simplicits: Mesh-Free, Geometry-Agnostic, Elastic Simulation

Симуляция эластичных 3D объектов, независимая от сетки и геометрии. NVIDIA в числе авторов, кода нет

#news #dynamics