Inpaint Anything for Stable Diffusion Web UI Forge

Адепты Comfy, скипайте эту новость.

расширение для Forge, позволяющее делать инпейнтинг по маске из SAM (на выбор ряд моделей, в том числе SAM 2)

#extension #inpainting #segmentation

LaRI: Layered Ray Intersections for Single-view 3D Geometric Reasoning

Реконструкция геометрии сцены по изображению.
Хорошо моделирует невидимую на картинке часть геометрии за счет создания послойной карты точек.

На выходе меш и послойная карта глубины

Код
Демо

#imageto3d #image2scene

А вот в FramePack Studio уже прикрутили F1

Помимо этого поддерживает промпты с таймкодами и ряд обновок есть:

- Можно задать время мягкого перехода между промптами
- Базовая поддержка LoRa: работает с большинством (всеми?) hunyuan LoRa
- Система очереди: очередь заданий не блокирует интерфейс
- Сохранение / импорт метаданных: промпт и начальные данные кодируются в выходной файл PNG, все остальные метаданные поколения сохраняются в файле JSON
- I2V и T2V: работает как с входным изображением, так и без него, что обеспечивает большую гибкость при работе со стандартными LoRA.
- Опции латентного изображения: При использовании T2V вы можете генерировать изображение на основе черного, белого, зеленого экрана или чистого шума.

Гитхаб

#image2video #text2video

TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth

PixelHacker: Image Inpainting with Structural and Semantic Consistency

Инпейнтинг с сохранением структурной и семантической целостности

Код ждем
Демо ждем

#inpainting

ICEdit (In-Context Edit): Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer

Редактор картинок текстовыми указаниями

Максимальная ширина кадра 512, высота любая.
Прожорливый, для 512×768 нужно 35 ГБ без выгрузки

Код
Демо
ComfyUI

#imageediting #workflow

Ideogram 3.0

Обновился сервис генерации картинок Ideogram

Больше реализма, точнее понимает промпты, предлагает вдвое больше стилей.

Можно загрузить до трех референсов.

Magic Fill - инпейнтинг

Extend - аутпейнтинг

Сделали интеграцию по API через Picsart, Freepik, Replicate

#text2image #referencing #imageediting #inpainting #outpainting

Подписчик поделился фиксом FramePack Studio для настройки разрешения видео (автор почему-то ограничил по ширине то ли 640 то ли 768). Файлы закину в комментарии. Дальше текст подписчика

Добавил повышенное разрешение для FramePack Studio во вкладку F1
в оригинале было максимум 640 по ширине

bucket_tools.py - добавлены размеры из платной турецкой сборки, размер подбирается примерно (положить в FramePack-Studio\diffusers_helper)
interface.py - разблокировано до 1216 (положить в FramePack-Studio\modules)

Если будут ошибки с тензорами (но лучше не трогать):
wrapper.py (положить в FramePack-Studio\diffusers_helper\k_diffusion)

Так же установлено 40 шагов по умолчанию, можно легко поменять в interface.py
Прога сама по себе супер глючная, надеюсь допилят)

Спасибо @neurotemporary

#image2video #text2video

Опубликован код инструмента для работы с изображениями ZenCtrl

Разрешение до 1024×1024, уже работают над 1500х1500 и больше, работают над агентским и видеопайплайном

Лучше всего работает с объектами. С людьми - ограниченно. Плохо умеет в иллюстации. Ибо обучен на бедном датасете. В будущем улучшат.

Код

#conditioning #deblur #image2image #personalization #multiview #novelview #referencing

ACE-Step: A Step Towards Music Generation Foundation Model

Генератор музыки в опенсорсе, базовая модель, пригодная для дальнейшего файнтюна.

Мультиязычный, есть русский!
Помимо собственно генерации музыки по тексту, умеет делать вариации, смену пола вокалиста, замену слов, замену музыкальных фрагментов.

Обещают лоры с контролнетами, генерацию стемов (отдельных партий), вокал по готовому аккомпанементу

Звучит пока не очень, надеемся на пластичность в файнтюне

Код
Демо
Веса

#music #text2music #musicediting

LTX VIDEO-13B

Выложили веса модели видеогенератора с 13B параметров
ltxv-13b-0.9.7-dev и
ltxv-13b-0.9.7-dev-fp8
FP8 должен завестись на 4090

HF
Гитхаб
ComfyUI
Попробовать на офсайте - притворитесь что вы не в РФ

#text2video #image2video

Insert Anything: Image Insertion via In-Context Editing in DiT

Короче еще один инпейнтинг персонализатор.
Показываем одной картинкой что вставить, на другой - куда вставить

Под капотом FLUX.1-Fill-dev и FLUX.1-Redux-dev

Код
Демо
ComfyUI

#inpainting #personalization #imageediting

Computer Agent

Агент, аналог Operator

Работает в песочнице

Под капотом
smolagents
Qwen2-VL-72B
E2B Desktop

Демо

#agent #browser

AgenticSeek

Еще один агент, позиционируют себя как локальную опенсорсную альтернативу Manus на DeepSeek R1.
Без отправки данных в облако.

Для установки понадобятся ChromeDriver, Docker, Python 3.10

Гитхаб

#agent #desktop