FLUX.1 Tools

BlackForest Labs выпустили пачку контролнетов для FLUX.1 под названием FLUX.1 Tools

Вернее, это полноценные модели по 24Гб со встроенным функционалом контролнета. Depth и Canny есть также в виде лоры

FLUX.1 Fill: современные модели #inpainting и #outpainting, позволяющие редактировать и расширять реальные и сгенерированные изображения с текстовым описанием и бинарной маской.

FLUX.1 Depth: Модели, обученные для обеспечения структурного руководства на основе карты глубины, извлеченной из входного изображения и текстовой подсказки.

FLUX.1 Canny: модели, обученные для обеспечения структурного руководства на основе тонких контуров, извлеченных из входного изображения и текстовой подсказки.

FLUX.1 Redux: адаптер, позволяющий смешивать и воссоздавать входные изображения и текстовые подсказки.

Доступно по API для [pro] и в опенсорсе для [dev]
А также на сайтах партнеров

fal.ai
Replicate
Together.ai
Freepik
krea.ai

Гитхаб
Веса на HF

ComfyUI

#controlnet #conditioning #image2image #text2image #news #flux

Stylecodes: Encoding Stylistic Information For Image Generation

Аналог миджорниевского sref для #SD, позволяет закодировать стиль в короткую последовательность из 20 символов.

Реализовано для SD 1.5

Код
Демо

#styletransfer #styleshare

Clarity Refiners UI

Улучшайзер картинок, портированный в Pinokio finegrain image enhancer, который в свою очередь адаптирован из апскейлера Clarity

Гитхаб если нужен

#imageenhacer #imagerestoration #upscale

SAMPart3D: Segment Any Part in 3D Objects

Семантическая сегментация 3D объектов на составляющие. Предлагаемые кейсы применения - выборочное редактирование материалов, геометрии, иерархическая сегментация по клику

Код

#segmentation #segmentation3D

In-Context LoRA (IC-LoRA)

Lora - дообучение генераторов картинок для создания наборов изображений в общем контексте. Иначе говоря, консистентность объектов и их взаимоотношений.

Примеров применения море

Уже на tost.ai

Дружит с ComfyUI
Воркфлоу для раскадровок

Код
Flux Simple Try On на Civitai

#personalization #conditioning #text2image

Marco-o1

Рассуждающая #LLM от Alibaba.
Дообученная Qwen2-7B-Instruct. Обучали на английских и китайских данных. Но смог ответить мне на русском.

Получается, еще один конкурент закрытоИИшной o1

HF
Гитхаб
Демо
Демо 2
Демо 3 - этот сразу ответил, остальные тупят

#assistant

LTXV

Новый видеогенератор.
Опенсорс.
2B параметров
Рилтайм 24 FPS 768x512
Основной чекпойнт 10Гб
по тексту / по картинке / по видео

Гитхаб
Демо (fal.ai)
ComfyUI
Веса

#text2video #video2video #image2video

Я тут сделал мемную картинку, но хочу чтобы она осталась инкогнито, поэтому навалю чужих мемных картинок. В комментариях еще

#humor