В автоматик завезли Канву
А точнее, дизайн-конструктор Canvas Editor, похожий на Canva на основе polotno.com
А все для того чтобы можно было отправлять тексты и фигуры в Controlnet

Устанавливается из вкладки Available, появляется на отдельной вкладке. Накидываем их шаблонов нужные элементы, жмякаем Send to txt2img или Send to img2img - элементы отправляются в Controlnet. Далее как обычно

#image2image #tools

Ну что ж, момент настал! 😼 В основную ветку расширения КонтролНета для дистрибутива Автоматика добавили поддержку версии 1.1, о которой я писал на днях. Всё что там есть уже работает, экстенжин обновился без проблем. Веса и конфиги брать тут - https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Подробный пост с возможностями и работой будет позже (если я не заленюсь 🤷‍♂️).

волшебно

Совершенно неочевидный способ генерировать многократно одного и того же персонажа в Automatic1111⁠⁠

Инструкция

Автор

Imagica — нейросеть создаёт другие нейронки по текстовому запросу

Кроме того, он мультимодальный: в приложении могут быть текст, изображения, видео и 3D-модели.

Пока что только в бете, лист ожидания по ссылке.

SdPaint

Скрипт для генерации изображения по эскизу "в реальном времени". На самом деле со скоростью генерации вашего Automatic1111, ведь скрипт обращается к нему по API (нужно будет прописать --api в параметры запуска). Убедитесь что у вас установлен Controlnet.

Для установки скачайте и распакуйте проект, запустите Start.bat

Видео ускорено в 4 раза.

Реддит

Продолжаем "революционировать" в SD. А точнее - в недавнем Segment Anything. Туда, как и обещали авторы, добавили ещё один инструмент - Grounding DINO!
Давайте разберём зачем вообще нужен этот Динозаврик. А поможет он ещё более чётко работать с масками и размечать датасеты под обучения. Кто уже попробовал Сегментацию могли заметить, что очень мелкие детали довольно сложно "поймать" маской. Выделить глаза или уши, например, та ещё задача. Или, если у вас на картинке много лиц, а заинпаинтить по маске надо только одно - придётся вручную править маску. Но Dino решает эти проблемы очень легко! Обновив расширение в блоке сегмент появится дополнительные опции для включения новой фитчи и промта под неё. И, например, вписав в промт Граудинга "eyes" можно поймать глаза вообще не проставляя точки позитива и негатива! В этом случае текстбокс сработает заместо этих точек. Плюс ко всему, этот инструмент ещё и разделит глаза на разные выделения, и в маску можно отправить только один глаз для инпаинта. Ну или это применимо для одного лица из множества, как я писал выше.
Как пользоваться показано на картинках выше. Пройдёмся пошагово:
1) Раскрываем блок Сегментирования в и2и (не забывайте выбрать чекпоинт, H - самый крутой, как мы помним), выбираем нужную картинку, выставляем галочку Enable GroundingDINO и ниже - I want to preview GroundingDINO detection. У Дино тоже есть свои веса, не забываем выбирать и их (скачаются автоматически). Вписываем то, что нужно найти, и обращаем внимание на ползунок Threshold - это будет ваш любимый ползунок. Он позволяет редактировать силу отсейки результатов, погоняв его туда-сюда легко получить нужное.
2) Далее - нажимаем под загруженной картинкой кнопку Генерации, смотрим что повыделял нам Dino. Если результат примерно нужный (два уха - две области выделения, примерно на тех местах), идём дальше, если нет - играем с ползунком отсейки. Выше несколько картинок, показывающие различные значения. Если слишком маленькое значение - полезут лишние коробочки, если слишком высокое- не появится ничего. Каждый раз это значение индивидуально.
3) Крутим ещё ниже (да, расширение получилось монструозное по длине). Там у нас будет выбор, какие квадраты передать в Сегментацию (отмечаются галочками), и, собственно, дальше всё как в предыдущий раз. Нажимаем Превью, чуть-чуть ждём, выбираем понравившуюся маску, выставляем галку Копировать в инпаинт-маску, и в самом низу появилась удобная кнопочка - Switch to Inpaint Upload - которая передаст нашу маску и изначальное изображение на нужную подвкладку.
4) Наконец, возвращаемся в самый верх. Там вы видим, что на нужную вкладку нас переключило, но маски и картинки, опять, не видно. Но это не беда, нажав на "генерацию" мы увидим что нужные данные подрузились и работают как надо. Не забывайте написать промт и использовать инпаинтные модели, для лучших результатов.
5) Так же, в сегментации появилась ещё одна полезная галочка - Расширить маску. Полезно, когда нужно выбрать область чуть больше, чем выделилась. Например, на скрине выше я выделил по маске глаз кролика, расширил маску, и сделал ему глазки побольше и сместил их относительно оригинала.
В общем и частном получился отличный инструмент для генерации масок. Поначалу выглядит сложно, но попробуйте - это очень легко и быстро на практике. Ещё раз ссылка на расширение, если вы её потеряли. На страничке есть несколько поясняющих видео.
Пара уточнений по установке. Во-первых, обновление/установка его займёт какое-то время, потому что Динозаврику нужно скомпилировать ядро под вашу систему. Соответственно, требования как и у иксформесов - установленный С++ компилятор и Cuda. Во-вторых, я ставил на начальных билдах и в них нужно было что бы версия Куды-торча совпадала с версией установленной в системе Куды. В автоматике, по умолчанию, Куда-торч ставится 11.7 и мне пришлось сносить свою системную 12.0 Куду и ставить 11.7 что бы всё заработало. Возможно, в текущей версии это уже поправили, но имейте ввиду - будут ошибки при перезапуске, вы знаете что делать.