Привет!
Данный канал задуман мной как заметки по работе с нейросетями для архитектора:

https://news.1rj.ru/str/aartneural

Сюда я буду выкладывать полезные ссылки на модели, информацию по последовательности работы с нейросетями и результаты работы.

Также есть чат для обсуждения и общения:

https://news.1rj.ru/str/+INGKLNPcjlpiNmU6

Весь процесс будет происходить в интерфейсе ComfyUI на моделях Stable Diffusion + ControlNET:

https://github.com/comfyanonymous/ComfyUI

Ссылка на скачивание ControlNET:

https://huggingface.co/lllyasviel/ControlNet/tree/main/models

Основные используемые модели:

https://civitai.com/models/84958?modelVersionId=431755 - Архитектура

https://civitai.com/models/85691?modelVersionId=93152 - Интерьер

https://civitai.com/models/86963?modelVersionId=116095 - Ландшафт

https://civitai.com/models/31479?modelVersionId=51144 - Архитектурная графика

Теория

С первым запуском мы имеем базовую систему нод, в каждую записан код, выполняющий определенную функцию.
Разберем по порядку:

1. Загрузить контрольную точку. Загружает модель Stable Diffusion, используемую для генерации изображений. Это «движок» создания изображений. Моделей огромное множество и обучены они под разные задачи.

2. Кодирование текста Clip. Туда вписывает текстовый запрос (промт). Позитивный (хотим видеть) и негативный (не хотим видеть). Данная нода преобразует язык человеческий в язык, понятный для нейросети.

3. Ksampler. Управляющий пульт генерации. Генерирует изображение на основе выбранной модели, промта и заданных параметров. Это - «художник».

4. Пустое латентное изображение. Создает «Холст» для генерации изображения с заданными размерами. Для начала стоит выбирать 512х512.

5. Декодирование VAE. Преобразует латентное изображение, с которым работает модель в готовое изображение. Визуальный переводчик для человека.

6. Сохранить изображение. Выводит готовое изображение.

#Проблема:
нет главной синей кнопки "Выполнить" в интерфейсе.
Решение:
1. Очистить историю, куки файлы и кеш браузера, в котором запускается ComfyUI.
2. Отключить блокировщики рекламы.
3. Очистить компьютер от мусора через Ccleaner или аналог.
4. Перезагрузка машины.

Stable Diffusion (SD)

Самая популярная версия модели для генерации изображений - Stable Diffusion 1.5.
Она стала основой для множества моделей (checkpoints), которые были дообучены под конкретные задачи.
Например, существуют модели, специализирующиеся на: архитектуре, портретах, киберпанке.
Модели SD обучаются на наборах данных, которые включают изображения и текстовые описания.
Обычно изображения имеют разрешение 512x512, что является стандартом для обучения моделей на основе SD 1.5.
Также существуют модели, поддерживающие генерацию 1024х1024 и выше (SD XL).

В процессе обучения модель изучает характерные черты изображений:
атмосфера (настроение, эмоции), композиция (расположение объектов в кадре), цветовая палитра (сочетание цветов), свет и тени (освещение, контраст), стиль (реализм, абстракция и т.д.).

Еще существуют LoRa (кастомизатор) — это метод дообучения нейросетей, который позволяет адаптировать большую модель, такую как SD, к новым стилям, персонажам или объектам, не изменяя основной чекпоинт (меньше весит, гибкость без изменения основной модели, возможность комбинации нескольких LoRa.)

Минимальные системные требования для генерации:
оперативная память от 8 ГБ. Видеокарта с памятью от 6 ГБ. Свободное место на диске: от 20 ГБ.

Библиотека с моделями SD:
https://civitai.com/
Фильтры при поиске: Model Type – Checkpoint либо LoRa Base Model – SD 1.5.
После выбора необходимой модели скачиваем файл.
Скачанный файл вставляем по следующему пути: Твой_Диск\Твоя_папка\ComfyUI_windows_portable\ComfyUI\models\checkpoints

В следующем посте рассмотрим генерацию Text to Image, напишем первый промт, выставим необходимые параметры генерации и получим изображение.