Как "стереть" из ИИ знания о Гарри Поттере

Для тех кто ничего не понял в предыдущем посте.

Исследователи из Microsoft предложили способ "стирать" конкретную информацию из обученных языковых моделей, не переобучая их заново.

Они протестировали свой метод на модели Llama 2-7B от Meta, "стерев" из неё все знания о книгах и персонажах Гарри Поттера. Для этого потребовалось всего около 1 часа дополнительной тренировки модели.

Авторы разработали трёхэтапную технику:

1. Обучили вспомогательную модель выделять токены, связанные с Гарри Поттером.

2. Заменили уникальные выражения обобщёнными, имитируя модель без этих знаний.

3. Дотренировали основную модель на этих заменённых данных.

В итоге модель разучилась обсуждать детали сюжета и персонажей Гарри Поттера, но сохранила общие способности.

Это важный шаг к созданию гибких языковых моделей, которые можно адаптировать под меняющиеся требования. В будущем такие методы помогут делать ИИ более ответственным и соответствующим законам об авторских правах.

Ссылка

А вы знаете, что такое успех? Успех, это когда крупнейшие производители видеокарт делают расширение к фанатскому веб-интерфейсу и переписывают драйвер под него 😼
О чём это я, спросите вы? Как всегда - об оптимизациях!
Буквально вчера nVidia выпустила свежие драйвера - 545.84. В них, помимо всяких геймерских штучек, заявлена поддержка TensorRT для Web-UI Automatic1111! Подробно об этом сами разработчики написали вот в этом посте.

Но мы, естественно, на слово им не поверим, а проверим! Что нам понадобится:
1) Свежий драйвер 545.84 (от 17.10.2023) и позже. Качайте с официального сайта.
2) cuDNN v8.9.4 (August 8th, 2023) для CUDA 11.x - необязательный пункт, но для 30хх/40хх серий видеокарт - желательный, многим помогает поднять производительность SD без дополнительных манипуляций. Брать тут, нужна регистрация.
3) Официальный экстенжин для подержки TensorRT от компании nVidia - https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
4) Ну и сам Автоматик1111, конечно же.

Прежде чем начнём разбирать, немного оговорок о том, как это работает.
Во-первых, что бы использовать TensorRT вам придётся переконвертить U-net каждого используемого чекпоинта самостоятельно и только на своём ПК. Собственно, расширение для этого и предназначено. Ещё одно ограничение - вам придётся жёстко (или диапазонно) задать используемое разрешение и батч-сайз при конвертации. Т.е. выставив разрешение 512х512 при создании Ю-нета на этом новом чекпоинте вы не сможете генерировать 512х768. Придётся делать новую конвертацию под новое расширение. К счастью, делается это всего несколько минут, и также можно выставить динамическое разрешение (от 512 до 768 по любой стороне и батчсайз от 1 до 4, к примеру) - это слегка скажется на скорости генераций и на используемой памяти.
Так же придётся переконвертить Лоры, которые будите использовать в промте.
Во-вторых, на стабильной версии Автоматика1111 (1.6.0) сейчас работают через TensorRT SD 1.5 и 2.1. SDXL через новый способ работает пока только в Dev-ветке. Т.е. либо ставите сейчас дев-ветку и рабоаете с SD XL, либо ждёте новой стабильной версии, а пока работаете с 1.5/2.1.
Будьте внмательны, ключи --medvram и ему подобные вызывают ошибку при конвертации! Запускайте Автоматик без них, когда хотите переконвертить. Генерация с ними работает нормально.

Теперь, если все ограничения вас устраивают, начнём ставить и тестить.
Обновив драйвера рекомендую снести папку venv и поставить заново - во избежание несовместимостей. Так же, если вы качали cuDNN v8.9.4, то после переустановки положите библиотеки из папки \bin\ внутри архива в вашу папку \venv\Lib\site-packages\torch\lib с заменой файлов.
Запустив Автоматик и установив расширение, переходим на новую появившуюся вкладку. Расширение будет устанавливаться и билдиться довольно длительное время, так что не думайте, что всё зависло - просто ждите. В конце установки расширение покажет ошибку - просто пезерапустите SD и всё доустановится само. Выбрав нужный пресет (их можно править "на лету") и чекпоинт, нажимаем конвертацию и ждём. Это тоже займёт время, конвертация на 3060 получилась около 5-7 минут. SD XL в 3 раза дольше.
Далее, что бы использовать получившуюся модель, нужно добавить в "быстрые настройки" используемный U-net, что бы каждый раз не лезть во вкладку основных настроек. Для этого выбираем "Пользовательский интерфейс" и в быстрые настройки вбиваем sd_unet (картинка 3). Сохраняем, перезапускаем интерфейс, и сверху у нас появится новый список, где будут видны, в том числе, и наши переконверченные модели (картинка 4).

Вот, собственно, пожалуй и всё. Больше пояснений есть в самом экстенжине.

Теперь по тестам (ну, для чего-то мы всё это затевали, да? 🤔).
Картинка 5 и 6 - генерации на обычном чекпоинте без оптимизаций и с оптимизациями.
Картинка 7 - те же условия, с новым U-net-ом. ToMe и unCond с ними не работают.

И что у нас в итоге? Ускорение получается в 1.5-2.5 раз от скоростей с оптимизациями! Без оптимизаций там и сравнивать страшно - в 4 раза!

Обсудить / пообщаться
Наш чат @text2image