Ребята из Nvidia и CalTech придумали суперпростой, но при этом суперэффективный метод защиты картинок от adversarial attack. Называется он DiffPure и заключается вот в чем:
- берем атакованную картинку, немного зашумляем гауссовым шумом;
- восстанавливаем зашумленную картинку обратно с помощью диффузионной модели.

Так как зашумляли атакованную картинку несильно, визуально для человека картинка практически не изменится. А вот те претурбации картинки, что вызывали конфуз сети, исчезнут.
Иллюстрация метода — на 1 картинке к посту.

Эксперименты показывают, что такой алгоритм работает круче остальных SOTA методов на разных видах атак, датасетах и моделях (2 картинка к посту) При этом DiffPure не требует сбора дополнительных данных и никакого (до)обучения, и все равно обгоняет по качеству модели, которые были специально дообучены на adversarial примерах.
Выгод здесь тонна:
- не нужно тратить время и собирать данные для дообучения;
- дообучение на adversarial данных обычно ухудшает общее качество работы модели на неатакованных (clean) картинках. А DiffPure саму модель не меняет: он меняет картинки (т.е. решает задачу adversarial purification, а не adversarial training). Поэтому общее качество модели остается прежним, качество на adversarial картинках (robust accuracy) сильно растет;
- DiffPure отлично справляется с unseen attack (3 картинка к посту) То есть, с типами атак, которые модель не видела во время обучения. Ну, оно и неудивительно: обучения-то нет).

Ссылки:
Сайт проекта
Статья
Код на GitHub
Инфу о статье нашла тут