Помните мой пост про 5 уровней защиты генеративных моделей ? На втором уровне - «Контроль за представлениями модели» - я упоминал Machine Unlearning как один из подходов: возможность «разучить» модель опасным вещам без полного переобучения. Нейрохирургия. Точечная. Элегантная.

Так вот. Хирург вскрыл пациенту черепную коробку, аккуратно удалил нужный участок - а пациент встал со стола, посмотрел стеклянными глазами и творить такое, чего раньше не умел. Причём худшее из возможных.

В прошлом году вышла интересная публикация LUSB - Language Unlearning Security Benchmark - недавно её обновили и я решил внимательно изучить. Первый комплексный фреймворк, который формализует простую вещь: процедура разучивания - это не защитный механизм, а новая поверхность атаки.

Теперь к мясу. Авторы формализовали атаки через разучивание как задачу оптимизации - где атакующий контролирует три вещи: что именно модель должна «забыть», из каких данных будет состоять запрос и как модель должна себя вести после процедуры. На этой основе - систематический бенчмарк: 16 типов атак и защит, 13 архитектур LLM, 9 методов разучивания (от базовых градиентных методов до продвинутых вроде Negative Preference Optimization), 12 датасетов задач.

Разберём механику. Два основных вектора:

Первый - чистая атака через разучивание. Атакующему не нужно отравлять обучающую выборку заранее. Достаточно грамотно подобрать подмножество данных для удаления из модели. Модель послушно «забывает» - а её веса смещаются в направлении, выгодном атакующему. Вы просили модель забыть - она забыла. А заодно разучилась сопротивляться джейлбрейкам. Побочный эффект? Нет - основной.

Второй - игра вдолгую. Атакующий ещё на этапе обучения подмешивает в данные спящий триггер. Он ничего не делает, пока модель работает штатно. Но когда кто-то запускает процедуру разучивания - триггер активируется, и бэкдор просыпается. Total Recall наоборот: вы пришли стереть воспоминание, а вам перепрошили личность.

Что показал бенчмарк.

Атаки через разучивание подрывают безопасность модели даже при наличии всех остальных уровней защиты. Выравнивание, гардрейлы, системные промпты - всё перечисленное работает на поверхности. Разучивание бьёт глубже - непосредственно по весам. Вы можете выстроить идеальный периметр на уровнях 1, 3, 4, 5 - а уровень 2 станет троянским конём, который впустит атакующего через парадный вход.

Цепная реакция между уровнями защиты - главный результат работы. Атаки через разучивание не изолированы. Они усиливают восприимчивость к джейлбрейкам (уровни 3 и 4 моей классификации) и способны постепенно активировать спящие бэкдоры и отравленное поведение, заложенные на этапе обучения (уровень 1). Один вектор пробуждает другой - дёргаете за ниточку разучивания, и у модели отключаются предохранители, выстроенные на совершенно других уровнях. В классической кибербезе есть термин для такого - lateral movement (боковое перемещение). Только тут движение не между машинами - а между уровнями доверия внутри одной модели.

Существующие защиты пока не справляются. Авторы тестировали оба класса. Первый - обнаружение: попытка отличить вредоносный запрос на разучивание от легитимного. Не работает - отравленные данные слишком хорошо мимикрируют под обычные запросы на удаление. Второй - смягчение последствий: добавление в процесс разучивания ограничений, которые не дают весам модели сдвинуться слишком сильно, и штрафных функций, которые заставляют модель сохранять полезные способности, пока ненужное удаляется. Логика понятная - но атакующий конструирует свои данные уже с учётом этих ограничений и находит обходные пути. Задача открытая, авторы говорят об этом прямо.

Двадцать лет назад главный страх ИБ - что кто-то украдёт данные. Сегодня - что кто-то их удалит, и метрики безопасности упадут. Прогресс. LUSB - не приговор Machine Unlearning как подходу. Скорее первая честная карта минного поля, по которому мы пока что ходим вслепую. Разучивание работает - но без понимания его поверхности атаки вы не защищаете модель, а переконфигурируете её уязвимости. Теперь хотя бы понятно, где копать.