AI Security Framework от Snowflake
#иб_для_ml

Ссылка на статью по системе

О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.

Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.

Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)

Мое личное мнение - полезный фреймворк.

Почувствовал себя ИБ-журналистом... ✍️ Сделал внутренний обзор 169 анонсов, озвученных 640 ИБ-вендорами на RSA Conference 2024. Непростая, скажу вам, работа, продраться сквозь маркетинговый булшит вендоров 🤠 и понять, что же реально было представлено компаниями. Нередко, ничего, которое скрывается за красивыми словами про искусственный интеллект, ускорение и углубление, автоматизацию и усиление... Но я это сделал 💪

Выкладывать этот внутренний документ я не буду, а вот его открытую часть с обзором ключевых трендов, я описал, а коллеги 🤝 из Anti-malware его опубликовали. Так что велкам 🤓