🇩🇪 Германия: руководство по пентесту LLM

📄24 сентября 2025 года Немецкий совет по кибербезопасности (Allianz für Cyber-Sicherheit, ACS) представил руководство по проведению пентестов больших языковых моделей (LLM). Документ направлен на унификацию подходов к оценке безопасности LLM и стандартизацию услуг пентеста.

Руководство описывает процесс пентестирования LLM в виде четырёх фаз:

1️⃣ Понимание бизнес-контекста и анализ текущего состояния
На этом этапе формулируются цели и задачи тестирования, определяется его объем и границы. Также проводится анализ исходного состояния системы и учитываются правовые предпосылки и ограничения, связанные с проведением пентеста.

2️⃣ Моделирование угроз, приоритизация и планирование теста
Определяются потенциальные угрозы и сценарии их реализации, проводится их ранжирование по степени значимости. На основе этого формируется план тестирования, включающий выбор приоритетных сценариев и ключевых точек проверки.

3️⃣Тестирование и документация
Выполняются практические проверки с использованием методов и инструментов пентестирования. Все действия фиксируются, результаты документируются, а оформление ведётся в соответствии с минимальными требованиями к отчетности.

4️⃣ Оценка, анализ рисков, подготовка рекомендаций и отчетность
Проводится итоговая оценка результатов тестирования, анализируются выявленные уязвимости и риски, формулируются практические рекомендации по их устранению. Итоговый отчет содержит систематизированные выводы и рекомендации для заказчика.

В приложение к руководству включены:
🔘 шаблоны и чек-листы для угроз, тестовых случаев и отчетности;
🔘 рекомендации по мерам защиты и реагированию;
🔘 обзор юридических и нормативных аспектов.

📄 Ознакомиться с руководством можно по ссылке.

Фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6⃣ Управление идентификацией и доступом (IAM)
2⃣ Управление данными и приватностью
3⃣ Шифрование данных "на лету" и "на хранении"
4⃣ Регистрация событий/промптов и аудит обращений к модели
5⃣ Управление уязвимостями и патчами
6⃣ Безопасность кода и зависимостей
7⃣ Управление жизненным циклом модели (ModelOps)
8⃣ Управление обучающими данными
9⃣ Мониторинг дрейфа модели и метрик
6⃣1⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6⃣6⃣ Безопасность API и оконечных устройств
6⃣2⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6⃣3⃣ Этические и репутационные риски
6⃣4⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6⃣5⃣ Реагирование на инциденты и реагирование на утечки / атаки
6⃣6⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).

📎ТК164 опубликовал окончательную версию проекта стандарта ГОСТ Р "Искусственный интеллект в критической информационной инфраструктуре. Общие положения"

Cloud Security Alliance обновила свое руководство по моделированию угроз для облачных сред🛡

Новая версия учитывает специфику ИИ-систем, которые активно внедряются и размещаются в облачных средах.
В документе:
🔗описаны различные фреймворки, используемые для идентификации, анализа и приоритизации угроз , в т.ч. узкоспециализированные для ИИ-систем (PLOT4AI, MAESTRO, NIST AI RMF).
🔗описан жизненный цикл процесса моделирования угроз без привязки к фреймворкам, нюансы моделирования угроз для облачных сред, метрики и модель зрелости процесса.
🔗приведено руководство по созданию моделей угроз и пример моделирования.
🔗представлен обзор инструментов и платформ моделирования угроз, в т.ч. ИИ-инструменты (KaliGPT, SecML и т.п.).

p.s. Напоминаю, что вообще есть большой гайд по различным фреймворкам и инструментам моделирования угроз, который периодически обновляется.

#cloud #threat #modelling #ai #framework