Тут Майк выпустил фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6️⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2️⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3️⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4️⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5️⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6️⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7️⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8️⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6️⃣ Управление идентификацией и доступом (IAM)
2️⃣ Управление данными и приватностью
3️⃣ Шифрование данных "на лету" и "на хранении"
4️⃣ Регистрация событий/промптов и аудит обращений к модели
5️⃣ Управление уязвимостями и патчами
6️⃣ Безопасность кода и зависимостей
7️⃣ Управление жизненным циклом модели (ModelOps)
8️⃣ Управление обучающими данными
9️⃣ Мониторинг дрейфа модели и метрик
6️⃣1️⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6️⃣6️⃣ Безопасность API и оконечных устройств
6️⃣2️⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6️⃣3️⃣ Этические и репутационные риски
6️⃣4️⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6️⃣5️⃣ Реагирование на инциденты и реагирование на утечки / атаки
6️⃣6️⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).

Очень хороший фреймворк...

#ии #mlsecops #framework

MLSecOps: практические векторы атак

Пока индустрия массово внедряет ML-системы, классический AppSec оказывается недостаточным. Угрозы теперь — в самих данных и поведении моделей. Именно эту проблему на практике разбирает прикладное исследование выпускника ВШЭ Алексея Солдатова. Куратором проекта выступил Павел Литиков, архитектор ИБ в команде AI VK. Он отвечал за интеграцию практического опыта: помогал формировать гипотезы атак, проверять инструменты тестирования на жизнеспособность и направлять команду студентов к результату, который можно использовать для построения безопасности в VK.

🔹 В статье вы узнаете о:
• классификации угроз на всех этапах жизни ML-модели;
• обзоре open-source инструментов для атак (и их актуальности);
• примерах реальных атак: Data Poisoning и Model Stealing;
• разработке собственного инструмента для тестирования безопасности ML-моделей.

🔹 Читать исследование

VK Security | Буст этому каналу!

#эксперты #AI #исследование

🔎 Windows 11: что нового для DFIR?

Доля Windows 11 в корпоративных парках компьютеров всё ещё мала, но с прекращением поддержки W10 наверняка начнёт расти. Это повлияет на работу специалистов по реагированию — некоторые привычные криминалистические артефакты претерпели изменения, и появились совершенно новые источники информации.

🔵Блокнот, Проводник и Командная строка обзавелись вкладками, причём Блокнот сохраняет данные между перезагрузками.
🟣Поиск Windows переехал на SQLite, и БД из одного файла превратилась в три.
🟣Помощник совместимости приложений (PCA) создаёт больше файлов, по которым можно изучить историю запуска программ.
🟣Спорная функция Recall по умолчанию отключена на корпоративных компьютерах, но нужно быть готовым к тому, что злоумышленники включат её для сбора данных в своих интересах, и знать, как эти данные хранятся.

Подробный обзор изменений с описанием всех новых и изменённых структур данных читайте в обзоре на Securelist.

#советы @П2Т