MLSecOps: практические векторы атак

Пока индустрия массово внедряет ML-системы, классический AppSec оказывается недостаточным. Угрозы теперь — в самих данных и поведении моделей. Именно эту проблему на практике разбирает прикладное исследование выпускника ВШЭ Алексея Солдатова. Куратором проекта выступил Павел Литиков, архитектор ИБ в команде AI VK. Он отвечал за интеграцию практического опыта: помогал формировать гипотезы атак, проверять инструменты тестирования на жизнеспособность и направлять команду студентов к результату, который можно использовать для построения безопасности в VK.

🔹 В статье вы узнаете о:
• классификации угроз на всех этапах жизни ML-модели;
• обзоре open-source инструментов для атак (и их актуальности);
• примерах реальных атак: Data Poisoning и Model Stealing;
• разработке собственного инструмента для тестирования безопасности ML-моделей.

🔹 Читать исследование

VK Security | Буст этому каналу!

#эксперты #AI #исследование

🔎 Windows 11: что нового для DFIR?

Доля Windows 11 в корпоративных парках компьютеров всё ещё мала, но с прекращением поддержки W10 наверняка начнёт расти. Это повлияет на работу специалистов по реагированию — некоторые привычные криминалистические артефакты претерпели изменения, и появились совершенно новые источники информации.

🔵Блокнот, Проводник и Командная строка обзавелись вкладками, причём Блокнот сохраняет данные между перезагрузками.
🟣Поиск Windows переехал на SQLite, и БД из одного файла превратилась в три.
🟣Помощник совместимости приложений (PCA) создаёт больше файлов, по которым можно изучить историю запуска программ.
🟣Спорная функция Recall по умолчанию отключена на корпоративных компьютерах, но нужно быть готовым к тому, что злоумышленники включат её для сбора данных в своих интересах, и знать, как эти данные хранятся.

Подробный обзор изменений с описанием всех новых и изменённых структур данных читайте в обзоре на Securelist.

#советы @П2Т

🔎 И снова он, безопасный ИИ в каждый дом каждую организацию

IBM и Anthropic выпустили руководство под названием «Проектирование безопасных корпоративных AI-агентов с использованием MCP». Оно определяет жизненный цикл разработки агентов (ADLC) на основе привычных принципов DevSecOps и эталонную архитектуру для создания, управления и эксплуатации безопасных, соответствующих регуляторным требованиям ИИ-агентов в корпоративных масштабах с использованием протокола (MCP).

Ключевые моменты:

🔵 Переход от «is it up» к «is it right». Агенты — это вероятностные, адаптивные системы, способные давать разные ответы на один и тот же запрос. Поэтому в разработке нужно явно определять границы полномочий, давать человеку удобные инструменты отслеживания решений и действий ИИ-агента. В дополнение к стандартному DevSecOps, жизненный цикл включает экспериментирование и оптимизацию во время работы, тестирование поведения (галлюцинации, предвзятость, дрейф), песочницы и защитные механизмы, а также постоянный мониторинг использования моделью инструментов.

🔵 Принципы проектирования для предприятий: Допустимый уровень автономности, конструктивная безопасность (security by design), интероперабельность через открытые стандарты, сильные наблюдаемость и управление (observability and governance).

🔵 Модель безопасности для агентов: Новые риски включают отравление памяти, промпт-инъекции, неправильное использование инструментов/API, повышение привилегий, дрейф поведения агентов. Эти риски снижаются за счёт внедрения идентификации и ролевой модели прав агентов, глубокой фильтрации на уровне MCP-шлюза, постоянного контроля рисков и регуляторного соответствия.

🔵 Управление и сертификация: Корпоративные каталоги содержат описание целей, владельцев, инструментов, политик и других данных по каждому ИИ-агенту. Также необходимы подпись артефактов, SBOM, отслеживание и версионирование, которые обеспечивают возможность аудита и отката изменений.

🔵 Серверы MCP представлены как ключевой инструмент для контроля над агентами и их доступом к ИТ-ресурсам организации. На уровне MCP-шлюза должны быть реализованы принцип наименьших привилегий, управляемые и аудируемые вызовы инструментов. Основные функции MCP-шлюза: управление идентификацией и доступами агента, маршрутизация запросов и проверки состояния модели, ограничения скорости и квоты, обеспечение соблюдения политик, аудит, а также аварийное отключение ИИ.

В документе приведена эталонная архитектура и требования для платформы агентского ИИ, учитывающие вопросы безопасности, наблюдаемости, управления, устойчивости и переносимости, а также возможности для хранения памяти/состояний, планирования/выполнения, интероперабельности, управления знаниями (RAG), взаимодействия человека и агента.

IBM и Anthropic утверждают, что компании могут безопасно расширять использование AI-агентов, внедряя ADLC на всех этапах — от создания агента до управления им. При этом обязательно обеспечить многослойную защиту, управление агентами и серверами MCP через каталоги, сертификационные механизмы, подписанные артефакты и так далее. Принятие MCP в качестве стандартного интерфейса инструментов, строгий контроль за рисками и наблюдаемость позволяют применять ИИ-агентов в соответствии с бизнес-целями и регуляторными требованиями.

#AI @П2Т