🔎 И снова он, безопасный ИИ в каждый дом каждую организацию

IBM и Anthropic выпустили руководство под названием «Проектирование безопасных корпоративных AI-агентов с использованием MCP». Оно определяет жизненный цикл разработки агентов (ADLC) на основе привычных принципов DevSecOps и эталонную архитектуру для создания, управления и эксплуатации безопасных, соответствующих регуляторным требованиям ИИ-агентов в корпоративных масштабах с использованием протокола (MCP).

Ключевые моменты:

🔵 Переход от «is it up» к «is it right». Агенты — это вероятностные, адаптивные системы, способные давать разные ответы на один и тот же запрос. Поэтому в разработке нужно явно определять границы полномочий, давать человеку удобные инструменты отслеживания решений и действий ИИ-агента. В дополнение к стандартному DevSecOps, жизненный цикл включает экспериментирование и оптимизацию во время работы, тестирование поведения (галлюцинации, предвзятость, дрейф), песочницы и защитные механизмы, а также постоянный мониторинг использования моделью инструментов.

🔵 Принципы проектирования для предприятий: Допустимый уровень автономности, конструктивная безопасность (security by design), интероперабельность через открытые стандарты, сильные наблюдаемость и управление (observability and governance).

🔵 Модель безопасности для агентов: Новые риски включают отравление памяти, промпт-инъекции, неправильное использование инструментов/API, повышение привилегий, дрейф поведения агентов. Эти риски снижаются за счёт внедрения идентификации и ролевой модели прав агентов, глубокой фильтрации на уровне MCP-шлюза, постоянного контроля рисков и регуляторного соответствия.

🔵 Управление и сертификация: Корпоративные каталоги содержат описание целей, владельцев, инструментов, политик и других данных по каждому ИИ-агенту. Также необходимы подпись артефактов, SBOM, отслеживание и версионирование, которые обеспечивают возможность аудита и отката изменений.

🔵 Серверы MCP представлены как ключевой инструмент для контроля над агентами и их доступом к ИТ-ресурсам организации. На уровне MCP-шлюза должны быть реализованы принцип наименьших привилегий, управляемые и аудируемые вызовы инструментов. Основные функции MCP-шлюза: управление идентификацией и доступами агента, маршрутизация запросов и проверки состояния модели, ограничения скорости и квоты, обеспечение соблюдения политик, аудит, а также аварийное отключение ИИ.

В документе приведена эталонная архитектура и требования для платформы агентского ИИ, учитывающие вопросы безопасности, наблюдаемости, управления, устойчивости и переносимости, а также возможности для хранения памяти/состояний, планирования/выполнения, интероперабельности, управления знаниями (RAG), взаимодействия человека и агента.

IBM и Anthropic утверждают, что компании могут безопасно расширять использование AI-агентов, внедряя ADLC на всех этапах — от создания агента до управления им. При этом обязательно обеспечить многослойную защиту, управление агентами и серверами MCP через каталоги, сертификационные механизмы, подписанные артефакты и так далее. Принятие MCP в качестве стандартного интерфейса инструментов, строгий контроль за рисками и наблюдаемость позволяют применять ИИ-агентов в соответствии с бизнес-целями и регуляторными требованиями.

#AI @П2Т