Agent Assessment Framework или как оценивать агентов

В конце 2025 мало кого уже заинтересуют простые LLM apps, потому что все внимание перешло к агентам. Но есть нюанс: мы научились их запускать, но мало кто умеет делать исчерпывающую оценку качества. Так происходит из-за того, что текущие подходы чаще всего фокусируются на проверке выполнения итоговой цели (end-to-end). Но упускают довольно много важных вещей (например, нарушение политик безопасности, наличие низкой полноты поиска в памяти и другое)

Поэтому хочу поделиться статьей, опубликованной 2 недели назад, которая описывает фреймворк для оценки агентов. Авторы предлагают отказаться от старых метрик и строить оценку вокруг следующих 4 компонент, из которых агент и состоит:
🟣Memory. Механизм хранения и извлечения информации. Оценивается корректность обновления и эффективность поиска
🟣Tools. Способность агента действовать в среде. Оценивается правильность выбора инструмента, параметров и последовательности их использования. Тут, кстати, обычно возникает пик ошибок, особенно в сложных сценариях
🟣LLM. Оценивается следование инструкциям и safety & alignment
🟣Environment. Операционный контекст. Оценивается соблюдение рабочих процессов, защитных ограничений (guardrails) и конфигурируемость

А суть фреймворка заключается в трёхуровневой проверке:
1️⃣ статика (соответствие спецификациям)
2️⃣ мониторинг в рантайме
3️⃣ judge-based evaluation (с помощью LLM или другого агента-аудитора)

🔬 Что показали тесты на трёх реальных CloudOps-кейсах

Эксперименты провели на платформе MOYA, моделируя реалистичные сценарии: от простой оптимизации затрат до сложного мультиагентного анализа инцидентов. И что заметили:
🟣 Агент может на 100% «исправить» уязвимость (публичный S3-бакет), но при этом полнота поиска в памяти (recall) была всего 13%
🟣 В сценарии оптимизации затрат агент формально завершил неиспользуемые инстансы (успех 100%), но соблюдал политики только в 33% случаев. Он работал, но неправильно
🟣 Чем сложнее сценарий (особенно с несколькими агентами), тем больше скрытых ошибок всплывает в оркестрации инструментов (Tools) и соблюдении ограничений среды (Environment)

Поэтому если вы запускаете агентов в prod, вам точно нужен аудит их поведения, а не просто проверка выходных данных (end-to-end). Только так вы сможете иметь полное представление о качестве работы вашего агента, быстрее делать дебаг и улучшать работу агента

Ближе к концу прошедшего года Международный союз электросвязи (МСЭ) выпустил отчет, посвященный созданию глобальной культуры кибербезопасности и защите информационных и коммуникационных сетей.

Документ интересен прежде всего обзором национальных инициатив стран-участниц МСЭ по кибербезопасности, в частности: лучших практик повышения осведомленности, стратегий устранения дефицита профильных специалистов, мер по защите детей в цифровой среде, борьбы с кибермошенничеством, безопасности IoT-устройств и 5G-сетей, а также роли национальных CIRT в обеспечении устойчивости критической инфраструктуры.
Из отечественных инициатив и мероприятий отмечены следующие:
🔗 Программа «Кибергигиена» — трехлетняя инициатива под эгидой Минцифры, направленная на разные возрастные группы в рамках борьбы с кибербуллингом, кибермошенничеством, защите паролей и мобильных устройств.
🔗Кампания по цифровой грамотности — проект в рамках программы «Цифровая экономика», использующий анимационные видео для обучения школьников и учителей защите данных и безопасности в цифровой среде.
🔗Создание Национального координационного центра по компьютерным инцидентам (НКЦКИ) для повышения уровня безопасности критической информационной инфраструктуры.
🔗Внедрение платформы «Антифрод» для верификации вызовов, запрет на аренду виртуальных мобильных номеров для борьбы со смишингом и уголовное преследование кибермошенников.
🔗Указ Президента РФ от 01.05.2022 № 250, устанавливающий строгие требования к квалификации и опыту руководителей подразделений информационной безопасности.

Если посмотреть опыт других стран, то можно заметить, что все движутся примерно в одном направлении: программы повышения осведомленности, подготовки кадров, сертификация по требованиям безопасности, борьба с кибермошенничеством, создание специализированных CERT/CIRT.

Для себя отметил несколько интересных инициатив/мероприятий:
🔗Бразильская программа «Hackers do Bem» («Хакеры во благо») направленная на подготовку 30 000 специалистов для восполнения дефицита на рынке труда. Программа включает пятиуровневое обучение, от базовых концепций до специализированных профилей («Red Team», «Blue Team», «DevSecOps»), и завершается шестимесячной стажировкой.
🔗Для помощи организациям в планировании бюджета Национальный орган по кибербезопасности (NCA) Саудовской Аравии разработал инструмент оценки затрат на внедрение базовых мер кибербезопасности.
🔗Регулятор связи Великобритании Ofcom в добровольном порядке реализует с операторами схему TBEST, которая имитирует кибератаку для выявления уязвимостей в сетях и улучшения их защиты.
🔗Национальный CIRT Литвы не только реагирует на инциденты, но и активно управляет уязвимостями, сканируя литовские интернет-ресурсы и информируя операторов критической инфраструктуры о потенциальных угрозах.

#awareness #smishing #смишинг #мошенничество #кадры #cirt #cert

⌛ Обновление CISO Radar от Wavestone - приоритеты для стратегии кибербезопасности до 2030

«Циферблат» от Wavestone - графический способ отображения трендов в области кибербезопасности. Инструмент существует с 2011 года, прошлую версию циферблата можно посмотреть здесь

Циферблат организован по секторам (идентификация, защита, обнаружение, управление рисками, соответствие требованиям и непрерывность), разделенным на три уровня:
🔹 Зрелые (Matrure): это «база», решения/подходы должны быть в каждой компании
🔹 В тренде (Trending): решения/подходы находятся на стадии широкой адаптации и внедрения
🔹 Новые (Emerging): малоизвестные и развивающиеся штуки

«Циферблат» полезен для понимания «базы», в качестве авторитетного источника расстановки приоритетов при выборе проектов ИБ и отсеивания маркетингового буллшита. Давайте посмотрим что изменилось за год в самом циферблате:

📎 Защита контейнеров переехала с Trending на Matrure. Микросервисная архитектура стала стандартом для многих компаний и ключевые практики безопасности стали обязательным минимумом
📎 Перемещение Bug Bounty в Mature также отражает развитие этого направления за последний год: так российский рынок bug bounty активно набирает обороты, практика постепенно становится неотъемлемой частью стратегии ИБ, переставая быть экзотикой
📎 Red Teaming и PAM также подвинули ближе к центру, теперь это тоже «база». В целом тоже ожидаемо – PAM как одно из решений по защите от атак на цепочку поставок, Red Teaming как комплексная проверка защищенности (стоимостью как самолет)
📎 В «базу» также перенесли архитектурную концепцию Red Button – механизмы быстрой и жесткой изоляции важных систем в случае масштабной компрометации, например при шифровании инфраструктуры
📎 Zero Trust Eneabled App (приложения с поддержкой Zero Trust), Zero Trust Metrics & Orchestration (сбор контекста с устройств и его обработка) ближе не стали и Zero Trust нам только снится
📎 В сторону Trending подвинули DLP/DRM, DAST, Tech debt mgt (управление техническим долгом), AI Red Teming и еще по мелочи
📎 На уровень Emerging добавили новые модные штуки, такие как Insider Threat Program, AI automated assurance, Cyber Data Lake (видимо бывший Data Hub), Agentic AI Cyber Platform, AI-BoM
📎 С радаров исчез SOAR как класс, AD monitoring, многие вещи были переименованы

Вообще сравнивать довольно сложно, команда постоянно меняет термины на более «модные», например Automatic data classification в сторону AI based data classification, AD Redesign в сторону AD Rebuild. При этом глоссария этих терминов я не нашел.

В самом отчете Wavestone выделяет четыре ключевые силы, которые будут формировать ландшафт угроз до 2030 года:
1️⃣ Повышение сложности угроз: атаки нацелены не только на внутреннюю инфраструктуру, но и на партнеров, поставщиков и облачные платформы
2️⃣ Рост регуляторного давления: компаниям приходится адаптироваться ко всё более строгим и разнообразным требованиям по защите данных, киберустойчивости и безопасности продуктов
3️⃣ Геополитика влияет на киберзащиту: конфликты делают многие традиционные меры малоэффективными
4️⃣Искусственный интеллект меняет всё: ИИ создает новые векторы атак и требует новых подходов к безопасности

В целом тренды во многом пересекаются с глобальным прогнозом от WEF, тут никакой экзотики
#analytics

📣 Рекомендации по безопасности SAP-систем ➤

На сайте ФСТЭК России опубликованы Рекомендации по предотвращению реализации угроз безопасности информации при применении SAP-систем в условиях прекращения их технической поддержки и распространения обновлений на территории Российской Федерации.