Правильные и неправильные паттерны проектирования AI-агентов в корпоративной среде

https://aij.ru/program?concreteDate=2025-11-20&streamId=46&topicId=1262

Автономные SOC

Последнее время все резко заговорили об автономном SOC: эфир AM Live (напишите, нужно ли писать заметку с комментариями ряда утверждений, а еще лучше - какие утверждения нужно прокомментировать), и Дэн написал заметку, приятель Игорь продолжает эксперименты с агентскими системами, поднимается воодушевление, но в то же время Gartner в декабре 2024 писал вполне адекватный док "Predict 2025: There Will Never Be an Autonomous SOC", есть и немало неплохих статей (например). В общем, видимо, надо поделиться мнением.

Уже 8 лет назад я рисовал что можно сделать с угрозой. Абстрактность описания этого принципа позволяет ему быть аксиоматичным, т.е. он прекрасно работает в условиях любой автоматизации. ML/DL - не что иное, как новые возможности по автоматизации. Если у нас некоторый автомат, - не важно что у него внутри: поиск битовых последовательностей в файле или действий в логе поведения, или пороги вероятности True positive в задаче регрессии при машобуче с учителем или отклонение от профиля при обучении без учителя, или там будет LLM-агент, запускающий автоматически реакцию для каких-то сценариев - умеющий автоматически выполнять инвазивные действия, то это всем нам давно известный сценарий, отмеченный на упоминаемой картинке как "Prevent", реализуемый исторически "антивирусом". Антивирусы начинались как файловые, но с расширением спектра применяемых тактик и техник атакующих, расширялись и технологические возможности средств защиты: подтянулась облачная поддержка (без подобного фанатизма, конечно же) и много других технологий, новички, в желании постричь уже зрелый рынок повторно, изобрели новые термины и подняли хайп "антивирусы мертвы" (или "антивирусы не нужны") - типичный пример говноPRа, когда вместо доказательств преимуществ своего решения фокусируются на недостатках конкурентов, нередко вымышленных и преувеличенных.

Все на той же картинке мы видим стрелочки, когда угрозу, обнаруженную вручную (Threat hunting) потом обнаруживают и, по возможности, предотвращают автоматически. Сейчас у нас [уже давно] есть новые возможности по автоматизации, которые, конечно же, используются. Машобуч, как и любая другая автоматизация, никогда не заменит полностью человека, иначе нас ждет конец. Любая работа при достижении определенного уровня профессионализма превращается в рутину, эту рутину будут автоматизировать, а человеку надо будет грызть новый гранит науки, снова сначала что-то делать вручную, затем это алгоритмизировать и передавать автоматам.

#vCISO #ml

hackertraining.org

На одном из онлайн-курсов на LinkedIn Learning тренер поделился своим репозиторием, где он прикапывает полезные, по его мнению, материалы.

Мне репозиторий показался тоже полезным, да и наши интересы с тренером пересекаются, поэтому прикопаю его здесь:
hackertraining.org
The-Art-of-Hacking/h4cker

Курс был, в общем-то, про машобуч, поэтому поделюсь еще одним полезным репозиторием:
jivoi/awesome-ml-for-cybersecurity

#саморазвитие

n8n Guardrails - New Node!

https://www.piotr-sikora.com/blog/2025-11-17-n8n-guardrails-testing | https://docs.n8n.io/release-notes/#guardrails-node

The Guardrails node provides a set of rules and policies that control an AI agent's behavior by filtering its inputs and outputs. This helps safeguard from malicious input and from generating unsafe or undesirable responses.

There are two operations:

- Check Text for Violations: Validate text against a set of policies (e.g. NSFW, prompt injection).
- Sanitize Text: Detects and replaces specific data such as PII, URLs, or secrets with placeholders.

Agentic AI Security Scoping Matrix

The Agentic AI Security Scoping Matrix provides a structured mental model and framework for understanding and addressing the security challenges of autonomous agentic AI systems across four distinct scopes. By accurately assessing your current scope and implementing appropriate controls across all six security dimensions, organizations can confidently deploy agentic AI while managing the landscape of associated risks.

Source: https://aws.amazon.com/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/

Математическая модель нарушителя при совершении кибератаки

Моя статья)

https://link.springer.com/chapter/10.1007/978-3-032-07275-7_43

#Whitepaper
"Cambridge Taxonomy of Digital Technology Risk", 2025.

// This report builds a framework of analysis for identifying the various risks associated with the three themes to the new revolution in digital technology. Subsequently, risks are categorised into the framework of the Cambridge risk taxonomy to provide an overview of the key risk factors and uncertainties that could emerge in this new era

Большая коллекция security-отчетов

Реально огромная коллекция годовых репортов от разных вендоров. Контент разделен на категории: аналитические отчеты и отчеты-опросы.

Репозиторий пригодится не только руководителям (CIO, CISO или даже, CTO, если он отвечает за ИБ), которые следят за трендами и на их основе планируют свои годовые бюджеты, но и всем, кому нужны полезные данные для подтверждения гипотез.

Загружаем репозиторий в NotebookLM и получаем цифры, которые улетают в презентацию по защите бюджета, диплом или статью.

#MLSecOps
"InfoFlood (Information Overload) Attack:
Jailbreaking Large Language Models with Information Overload", Jun 2025.

// In this work, we identify a new vulnerability in which excessive linguistic complexity can disrupt built-in safety mechanisms-without the need for any added prefixes or suffixes-allowing attackers to elicit harmful outputs directly

⚙️Изучить на выходных: устройство фреймворка MAESTRO

Команда Института искусственного интеллекта AIRI в материале на «Хабре» рассказала о технических особенностях нового фреймворка MAESTRO. Он предназначен для построения мультиагентных систем и цифровых ассистентов на базе LLM.

Авторы описывают устройство программной платформы, а также приводят примеры использования фреймворка и рассказывают о планах по улучшению системы до конца 2026 года.

👉🏻Изучить материал