Top 10 угроз для Agentic AI
#OWASP #llm #top10

Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.

➡️AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.

➡️AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.

➡️AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.

➡️AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).

➡️AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.

➡️AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.

➡️AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.

➡️AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.

➡️AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.

➡️AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.

🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё

🌚 @poxek_ai

RAG-Anything — универсальный фреймворк для глубокого анализа. Специально для рубрики #нейрословарь подробнее о нём рассказали коллеги из лаборатории искусственного интеллекта «Криптонита».

Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных.

🔴Однако у него есть фундаментальный недостаток: классический RAG работает исключительно с текстом.

При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям.

❗️Для решения этой проблемы команда исследователей из Гонконгского университета представила RAG-Anything — универсальный фреймворк, который позволяет обрабатывать разные типы данных как единую сеть взаимосвязанных объектов.

В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей:

🔹перекрёстно-модальные связи, соединяющие разные типы данных. Например, график связывается не только с текстовой подписью, но и с фрагментом текста, где он упоминается.

🔹текстовые семантические связи, фиксирующие смысловые отношения между фрагментами текста. Например, «… как вы можете видеть на графике 1… подробнее см. в таблице 2».

🟢Объединяя эти представления, RAG-Anything создаёт единую «карту знаний» документа. Это позволяет системе проводить гибридный поиск: сочетающий в себе навигацию по структурным связям в графах и семантический поиск по смыслу.

В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций.

Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.

Ночное-полезное: 50-страничный гайд о том, как делать ИИ-агентов от Google, которые реально работают 🕺

Что внутри:
— Архитектура агента и его основные блоки;
— LLM как мозг и управляющий центр;
— Подключение инструментов и API;
— Оркестрация нескольких агентов;
— Деплой, продакшн и метрики;
— Самообучающиеся и эволюционирующие агенты;
— Пример живой системы — AlphaEvolve.

Читаем перед сном на английском или на русском 💃

И этот день, как и вчера, мы финалим искусственным интеллектом 🧠, а именно очередным руководством по безопасности ИИ от SANS. И хотя это проект, он достаточно неплохо систематизирован и, в целом, вполне интересен уже сам по себе. Там даже история с мониторингом ИИ и упомянутого утром инференса упоминается 🤔

Заметили, что я стал все чаще писать про ИИ в контексте кибербезопасности? ✍️ Это я еще себя сдерживаю, так как в новостном потоке эта тема реально стала доминирующей – чуть ли не половина всех новостей про это. Да, местами это хайп или переливание пустого в порожнее, но часто бывает немало реально полезного контента. Не все из этого релевантно для нашего региона, но многое. Так что изучайте ИИ... с разных сторон 👩‍🎓

#sans #ии #mlsecops