Forwarded from ЭйАй Секур’илка
Teletype
Architecting secure enterprise AI agents with MCP
Руководство по проектированию безопасных корпоративных ИИ-агентов с использованием MCP от IBM c верификацией от Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2🤝2🆒2😁1
Forwarded from ЭйАй Секур’илка
Teletype
Защита MLLM от неявных jailbreak атак
Новый класс атак, когда отдельно текст и изображение выглядят безопасно, но их совместное сочетание несёт злонамеренный смысл
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2🔥1🤝1
Forwarded from AI Security Lab
Собрали в статье всю базу по международному регулированию ИИ и российским инициативам. Если вам есть что добавить – пишите в комментариях.
Хабр
Как мир регулирует ИИ
К 2025 году в мире искусственного интеллекта уже больше нормативных документов, чем рабочих моделей. США публикуют руководства для безопасного использования LLM, Европа принимает AI Act, в ОАЭ и...
❤1
Forwarded from CyberSecurityTechnologies
Unveiling_Attack_Vectors_in_MCP.pdf
1.1 MB
#AIOps
#MLSecOps
"Beyond the Protocol: Unveiling Attack Vectors in the Model Context Protocol (MCP) Ecosystem", 2025.
]-> Repo (MCP-Artifact)
// In this paper, we present the first end-to-end empirical evaluation of attack vectors targeting the MCP ecosystem. We identify four categories of attacks, i.e., Tool Poisoning Attacks, Puppet Attacks, Rug Pull Attacks, and Exploitation via Malicious External Resources
See also:
]-> A comprehensive security scanner for MCP servers
]-> Securing AI Agent Execution (.pdf)
#MLSecOps
"Beyond the Protocol: Unveiling Attack Vectors in the Model Context Protocol (MCP) Ecosystem", 2025.
]-> Repo (MCP-Artifact)
// In this paper, we present the first end-to-end empirical evaluation of attack vectors targeting the MCP ecosystem. We identify four categories of attacks, i.e., Tool Poisoning Attacks, Puppet Attacks, Rug Pull Attacks, and Exploitation via Malicious External Resources
See also:
]-> A comprehensive security scanner for MCP servers
]-> Securing AI Agent Execution (.pdf)
👍1
Forwarded from ЭйАй Секур’илка
Teletype
LOTL атаки с использованием локальных LLM
Как будущие устройства со встроенными LLM станут проблемой безопасности, так как злоумышленники смогут “жить за счёт LLM” (Living Off the LLM, LOLLM)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1🤝1
Elastic Search Query Generator
A buddy and I work in a MSSP SOC that uses Elastic SIEM and notice that AI tools were lagging a bit in generating decent queries. We pulled together a query generator using an AI agent, LLM, and fed it some training docs. Would be interested to see what everyone thinks - we might add more training docs to support other tools if people are interested https://querylab.prediciv.com/
Discuss on Reddit: https://ift.tt/jUiqG4R
A buddy and I work in a MSSP SOC that uses Elastic SIEM and notice that AI tools were lagging a bit in generating decent queries. We pulled together a query generator using an AI agent, LLM, and fed it some training docs. Would be interested to see what everyone thinks - we might add more training docs to support other tools if people are interested https://querylab.prediciv.com/
Discuss on Reddit: https://ift.tt/jUiqG4R
Forwarded from YDC — Pizza Powered iOS (Kirill Smirnov)
Наткнулся на интересную статью в блоге Мартина Фаулера — Agentic AI Security.
Она разбирает безопасность в работе LLM и объясняет, почему использование агентов — это не просто “умные помощники”, а ещё и новые векторы уязвимостей.
Заглавный вопрос статьи: LLM не различает данные и инструкции.
Когда агент объединяет несколько итераций текста и вызовов инструментов (MCP, внешние API, CLI и т.п.) в один большой контекст, он может “съесть” вредоносную инструкцию прямо из данных.
Korny Sietsma, автор статьи, приводит ссылки на смежные материалы и называет это "смертельной триадой" угроз:
- Sensitive Data is the core thing most attackers want - this can include things like browser cookies that open up access to other data.
- Неочевидность границ контекста — модель не знает, что безопасно, а что нет.
- Untrusted Content can include commands that the LLM might follow.
- Инъекция инструкций — злоумышленник подмешивает вредоносные команды в текст.
- External Communication allows the LLM application to send information back to the attacker.
- Автоматизация действий без контроля — агент сам выполняет то, что “кажется логичным”.
📊 В статье есть отличные диаграммы, показывающие, как LLM взаимодействует с внешним миром, инструментами и данными. Всё складывается в единую картину:
Агент — это цепочка промтов и tool-вызовов, которые не имеют встроенной защиты.
💬 Отдельно поднимается вопрос этики и порядочности поставщиков инструментов и MCP-серверов.
И рекомендуют применять все обычные проверки безопасности.
Публикация официального реестра MCP — это шаг вперёд.
Но он пока никак не администрируется на предмет безопасности или уязвимостей.
⚙️ Что можно сделать, чтобы уменьшить риски?
🧩 Вся экосистема движется к тому, чтобы LLM могла действовать самостоятельно.
Но важно понять, что пока человек остаётся самым надёжным “firewall” между ИИ и злоумышленником.
А применение подходов описанных в статье снимает львиную долю человеческого фактора.
P.S.:💡 Отдельный инсайт для меня — это Apple Containers: Linux контейнеры в macOS от Apple.
Надо будет посмотреть.
#AgenticAI #Security #LLM #PromptInjection #MCP #Containers #Claude #Apple #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
martinfowler.com
Agentic AI and Security
The serious security risks involved in using autonomous LLM applications and what we can do to mitigate them
❤2
Forwarded from Философия AI
Ура, товарищи! Наконец-то первое видео на канале, и какое! Мастер-класс по взлому ИИ агентов Артёма Семёнова, с моим скромным участием.
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!
YouTube
AISecOps или Как взломать ИИ-агента? Мастер класс Артёма Семёнова
Мастер-класс проходил в музее криптографии, спасибо ему за это (ютуб не даёт вставить ссылку, поэтому гуглим)
Также спасибо сообществу Слономойка (QR-коды есть в самом начале), и конечно Артёму Семёнову за этот мастер-класс (обязательно посмотрите репозиторий…
Также спасибо сообществу Слономойка (QR-коды есть в самом начале), и конечно Артёму Семёнову за этот мастер-класс (обязательно посмотрите репозиторий…
👍1
Forwarded from CyberSecurityTechnologies
#DFIR
#AIOps
#MLSecOps
#RAG_Security
AI Incident Response Framework, V1.0
https://github.com/cosai-oasis/ws2-defenders/blob/main/incident-response/AI%20Incident%20Response.md
// This guides defenders on proactively minimizing the impact of AI system exploitation. It details how to maintain auditability, resiliency, and rapid recovery even when a system is compromised by advanced threat actors. Also explores the unique challenges of AI incident response, emphasizing the role of forensic investigation and the complications introduced by agentic architectures, while providing concrete steps to manage this new complexity
#AIOps
#MLSecOps
#RAG_Security
AI Incident Response Framework, V1.0
https://github.com/cosai-oasis/ws2-defenders/blob/main/incident-response/AI%20Incident%20Response.md
// This guides defenders on proactively minimizing the impact of AI system exploitation. It details how to maintain auditability, resiliency, and rapid recovery even when a system is compromised by advanced threat actors. Also explores the unique challenges of AI incident response, emphasizing the role of forensic investigation and the complications introduced by agentic architectures, while providing concrete steps to manage this new complexity
🔥2
Forwarded from CyberSecurityTechnologies
Breaking_Agent_Backbones.pdf
867.3 KB
#AIOps
#MLSecOps
"Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents", Oct. 2025.
// AI agents powered by LLMs are being deployed at scale, yet we lack a systematic understanding of how the choice of backbone LLM affects agent security. The non-deterministic sequential nature of AI agents complicates security modeling, while the integration of traditional software with AI components entangles novel LLM vulnerabilities with conventional security risks. We introduce threat snapshots: a framework that isolates specific states in an agent’s execution flow where LLM vulnerabilities manifest, enabling the systematic identification and categorization of security risks that propagate from the LLM to the agent level
#MLSecOps
"Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents", Oct. 2025.
// AI agents powered by LLMs are being deployed at scale, yet we lack a systematic understanding of how the choice of backbone LLM affects agent security. The non-deterministic sequential nature of AI agents complicates security modeling, while the integration of traditional software with AI components entangles novel LLM vulnerabilities with conventional security risks. We introduce threat snapshots: a framework that isolates specific states in an agent’s execution flow where LLM vulnerabilities manifest, enabling the systematic identification and categorization of security risks that propagate from the LLM to the agent level
Forwarded from Alaid TechThread
Forwarded from Not Boring Tech
🍯 HuggingFace выложили бесплатную книгу на 200 страниц о том, как обучать нейросети с нуля — Smol Training Playbook. Это мастхев-учебник для всех, кто хочет создавать и тренировать LLM:
Сохраняйте золото — тут.
P.S. По классике, кто первый сделает перевод книги на русский и пришлёт в комменты — отправлю редкий подарок за TON. Поддержим русскоязычное комьюнити вместе💗
@notboring_tech
• Как правильно строить и оптимизировать инфраструктуру
• Как проходит обучение LLM: зачем, что и как обучать
• Как подбирать данные для предобучения
• Все современные подходы пост-тренинга
• Реальные кейсы, как строят SOTA-модели
Сохраняйте золото — тут.
P.S. По классике, кто первый сделает перевод книги на русский и пришлёт в комменты — отправлю редкий подарок за TON. Поддержим русскоязычное комьюнити вместе
@notboring_tech
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CodeCamp
This media is not supported in your browser
VIEW IN TELEGRAM
Наконец-то кто-то может свайпать за вас: фреймворк, который позволяет управлять Android- и iOS-устройствами через LLM-агентов 💃
Пишешь команду на естественном языке — и агент сам кликает по экрану, анализирует интерфейс и выполняет задачу.
— Поддерживает OpenAI, Anthropic, Gemini, Ollama и DeepSeek;
— Умеет планировать сложные сценарии из нескольких шагов;
— Делает скриншоты и анализирует их содержимое;
— Имеет CLI с дебагом и Python API для кастомных автоматизаций;
— Можно использовать даже для UI-тестирования, поиска трендов или «сохранения streak-а» в Duolingo.
Теперь-то я пройду Tinder😂
Пишешь команду на естественном языке — и агент сам кликает по экрану, анализирует интерфейс и выполняет задачу.
— Поддерживает OpenAI, Anthropic, Gemini, Ollama и DeepSeek;
— Умеет планировать сложные сценарии из нескольких шагов;
— Делает скриншоты и анализирует их содержимое;
— Имеет CLI с дебагом и Python API для кастомных автоматизаций;
— Можно использовать даже для UI-тестирования, поиска трендов или «сохранения streak-а» в Duolingo.
Теперь-то я пройду Tinder
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from Пост Лукацкого
Интересное исследование из Австралии 🇦🇺 , демонстрирующее новый тип дипфейковых атак – Face-to-Voice (FOICE). По одной фотографии жертвы синтезируется ее голос, который позволяет обходить такие системы аутентификации как WeChat Voiceprint и Microsoft Azure 🪞 И все это без каких-либо голосовых семплов жертвы. Интересные нас ждут времена – найти фото человека, под которого надо маскироваться мошенникам, гораздо проще, чем семплы его голоса или видео.
#дипфейк #аутентификация
#дипфейк #аутентификация
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI SecOps
Machine Learning Systems
Principles and Practices of Engineering Artificially Intelligent Systems https://www.mlsysbook.ai/
Principles and Practices of Engineering Artificially Intelligent Systems https://www.mlsysbook.ai/
Machine Learning Systems
ML Systems Textbook
Principles and Practices of Engineering Artificially Intelligent Systems
Forwarded from CyberSecurityTechnologies
Machine_Learning_Systems.pdf
40.9 MB
#AIOps
#MLSecOps
#Tech_book
"Machine Learning Systems:
Principles and Practices of Engineering Artificially Intelligent Systems",
School of Engineering and Applied Sciences Harvard University, Nov. 4, 2025.
// This book bridges the gap between theoretical foundations and practical engineering, emphasizing the systems perspective required to build effective AI solutions. Unlike resources that focus primarily on algorithms and model architectures, this book highlights the broader context in which ML systems operate, including data engineering, model optimization, hardware-aware training, and inference acceleration
#MLSecOps
#Tech_book
"Machine Learning Systems:
Principles and Practices of Engineering Artificially Intelligent Systems",
School of Engineering and Applied Sciences Harvard University, Nov. 4, 2025.
// This book bridges the gap between theoretical foundations and practical engineering, emphasizing the systems perspective required to build effective AI solutions. Unlike resources that focus primarily on algorithms and model architectures, this book highlights the broader context in which ML systems operate, including data engineering, model optimization, hardware-aware training, and inference acceleration
🏆2
Forwarded from AISecHub
ChearSheet_A_Practical_Guide_for_Securely_Using_third_party_MCP.pdf
980.3 KB
A Practical Guide for
Securely Using Third-Party
MCP Servers
Source: https://genai.owasp.org/resource/cheatsheet-a-practical-guide-for-securely-using-third-party-mcp-servers-1-0/
Securely Using Third-Party
MCP Servers
Source: https://genai.owasp.org/resource/cheatsheet-a-practical-guide-for-securely-using-third-party-mcp-servers-1-0/
❤1
Forwarded from AISecHub
Agents Rule of Two: A Practical Approach to AI Agent Security
At a high level, the Agents Rule of Two states that until robustness research allows us to reliably detect and refuse prompt injection, agents must satisfy no more than two of the following three properties within a session to avoid the highest impact consequences of prompt injection.
[A] An agent can process untrustworthy inputs
[B] An agent can have access to sensitive systems or private data
[C] An agent can change state or communicate externally
https://ai.meta.com/blog/practical-ai-agent-security/
At a high level, the Agents Rule of Two states that until robustness research allows us to reliably detect and refuse prompt injection, agents must satisfy no more than two of the following three properties within a session to avoid the highest impact consequences of prompt injection.
[A] An agent can process untrustworthy inputs
[B] An agent can have access to sensitive systems or private data
[C] An agent can change state or communicate externally
https://ai.meta.com/blog/practical-ai-agent-security/
❤1
Forwarded from AISecHub
2510.14113v1.pdf
10.1 MB
A NIST AI RMF-Aligned Governance Platform for Agentic AI - https://arxiv.org/pdf/2510.25863 | https://youtu.be/nwnRluWKuFs
This paper introduces the Agentic AI Governance Assurance & Trust Engine (AAGATE), a Kubernetes-native control plane designed to address the unique security and governance challenges posed by autonomous, language-model-driven agents in production.
Recognizing the limitations of traditional Application Security (AppSec) tooling for improvisational, machine-speed systems, AAGATE operationalizes the NIST AI Risk Management Framework (AI RMF). It integrates specialized security frameworks for each RMF function: the Agentic AI Threat Modeling MAESTRO framework for Map, a hybrid of OWASP’s AIVSS and SEI’s SSVC for Measure, and the Cloud Security Alliance’s Agentic AI Red Teaming Guide for Manage.
By incorporating a zero-trust service mesh, an explainable policy engine, behavioral analytics, and decentralized accountability hooks, AAGATE provides a continuous, verifiable governance solution for agentic AI, enabling safe, accountable, and scalable deployment.
The framework is further extended with DIRF for digital identity rights, LPCI defenses for logic-layer injection, and QSAF monitors for cognitive degradation, ensuring governance spans systemic, adversarial, and ethical risks.
This paper introduces the Agentic AI Governance Assurance & Trust Engine (AAGATE), a Kubernetes-native control plane designed to address the unique security and governance challenges posed by autonomous, language-model-driven agents in production.
Recognizing the limitations of traditional Application Security (AppSec) tooling for improvisational, machine-speed systems, AAGATE operationalizes the NIST AI Risk Management Framework (AI RMF). It integrates specialized security frameworks for each RMF function: the Agentic AI Threat Modeling MAESTRO framework for Map, a hybrid of OWASP’s AIVSS and SEI’s SSVC for Measure, and the Cloud Security Alliance’s Agentic AI Red Teaming Guide for Manage.
By incorporating a zero-trust service mesh, an explainable policy engine, behavioral analytics, and decentralized accountability hooks, AAGATE provides a continuous, verifiable governance solution for agentic AI, enabling safe, accountable, and scalable deployment.
The framework is further extended with DIRF for digital identity rights, LPCI defenses for logic-layer injection, and QSAF monitors for cognitive degradation, ensuring governance spans systemic, adversarial, and ethical risks.
❤1