Forwarded from CyberSecurityTechnologies
Machine_Learning_Systems.pdf
40.9 MB
#AIOps
#MLSecOps
#Tech_book
"Machine Learning Systems:
Principles and Practices of Engineering Artificially Intelligent Systems",
School of Engineering and Applied Sciences Harvard University, Nov. 4, 2025.
// This book bridges the gap between theoretical foundations and practical engineering, emphasizing the systems perspective required to build effective AI solutions. Unlike resources that focus primarily on algorithms and model architectures, this book highlights the broader context in which ML systems operate, including data engineering, model optimization, hardware-aware training, and inference acceleration
#MLSecOps
#Tech_book
"Machine Learning Systems:
Principles and Practices of Engineering Artificially Intelligent Systems",
School of Engineering and Applied Sciences Harvard University, Nov. 4, 2025.
// This book bridges the gap between theoretical foundations and practical engineering, emphasizing the systems perspective required to build effective AI solutions. Unlike resources that focus primarily on algorithms and model architectures, this book highlights the broader context in which ML systems operate, including data engineering, model optimization, hardware-aware training, and inference acceleration
🏆2
Forwarded from AISecHub
ChearSheet_A_Practical_Guide_for_Securely_Using_third_party_MCP.pdf
980.3 KB
A Practical Guide for
Securely Using Third-Party
MCP Servers
Source: https://genai.owasp.org/resource/cheatsheet-a-practical-guide-for-securely-using-third-party-mcp-servers-1-0/
Securely Using Third-Party
MCP Servers
Source: https://genai.owasp.org/resource/cheatsheet-a-practical-guide-for-securely-using-third-party-mcp-servers-1-0/
❤1
Forwarded from AISecHub
Agents Rule of Two: A Practical Approach to AI Agent Security
At a high level, the Agents Rule of Two states that until robustness research allows us to reliably detect and refuse prompt injection, agents must satisfy no more than two of the following three properties within a session to avoid the highest impact consequences of prompt injection.
[A] An agent can process untrustworthy inputs
[B] An agent can have access to sensitive systems or private data
[C] An agent can change state or communicate externally
https://ai.meta.com/blog/practical-ai-agent-security/
At a high level, the Agents Rule of Two states that until robustness research allows us to reliably detect and refuse prompt injection, agents must satisfy no more than two of the following three properties within a session to avoid the highest impact consequences of prompt injection.
[A] An agent can process untrustworthy inputs
[B] An agent can have access to sensitive systems or private data
[C] An agent can change state or communicate externally
https://ai.meta.com/blog/practical-ai-agent-security/
❤1
Forwarded from AISecHub
2510.14113v1.pdf
10.1 MB
A NIST AI RMF-Aligned Governance Platform for Agentic AI - https://arxiv.org/pdf/2510.25863 | https://youtu.be/nwnRluWKuFs
This paper introduces the Agentic AI Governance Assurance & Trust Engine (AAGATE), a Kubernetes-native control plane designed to address the unique security and governance challenges posed by autonomous, language-model-driven agents in production.
Recognizing the limitations of traditional Application Security (AppSec) tooling for improvisational, machine-speed systems, AAGATE operationalizes the NIST AI Risk Management Framework (AI RMF). It integrates specialized security frameworks for each RMF function: the Agentic AI Threat Modeling MAESTRO framework for Map, a hybrid of OWASP’s AIVSS and SEI’s SSVC for Measure, and the Cloud Security Alliance’s Agentic AI Red Teaming Guide for Manage.
By incorporating a zero-trust service mesh, an explainable policy engine, behavioral analytics, and decentralized accountability hooks, AAGATE provides a continuous, verifiable governance solution for agentic AI, enabling safe, accountable, and scalable deployment.
The framework is further extended with DIRF for digital identity rights, LPCI defenses for logic-layer injection, and QSAF monitors for cognitive degradation, ensuring governance spans systemic, adversarial, and ethical risks.
This paper introduces the Agentic AI Governance Assurance & Trust Engine (AAGATE), a Kubernetes-native control plane designed to address the unique security and governance challenges posed by autonomous, language-model-driven agents in production.
Recognizing the limitations of traditional Application Security (AppSec) tooling for improvisational, machine-speed systems, AAGATE operationalizes the NIST AI Risk Management Framework (AI RMF). It integrates specialized security frameworks for each RMF function: the Agentic AI Threat Modeling MAESTRO framework for Map, a hybrid of OWASP’s AIVSS and SEI’s SSVC for Measure, and the Cloud Security Alliance’s Agentic AI Red Teaming Guide for Manage.
By incorporating a zero-trust service mesh, an explainable policy engine, behavioral analytics, and decentralized accountability hooks, AAGATE provides a continuous, verifiable governance solution for agentic AI, enabling safe, accountable, and scalable deployment.
The framework is further extended with DIRF for digital identity rights, LPCI defenses for logic-layer injection, and QSAF monitors for cognitive degradation, ensuring governance spans systemic, adversarial, and ethical risks.
❤1
Forwarded from AISecHub
Artificial Intelligence in Cybersecurity: Using AI for Port Scanning
Nmap has been the gold standard of network scanning for decades, and over this time, it has obtained hundreds of command-line options and NSE noscripts. It’s great from one side, you can tailor the command for your needs, but on the other side, it requires expertise. What if you could simply tell an AI in plain English what you want to discover, and have it automatically select the right Nmap commands, parse the results, and identify security issues?
That’s exactly what the LLM-Tools-Nmap utility does. Basically, it bridges the gap between Large Language Models (LLMs) and Nmap.
https://hackers-arise.com/artificial-intelligence-in-cybersecurity-using-ai-for-port-scanning/
https://github.com/peter-hackertarget/llm-tools-nmap
Nmap has been the gold standard of network scanning for decades, and over this time, it has obtained hundreds of command-line options and NSE noscripts. It’s great from one side, you can tailor the command for your needs, but on the other side, it requires expertise. What if you could simply tell an AI in plain English what you want to discover, and have it automatically select the right Nmap commands, parse the results, and identify security issues?
That’s exactly what the LLM-Tools-Nmap utility does. Basically, it bridges the gap between Large Language Models (LLMs) and Nmap.
https://hackers-arise.com/artificial-intelligence-in-cybersecurity-using-ai-for-port-scanning/
https://github.com/peter-hackertarget/llm-tools-nmap
Forwarded from Кот на яблоне
#LLMSEC #vibecoding
Интересный разбор вайбкодинга со стороны безопасности: https://baldur.dk/blog/vibecoding-and-the-illusion-of-security.html
Интересный разбор вайбкодинга со стороны безопасности: https://baldur.dk/blog/vibecoding-and-the-illusion-of-security.html
baldur.dk
BALDUR. - Security Consultancy
Vibecoding is fast, but it is secure? We tested current state of the art LLM models against a common security task, namely the MFA implemented in your applications.
👍1👎1
Forwarded from CyberSecurityTechnologies
RAG_Defender.pdf
629.9 KB
#tools
#RAG_Security
"Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems", Nov. 2025.
]-> https://github.com/SecAI-Lab/RAGDefender
// RAGDefender - efficient defense mechanism designed to protect Retrieval-Augmented Generation (RAG) systems from knowledge corruption attacks such as PoisonedRAG, Blind, and GARAG. It detects and isolates poisoned documents in retrieved contexts without requiring additional model training or fine-tuning
#RAG_Security
"Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems", Nov. 2025.
]-> https://github.com/SecAI-Lab/RAGDefender
// RAGDefender - efficient defense mechanism designed to protect Retrieval-Augmented Generation (RAG) systems from knowledge corruption attacks such as PoisonedRAG, Blind, and GARAG. It detects and isolates poisoned documents in retrieved contexts without requiring additional model training or fine-tuning
Forwarded from Data Secrets
Cache-to-Cache: занятная статья о том, как модели могут общаться на "собственном языке"
Работа очень напоминает папиру от Microsoft, вышедшую примерно год назад (наш разбор). И все-таки есть ключевое отличие: если у майкрософтов получилось научить общаться без токенов только разные экземпляры одной и той же модели, то здесь предложен способ, который работает для любой пары моделек, даже из разных семейств, от разных компаний и разных по архитектуре.
Немножко контекста. Когда два агента общаются мультимодельной системе, они обычно делают это текстом. Это довольно неэффективно, потому что вообще-то у каждой модели есть Key-Value Cache – внутренние состояния внимания, хранящие, по сути, всю информацию о мыслях модели. И вот если бы агенты научились общаться не токенами, а именно KV-кэшем, это было бы в разы быстрее, а информация была бы полнее.
Так появляется Cache-to-Cache (C2C) – парадигма прямого обмена смыслом, а не словами. Источник (Sharer) передаёт свой кэш, а получатель (Receiver) через нейросеть-проектор встраивает этот кэш в своё пространство.
Напрямую, без проектора, это сделать бы не получилось, потому что у разных моделей разное скрытое пространство. Поэтому авторы и обучили Projection module, который как бы соединяет кеши Sharer и Receiver в единый эмбеддинг, понятный обеим моделькам. Кроме Projection module в протоколе еще появляется weighting module, который решает, какую информацию вообще стоит передавать от Sharer.
Что это дает?
1. Скорость, очевидно. Относительно Text-to-Text все происходит в 2-3 раза быстрее.
2. Прирост к точности. Если объединить две модели таким образом и поставить их решать одну задачу, метрика подлетает в среднем на 5% относительно случая, когда модели также объединяются, но общаются текстом.
То есть: обмениваясь кэшем, модели действительно лучше понимают друг друга, чем когда обмениваются токенами. Это крутой результат.
Большой практический минус в том, что подход не универсальный. Для каждой пары моделек придется обучать свой "мост". Там всего несколько MLP слоев, но все же. Ну и если у моделей совсем разные токенизаторы – тоже запара, придется делать Token alignment.
GitHub
Статья
Работа очень напоминает папиру от Microsoft, вышедшую примерно год назад (наш разбор). И все-таки есть ключевое отличие: если у майкрософтов получилось научить общаться без токенов только разные экземпляры одной и той же модели, то здесь предложен способ, который работает для любой пары моделек, даже из разных семейств, от разных компаний и разных по архитектуре.
Немножко контекста. Когда два агента общаются мультимодельной системе, они обычно делают это текстом. Это довольно неэффективно, потому что вообще-то у каждой модели есть Key-Value Cache – внутренние состояния внимания, хранящие, по сути, всю информацию о мыслях модели. И вот если бы агенты научились общаться не токенами, а именно KV-кэшем, это было бы в разы быстрее, а информация была бы полнее.
Так появляется Cache-to-Cache (C2C) – парадигма прямого обмена смыслом, а не словами. Источник (Sharer) передаёт свой кэш, а получатель (Receiver) через нейросеть-проектор встраивает этот кэш в своё пространство.
Напрямую, без проектора, это сделать бы не получилось, потому что у разных моделей разное скрытое пространство. Поэтому авторы и обучили Projection module, который как бы соединяет кеши Sharer и Receiver в единый эмбеддинг, понятный обеим моделькам. Кроме Projection module в протоколе еще появляется weighting module, который решает, какую информацию вообще стоит передавать от Sharer.
Что это дает?
1. Скорость, очевидно. Относительно Text-to-Text все происходит в 2-3 раза быстрее.
2. Прирост к точности. Если объединить две модели таким образом и поставить их решать одну задачу, метрика подлетает в среднем на 5% относительно случая, когда модели также объединяются, но общаются текстом.
То есть: обмениваясь кэшем, модели действительно лучше понимают друг друга, чем когда обмениваются токенами. Это крутой результат.
Большой практический минус в том, что подход не универсальный. Для каждой пары моделек придется обучать свой "мост". Там всего несколько MLP слоев, но все же. Ну и если у моделей совсем разные токенизаторы – тоже запара, придется делать Token alignment.
GitHub
Статья
🔥2
Forwarded from CyberSecurityTechnologies
Whisper_Leak_SCA.pdf
463.4 KB
#SCA
#MLSecOps
"Whisper Leak: a side-channel attack on Large Language Models", Nov. 2025.
]-> https://github.com/yo-yo-yo-jbo/whisper_leak
// Whisper Leak - side-channel attack that infers user prompt topics from encrypted LLM traffic by analyzing packet size and timing patterns in streaming responses. Despite TLS encryption protecting content, these metadata patterns leak sufficient information to enable topic classification
#MLSecOps
"Whisper Leak: a side-channel attack on Large Language Models", Nov. 2025.
]-> https://github.com/yo-yo-yo-jbo/whisper_leak
// Whisper Leak - side-channel attack that infers user prompt topics from encrypted LLM traffic by analyzing packet size and timing patterns in streaming responses. Despite TLS encryption protecting content, these metadata patterns leak sufficient information to enable topic classification
🔥1
Forwarded from AGI Security
Хабр
Meta и исследователи из OpenAI: новые подходы к защите LLM от prompt injection
Команда AI for Devs подготовила перевод краткой выжимки свежих статей о безопасности LLM. Meta предлагает «Правило двух» — архитектурный принцип, ограничивающий права AI-агентов, чтобы защитить их от...
Forwarded from CyberSecurityTechnologies
Open_Model_Vuln_Analysis.pdf
947.9 KB
#AIOps
#Research
#MLSecOps
"Death by a Thousand Prompts: Open Model Vulnerability Analysis", Nov. 2025.
// We tested the safety and security postures of eight open-weight LLMs to identify vulnerabilities that may impact subsequent fine-tuning and deployment. Using automated adversarial testing, we measured each model’s resilience against single-turn and multi-turn prompt injection and jailbreak attacks..
#Research
#MLSecOps
"Death by a Thousand Prompts: Open Model Vulnerability Analysis", Nov. 2025.
// We tested the safety and security postures of eight open-weight LLMs to identify vulnerabilities that may impact subsequent fine-tuning and deployment. Using automated adversarial testing, we measured each model’s resilience against single-turn and multi-turn prompt injection and jailbreak attacks..
👍3🔥2👎1🥱1
Forwarded from CyberSecurityTechnologies
Security_Analysis_AgenticAI_Protocols.pdf
979.4 KB
#AIOps
#Research
"Security Analysis of Agentic AI Communication Protocols: A Comparative Evaluation", Nov. 2025.
// This paper presents the first empirical, comparative security analysis of the official CORAL implementation and a high-fidelity, SDK-based ACP implementation, benchmarked against a literature-based evaluation of A2A
#Research
"Security Analysis of Agentic AI Communication Protocols: A Comparative Evaluation", Nov. 2025.
// This paper presents the first empirical, comparative security analysis of the official CORAL implementation and a high-fidelity, SDK-based ACP implementation, benchmarked against a literature-based evaluation of A2A
👍2🔥2👎1💩1🆒1
Forwarded from CyberSecurityTechnologies
Building_Scalable_DaC_Pipelines.pdf
444.4 KB
#DevOps
#Whitepaper
"Building Scalable Detection-as-Code Pipelines with Agentic Validation and Refinement", Aug. 2025.
// The proposed DaC pipeline uses LLMs for logic conversion, variant analysis, and simulation testing via Atomic Red Team, with queries executed against Splunk to measure true positives and false negatives. This paper addresses the pressing need for scalable automation in detection engineering to counter evolving cyber threats
#Whitepaper
"Building Scalable Detection-as-Code Pipelines with Agentic Validation and Refinement", Aug. 2025.
// The proposed DaC pipeline uses LLMs for logic conversion, variant analysis, and simulation testing via Atomic Red Team, with queries executed against Splunk to measure true positives and false negatives. This paper addresses the pressing need for scalable automation in detection engineering to counter evolving cyber threats
🔥2❤1
Forwarded from 御魂Hacker_🇨🇳-军火库 (黑 大帅🇨🇳)
https://github.com/itsOwen/CyberScraper-2077
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
#github #tools
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
#github #tools
❤1
Forwarded from Deleted Account
New Report Warns of LLM-Enhanced Cyber Threats: Polymorphic Malware, Customer
https://ift.tt/eaGp5ZO
https://ift.tt/eaGp5ZO
Socket
New Report Warns of LLM-Enhanced Cyber Threats: Polymorphic ...
A new report explores how advancements in LLMs are enhancing cyber threats, including polymorphic malware, personalized spearphishing, and the risk of...
Forwarded from Похек AI (ОТПУСК | Сергей Зыбнев)
Top 10 угроз для Agentic AI
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
➡️ AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
➡️ AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
➡️ AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
➡️ AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
➡️ AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
➡️ AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
➡️ AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
➡️ AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
➡️ AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
➡️ AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
🔗 Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё
🌚 @poxek_ai
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
Forwarded from Криптонит. Разработка, наука, шифрование
RAG-Anything — универсальный фреймворк для глубокого анализа. Специально для рубрики #нейрословарь подробнее о нём рассказали коллеги из лаборатории искусственного интеллекта «Криптонита».
Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных.
🔴 Однако у него есть фундаментальный недостаток: классический RAG работает исключительно с текстом.
При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям.
❗️ Для решения этой проблемы команда исследователей из Гонконгского университета представила RAG-Anything — универсальный фреймворк, который позволяет обрабатывать разные типы данных как единую сеть взаимосвязанных объектов.
В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей:
🔹 перекрёстно-модальные связи, соединяющие разные типы данных. Например, график связывается не только с текстовой подписью, но и с фрагментом текста, где он упоминается.
🔹 текстовые семантические связи, фиксирующие смысловые отношения между фрагментами текста. Например, «… как вы можете видеть на графике 1… подробнее см. в таблице 2».
🟢 Объединяя эти представления, RAG-Anything создаёт единую «карту знаний» документа. Это позволяет системе проводить гибридный поиск: сочетающий в себе навигацию по структурным связям в графах и семантический поиск по смыслу.
В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций.
Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.
Метод RAG (Retrieval-Augmented Generation, или извлечение и расширенная генерация) позволяет большим языковым моделям обращаться к внешним базам данных.
При этом в научных статьях, отчётах и технической документации значительная часть данных представлена в виде изображений: графиков, формул, фотографий, карт. Поэтому традиционные системы ИИ либо игнорируют такую информацию, либо ограничиваются анализом подписей к изображениям.
В основе этой мультимодальной системы лежит стратегия двойного графа (dual-graph construction), которая создаёт два типа связей:
В результате на сложный запрос ИИ может дать более полный и корректный ответ, собрав фактические данные не только из текста, но и из соответствующих иллюстраций.
Это расширяет возможности ИИ в медицине, финансовой аналитике, анализе технической документации и во многих других областях, где критически важна полнота информации.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1👨💻1