ML&|Sec Feed – Telegram
ML&|Sec Feed
914 subscribers
926 photos
57 videos
237 files
1.46K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Forwarded from Андрей
Cisco Ai Security.pdf
2.8 MB
Отчёт исследования Cisco о состоянии безопасности ИИ
Forwarded from CyberSecurityTechnologies
AdvCUA_LLM_benchmark.pdf
24.2 MB
#AIOps
#MLSecOps
#Threat_Modelling
"Code Agent can be an End-to-end System Hacker: Benchmarking Real-world Threats of Computer-use Agent", Oct. 2025.
]-> Dataset
]-> Code

// We propose AdvCUA, the first benchmark aligned with real-world TTPs in MITRE ATT&CK Enterprise Matrix, which comprises 140 tasks, including 40 direct malicious tasks, 74 TTP-based malicious tasks, and 26 end-to-end kill chains, systematically evaluates CUAs under a realistic enterprise OS security threat in a multi-host environment sandbox by hard-coded evaluation. We evaluate the existing five mainstream CUAs, including ReAct, AutoGPT, Gemini CLI, Cursor CLI, and Cursor IDE based on 8 foundation LLMs
👎1🔥1💩1
Forwarded from GitHub Community
Colace-agent-mesh — платформа, управляемая событиями, предназначенная для создания и организации работы многоагентных систем искусственного интеллекта.

Она обеспечивает бесшовную интеграцию агентов ИИ с реальными источниками данных и системами, упрощая сложные многоэтапные рабочие процессы.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from GolDBUG
https://open.aictf.sg/

Завтра начинаются соревнования,
всем удачи !)
👍2
Forwarded from GitHub Community
Mcp-context-forge — это многофункциональный шлюз, прокси-сервер и реестр MCP, который объединяет сервисы MCP и REST, объединяя обнаружение, аутентификацию, ограничение скорости, мониторинг, виртуальные серверы, мультитранспортные протоколы и дополнительный пользовательский интерфейс администратора в единую чистую конечную точку для ваших ИИ-клиентов.

Он работает как полностью совместимый сервер MCP, который можно развернуть с помощью PyPI или Docker, и масштабируется до многокластерных сред в Kubernetes с помощью федерации и кэширования на базе Redis.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
Attack_Surface_Mapping_in_Agentic_World.pdf
701.3 KB
#AIOps
#Whitepaper
"Interrogators: Attack Surface Mapping in an Agentic World", 2025.
]-> Additional resources for this research
]-> AI agent interrogation framework

// This research introduces the concept of AI agent interrogators and the open-source project Agent Interrogator, an opaque box interrogation framework to map the attack surface of agentic systems. Through Agent Interrogator, a two-stage AIassisted interrogation process is employed. This research validates the approach against test targets utilizing LangChain and Model Context Protocol to deliver agentic capabilities. The product of the interrogation is a structured profile mapping the agent's attack surface, enabling security practitioners to identify vulnerabilities such as excessive agency and conduct targeted fuzzing
Forwarded from AI SecOps
🇩🇪 Германия: руководство по пентесту LLM

📄24 сентября 2025 года Немецкий совет по кибербезопасности (Allianz für Cyber-Sicherheit, ACS) представил руководство по проведению пентестов больших языковых моделей (LLM). Документ направлен на унификацию подходов к оценке безопасности LLM и стандартизацию услуг пентеста.

Руководство описывает процесс пентестирования LLM в виде четырёх фаз:

1️⃣ Понимание бизнес-контекста и анализ текущего состояния
На этом этапе формулируются цели и задачи тестирования, определяется его объем и границы. Также проводится анализ исходного состояния системы и учитываются правовые предпосылки и ограничения, связанные с проведением пентеста.

2️⃣ Моделирование угроз, приоритизация и планирование теста
Определяются потенциальные угрозы и сценарии их реализации, проводится их ранжирование по степени значимости. На основе этого формируется план тестирования, включающий выбор приоритетных сценариев и ключевых точек проверки.

3️⃣Тестирование и документация
Выполняются практические проверки с использованием методов и инструментов пентестирования. Все действия фиксируются, результаты документируются, а оформление ведётся в соответствии с минимальными требованиями к отчетности.

4️⃣ Оценка, анализ рисков, подготовка рекомендаций и отчетность
Проводится итоговая оценка результатов тестирования, анализируются выявленные уязвимости и риски, формулируются практические рекомендации по их устранению. Итоговый отчет содержит систематизированные выводы и рекомендации для заказчика.

В приложение к руководству включены:
🔘 шаблоны и чек-листы для угроз, тестовых случаев и отчетности;
🔘 рекомендации по мерам защиты и реагированию;
🔘 обзор юридических и нормативных аспектов.

📄 Ознакомиться с руководством можно по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1🔥1
Forwarded from CyberSecurityTechnologies
Practical_Attack_on_LLM_Pruning.pdf
1.4 MB
#MLSecOps
"Fewer Weights, More Problems: A Practical Attack on LLM Pruning", 2025.
]-> Repo + threat model

// Model pruning, i.e., removing a subset of model weights, has become a prominent approach to reducing the memory footprint of LLMs during inference. While the utility and efficiency of pruning methods have improved significantly, the security implications of pruning remain underexplored. In this work, for the first time, we show that modern LLM pruning methods can be maliciously exploited. In particular, an adversary can construct a model that appears benign yet, once pruned, exhibits malicious behaviors
👍1👎1
Forwarded from GitHub Community
Compozy с лёгкостью управляет многоагентными системами искусственного интеллекта.

Платформа Compozy корпоративного уровня использует декларативный YAML для создания масштабируемых, надёжных и экономичных распределённых рабочих процессов, упрощая сложные разветвления, отладку и мониторинг для автоматизации, готовой к использованию.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI SecOps
photo_2025-10-13_13-39-12.jpg
149 KB
Фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6⃣ Управление идентификацией и доступом (IAM)
2⃣ Управление данными и приватностью
3⃣ Шифрование данных "на лету" и "на хранении"
4⃣ Регистрация событий/промптов и аудит обращений к модели
5⃣ Управление уязвимостями и патчами
6⃣ Безопасность кода и зависимостей
7⃣ Управление жизненным циклом модели (ModelOps)
8⃣ Управление обучающими данными
9⃣ Мониторинг дрейфа модели и метрик
6⃣1⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6⃣6⃣ Безопасность API и оконечных устройств
6⃣2⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6⃣3⃣ Этические и репутационные риски
6⃣4⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6⃣5⃣ Реагирование на инциденты и реагирование на утечки / атаки
6⃣6⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecure (Victor Chaplygin)
🧠 Один неверный регистр — и IDE становится точкой входа.

Поэтому всегда обновляйтесь.

В Cursor IDE нашли занятную уязвимость — CVE-2025-59944
.
Из-за чувствительности к регистру в проверках “чувствительных” файлов можно было тихо обойти встроенные guardrails — механизмы, которые должны сдерживать опасные действия AI или IDE.

📌 На macOS и Windows, где файловые системы не различают регистр, .cUrSoR/mcp.json воспринимался как новый файл и проходил без подтверждения.
Результат — перезапись ключевых конфигов и возможность удалённого выполнения кода (RCE).
И всё это без участия разработчика: атака могла прийти, например, через подключённый MCP-сервер.

Cursor закрыл дыру в 1.7, нормализовав пути и проверки. Но кейс показательный — мелкие детали превращаются в серьёзные векторы, когда IDE начинает действовать как агент 🤖

📎 Подробный разбор:
Lakera Blog
NVD Record

#Cursor #CVE202559944 #DevSecOps #AgenticTools #AIsecurity #RCE #PromptInjection
1
Forwarded from CyberSecurityTechnologies
#tools
#AIOps
#MLSecOps
Same Model, Different Hat:
Bypassing OpenAI Guardrails
https://hiddenlayer.com/innovation-hub/same-model-different-hat
]-> tools to block/detect potentially harmful model behavior

// OpenAI’s Guardrails framework is a thoughtful attempt to provide developers with modular, customizable safety tooling, but its reliance on LLM-based judges highlights a core limitation of self-policing AI systems. True AI security demands independent validation layers, continuous red teaming, and visibility into how models interpret and act on inputs