#MLSecOps
#Offensive_security
"Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models", Nov. 2025.

// Multi-Faceted Attack (MFA) - framework that systematically uncovers general safety vulnerabilities in leading defense-equipped VLMs, including GPT-4o, Gemini-Pro, and LlaMA 4, etc. Central to MFA is the Attention-Transfer Attack, which conceals harmful instructions inside a meta task with competing objectives. We offer a theoretical perspective grounded in reward-hacking to explain why such an attack can succeed

фазы атак на ии

OWASP + Microsoft - https://atlas.mitre.org/matrices/ATLAS
Zenity - https://ttps.ai
Nvidia - https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework
Hiddenlayer - https://hiddenlayer.com/innovation-hub/introducing-a-taxonomy-of-adversarial-prompt-engineering

#AIOps
#CogSec
#MLSecOps
"Cognitive Control Architecture (CCA): A Lifecycle Supervision Framework for Robustly Aligned AI Agents", Dec.2025.

// Method is predicated on a core insight: no matter how subtle an IPI attack, its pursuit of a malicious objective will ultimately manifest as a detectable deviation in the action trajectory, distinct from the expected legitimate plan

See also:
]-> Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
]-> https://agentdojo.spylab.ai

Большой релиз OWASP Top 10 for Agentic AI Applications 🔥.

Последние месяцы мы в команде Agentic Security Initiative собирали первый отраслевой фреймворк по безопасности агентных ИИ-систем. Над документом работали более 100 человек: ресерчеры, вендоры, представители регуляторов и институтов вроде NIST и Linux Foundation.

Мы приоритизировали риски и собрали практические меры защиты для автономных агентов, которые уже заходят в корпоративную инфраструктуру. Если вы строите AI Security-стратегию на 2026 год, из OWASP в первую очередь стоит взять именно этот документ за основу.

Ссылка на релиз.
Сегодня в 17:00 по Москве официальный запуск гайда. Ссылка на трансляцию.

У Anthropic вышло очень интересное видео на тему универсальных агентов (general-purpose agents), которое у меня максимально отзывается. Основной посыл - не нужно делать специализированных агентов, нужно делать одного качественного универсального, а его уже кастомизировать под свои задачи

Само видео (16 минут) и короткая статья по нему от businessinsider

Инженеры из Anthropic предлагают вместо набора агентов использовать скилы для агента, который изначально создан для написания кода (Claude Code). Дальше они говорят, что skills будут использовать не только инженеры, но и нетехнические специалисты - врачи, менеджеры, трейдеры и тд, которые будут кастомизировать этого агента под себя

По их логике, один general-purpose агент + библиотека skills становится “универсальной основой” для множества задач — без зоопарка спецагентов

Иными словами, такой агент - универсальный интерфейс к миру

А вот с тем, что CLI-агент подходит нетехническим специалистам, я не согласен… Все-таки инструмент достаточно специфичный. Мне кажется, что будущее действительно за универсальными агентами, но не совсем такими.
Для работы будут использоваться агенты, которые выглядят как чатовый интерфейс (как ChatGPT)

Примерно год назад наша команда загорелась идеей универсального агента GigaAgent, которого недавно представили на AIJ. Уже довольно много коллег разработчиков мне отписалось о тестировании, на AIJ и Conversations заинтересовались компании. Здесь могу только порадоваться, напомнить ставить звездочки нашему опенсорс-агенту и присылать PR :) Круто, что большие игроки тоже увидели будущее в этом подходе!

P.S. У нас большое обновление в dev ветке - MCP, RAG, долговременная память

Gartner предупредила о киберрисках при использовании ИИ-браузеров

Gartner выпустила рекомендацию для организаций по блокировке агентских ИИ-браузеров. Речь о продуктах вроде Comet от Perplexity и ChatGPT Atlas от OpenAI. Причина - высокие киберриски для корпоративных данных.

Документ называется "Кибербезопасность должна пока блокировать браузеры с ИИ". Его подготовили вице-президент по исследованиям Деннис Сюй, старший директор-аналитик Евгений Миролюбов и вице-президент-аналитик Джон Уоттс. Главная претензия - настройки по умолчанию ставят удобство выше безопасности.

https://mltimes.ai/gartner-predupredila-o-kiberriskah-pri-ispolzovanii-ii-brauzerov/

Vibranium Dome - LLM WAF for Agents

Начал проходить AI Red Teamer от Hack The Box (делают вместе с Google).

Это путь про red team-подходы к AI-системам: LLM, prompt injection, атаки на данные, evasion-атаки, безопасность AI-приложений и всё вокруг этого. Формат классический для HTB — теория + практика.

Что показалось интересным — курс довольно быстро расширяется.
Когда начинал, в пути было 5 модулей, сейчас уже 12, и часть из них добавили совсем недавно.

Текущий состав модулей:

- Fundamentals of AI
- Applications of AI in InfoSec
- Introduction to Red Teaming AI
- Prompt Injection Attacks
- LLM Output Attacks
- AI Data Attacks
- Attacking AI — Application and System
- AI Evasion — Foundations
- AI Evasion — First-Order Attacks
- AI Evasion — Sparsity Attacks
- AI Privacy (NEW)
- AI Defense (NEW)

Причём все уроки уровня — Medium / Hard, так что это не «ознакомительный курс», а достаточно плотный материал.
И с пометкой NEW - совсем свежие модули,

Сам ещё в процессе, поэтому финальные выводы делать рано. Но как структурированная обучалка по AI red teaming и безопасности ИИ в целом — выглядит интересно, плюс видно, что путь активно допиливают и расширяют.

Если тема AI security откликается — стоит глянуть.


#security #HTB #AI #RedTeam

AI-агенты летят в космос

Космические аппараты становятся слишком сложными, слишком автономными и слишком удаленными от Земли, чтобы полагаться на статические правила и наземные исследования. Мультиагентный подход к AI-разработке дает практичный, поэтапный, оперативно совместимый метод обнаружения, понимания и реагирования на аномалии — особенно на те, которые ранее не наблюдались.

Этот подход повышает надежность миссии, улучшает безопасность и готовит космические системы к реалиям работы в условиях отсутствия связи с Землей.

Такой подход, основанный на совместном мышлении, обеспечивает ряд оперативных преимуществ:

- Чувствительность к тонким закономерностям: Благодаря специализации агентов, они могут обнаруживать отклонения на ранних стадиях, которые упускаются из виду в рамках широких монолитных моделей.
- Снижение количества ложных срабатываний: Согласованность действий агентов повышает уверенность и снижает уровень шума в ходе выполнения миссии.
- Охват неизвестных неизвестных: Агенты могут отслеживать отклонения без необходимости использования предопределенных меток или исторических примеров.
- Бортовое, независимое от Земли распознавание: При развертывании на орбите агенты могут диагностировать проблемы даже при длительных перебоях в связи.

По мере расширения лунных, марсианских и космических миссий это становится структурным требованием. Миссии должны обеспечивать безопасную работу, не полагаясь исключительно на наземный контроль.

Небольшая заметка об этом от основателя стартапа, работающего над мультиагентной архитектурой для космических миссий.
https://spacenews.com/how-multi-agent-ai-can-strengthen-space-missions-against-the-unknown/