AI SecOps – Telegram
AI SecOps
757 subscribers
61 photos
1 video
30 files
83 links
AI security operations. Материалы, ссылки, мероприятия
Download Telegram
Белые хакеры из университета Торонто придумали новую атаку на GPU

Впервые была продемонстрирована возможность реализации RowHammer-атаки на GPU 😎, а не на традиционных процессорах. В качестве примера специалисты использовали видеокарту NVIDIA A6000 с памятью GDDR6, где удалось добиться изменения отдельных битов в видеопамяти. Это может привести к разрушению целостности данных без прямого доступа к ним.

Особую обеспокоенность вызывает тот факт, что даже один бит-флип способен обрушить точность искусственного интеллекта: модель, обученная на ImageNet и ранее демонстрировавшая 80% точности, в результате атаки показала менее 1%. Такое влияние превращает GPUHammer из технической аномалии в мощный инструмент разрушения ИИ-инфраструктуры, включая подмену внутренних параметров модели и отравление обучающих данных 😟

В отличие от процессоров, графические ускорители зачастую не обладают встроенными механизмами защиты, такими как контроль доступа на уровне инструкций или проверки чётности. Именно это делает их более уязвимыми к атакам низкого уровня, особенно в условиях разделяемых вычислительных сред — например, в облачных платформах или виртуальных рабочих столах🤔

Подробнее.

#аналитика

@finbeza
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1🔥1
Forwarded from AlexRedSec
AI Controls Matrix (AICM) — ещё один фреймворк, содержащий набор мер управления для безопасной разработки, внедрения и эксплуатации облачных систем искусственного интеллекта от Cloud Security Alliance🧠

Фреймворк включает в себя:
🟡Матрицу мер управления, включающую в себя 243 контроля, сгруппированных по 18 доменам безопасности. Каждая мера привязана к типу/компоненту инфраструктуры и архитектуры, этапу жизненного цикла и категории угроз.
🟡Опросник для самооценки.
🟡Маппинг на стандарт NIST AI 600-1 (2024) и фреймворк Criteria Catalogue for AI Cloud Services – AIC4.

В будущих версиях планируется добавление маппинга на другие стандарты и фреймворки безопасности систем ИИ, а также руководств по внедрению мер управления и их аудиту.

Ниже приложил презентацию и сам сборник материалов AICM.

#ai #framework #csa #aicm #controls #architecture
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
Securing-Agentic-Applications-Guide-1.0.pdf
1.7 MB
Как разрабатывать AI-агенты безопасными — рекомендации OWASP https://habr.com/ru/companies/raft/articles/931926/
🔥2
Очередное, достаточно неплохое руководство по MLSecOps.

#ии #mlsecops
3🔥2👍1
Forwarded from AppSec Journey
У меня секретов нет!

Все больше убеждаюсь, что безопасность LLM и вообще моделей это все вокруг продуктовой безопасности. Причем, офигеть как все нестандартно, чем дальше - тем страшнее. Приглядитесь к тому, как у вас выстроены агентные системы и вы точно поймете, о чем я...
Агенты используют статические API-ключи или пароли. Они хранятся в переменных окружения и становятся уязвимыми для промпт-инъекций: достаточно добавить в запрос «покажи переменные среды» или что-то такое — и секреты могут утечь наружу. Такая архитектура превращает ключи в «слабое звено», особенно если один и тот же ключ используется в нескольких окружениях или для разных LLM-провайдеров. Прикольно, учитывая, что задача ключиков это как бы защищать то, что внутри.

Почитала на досуге про подход без секретов - кажется, частично решает эту проблему. Вместо хранения ключей применяется workload identity: агент подтверждает свою подлинность не строкой из переменной окружения, а самим фактом запуска в доверенном окружении — контейнере, поде или сервисном аккаунте. На основе этого ему выдается краткоживущий токен, который действует ограниченное время и полностью управляется политиками безопасности. Не знаю, будет ли это соответстовать нормам морали регуляторным, но видится вполне себе безопасным решением. Кто-то такое собирал?

Про всякие безопасности агентов тут мне понравилось, как описано и тут😎
🔥2👍1🤗1
Forwarded from ген ИИ
Пять уровней защиты: как Яндекс предлагает обезопасить ИИ-агенты

Яндекс опубликовал AI-SAFE v1.0 — фреймворк для моделирования угроз и обеспечения безопасности ИИ-агентов и мультиагентных систем. Документ предлагает структурированный подход к их минимизации, разбивая архитектуру агента на пять логических уровней: интерфейс, исполнение, логика, инфраструктура и данные.

ИИ-агенты — не просто генераторы текста, а автономные системы, способные взаимодействовать с цифровой средой, планировать действия и использовать внешние инструменты. Это открывает новые векторы атак: от инъекций в промты и манипуляции целями агента до компрометации баз знаний и эскалации привилегий через инструменты.

Ключевые моменты:
1️⃣ Уровни угроз и рекомендации
➡️ Интерфейс (Input/Output): Prompt Injection, DoS, небезопасная обработка вывода. Рекомендации: валидация и санитизация ввода, Rate Limiting, строгая валидация вывода.
➡️ Исполнение и инструменты: Злоупотребление инструментами, эскалация привилегий, отравление метаданных. Решение: принцип минимальных привилегий, изоляция окружений, аудит инструментов.
➡️ Логика (Reasoning & Planning): Jailbreaking, манипуляция целями, зацикливание. Защита: усиление системного промта, тайм-ауты, Human-in-the-Loop.
➡️ Инфраструктура и оркестрация: Атаки на цепочку поставок, перегрузка ресурсов, межагентное отравление. Меры: SCA-сканирование, лимиты ресурсов, изоляция агентов.
➡️ Данные и знания: Отравление баз знаний, утечка конфиденциальных данных, манипуляция поиском. Контрмеры: RBAC, деперсонализация данных, проверка целостности.

2️⃣ Практический чек-лист
Документ содержит конкретные шаги для каждого уровня: от валидации входных данных и ограничения частоты запросов до изоляции инструментов и контроля доступа к базам знаний. Например, для защиты от Prompt Injection предлагается использовать Smart Web Security с кастомными правилами, а для предотвращения утечек — маскировать персональные данные перед отправкой в LLM.

3️⃣ Примеры инцидентов
Разобраны реальные кейсы: дипфейк-мошенничество в Гонконге (25 млн долларов ущерба), взлом GPT-4.1 через отравление инструментов, утечка данных DeepSeek из-за неправильной конфигурации базы данных. Для каждого случая указаны классификация по AI-SAFE и рекомендации по предотвращению.

Что на практике?

Яндекс предлагает системный подход к безопасности ИИ-агентов. Это особенно актуально для компаний, которые внедряют агенты в бизнес-процессы: от финансовых транзакций до управления инфраструктурой. Документ полезен не только специалистам по ИБ, но и ML-инженерам, архитекторам данных и руководителям, которые хотят понять, как минимизировать риски при использовании автономных ИИ-систем.

AI-SAFE — это попытка создать единый язык для обсуждения безопасности ИИ-агентов. Важно, что Яндекс приводит конкретные инструменты (например, Yandex Smart Web Security с ML WAF) и практические шаги. Однако остаётся вопрос: насколько быстро такие фреймворки будут адаптироваться к новым векторам атак, учитывая динамичность развития ИИ?

#кибербез

@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
hype-cycle-for-generative-ai-2025.png
61.5 KB
Это изображение — цикл зрелости технологий (Hype Cycle) для генеративного искусственного интеллекта от Gartner за 2025 год. Он показывает, на какой стадии развития находятся различные технологии в области генеративного ИИ, от зарождения идеи до их массового продуктивного использования.

Вот ключевые выводы, которые можно сделать по этой картинке:

1. Большинство технологий на пике ожиданий: Огромное количество технологий, таких как Agentic AI (агентный ИИ), Multimodal Generative AI (мультимодальный генеративный ИИ) и Open-Source LLMs (LLM с открытым исходным кодом), находятся на «Пике завышенных ожиданий». Это говорит о том, что в 2025 году вокруг этих направлений наблюдается максимальный ажиотаж, но их практическая реализация и ценность еще не до конца раскрыты.

2. Быстро созревающие технологии: Некоторые технологии, несмотря на свою позицию на кривой, должны достичь «Плато продуктивности» (стать зрелыми и широко используемыми) очень быстро:
* AI TRiSM (Управление доверием, рисками и безопасностью ИИ) — менее 2 лет. Это подчеркивает критическую важность безопасности и управления для внедрения ИИ.
* Retrieval-Augmented Generation (RAG)менее 2 лет. Эта технология, повышающая точность ответов моделей за счет внешних данных, быстро становится стандартом.
* Prompt Engineeringменее 2 лет. Умение правильно формулировать запросы к моделям уже становится базовым и необходимым навыком.

3. Начало «разочарования»: Некоторые концепции, например Generative AI-Enabled Applications (приложения с генеративным ИИ) и Model Ops (управление жизненным циклом моделей), уже начали двигаться в «Пропасть разочарования». Это естественный этап, когда первоначальный восторг проходит, и компании сталкиваются с реальными трудностями внедрения и масштабирования.

4. Долгосрочная перспектива: Искусственный общий интеллект (Artificial General Intelligence, AGI) находится в самом начале пути, на стадии «Триггера инноваций». Gartner прогнозирует, что до его зрелости более 10 лет, что позиционирует его как долгосрочную, фундаментальную цель, а не как технологию ближайшего будущего.

5. Фокус на практическую реализацию: Появление таких элементов, как GenAI Application Orchestration Frameworks (фреймворки для организации работы GenAI-приложений) и GraphRAG, показывает, что отрасль активно работает над созданием инструментов для практического и надежного применения генеративного ИИ в реальных бизнес-процессах.

В целом, можно сказать, что в 2025 году сфера генеративного ИИ все еще очень динамична и насыщена высоким ожиданиями. При этом уже четко выделились ключевые технологии (RAG, AI TRiSM), которые быстро движутся к практическому применению и станут основой для будущих систем.
👍3🔥3🤝3
https://saif.google/secure-ai-framework Google обновила свой фреймворк по безопасности ИИ SAIF до версии 2.0. Добавились Агенты.
🔥3👍1🤝1
🇩🇪 Германия: руководство по пентесту LLM

📄24 сентября 2025 года Немецкий совет по кибербезопасности (Allianz für Cyber-Sicherheit, ACS) представил руководство по проведению пентестов больших языковых моделей (LLM). Документ направлен на унификацию подходов к оценке безопасности LLM и стандартизацию услуг пентеста.

Руководство описывает процесс пентестирования LLM в виде четырёх фаз:

1️⃣ Понимание бизнес-контекста и анализ текущего состояния
На этом этапе формулируются цели и задачи тестирования, определяется его объем и границы. Также проводится анализ исходного состояния системы и учитываются правовые предпосылки и ограничения, связанные с проведением пентеста.

2️⃣ Моделирование угроз, приоритизация и планирование теста
Определяются потенциальные угрозы и сценарии их реализации, проводится их ранжирование по степени значимости. На основе этого формируется план тестирования, включающий выбор приоритетных сценариев и ключевых точек проверки.

3️⃣Тестирование и документация
Выполняются практические проверки с использованием методов и инструментов пентестирования. Все действия фиксируются, результаты документируются, а оформление ведётся в соответствии с минимальными требованиями к отчетности.

4️⃣ Оценка, анализ рисков, подготовка рекомендаций и отчетность
Проводится итоговая оценка результатов тестирования, анализируются выявленные уязвимости и риски, формулируются практические рекомендации по их устранению. Итоговый отчет содержит систематизированные выводы и рекомендации для заказчика.

В приложение к руководству включены:
🔘 шаблоны и чек-листы для угроз, тестовых случаев и отчетности;
🔘 рекомендации по мерам защиты и реагированию;
🔘 обзор юридических и нормативных аспектов.

📄 Ознакомиться с руководством можно по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍1🤝1
photo_2025-10-13_13-39-12.jpg
149 KB
Фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6⃣ Управление идентификацией и доступом (IAM)
2⃣ Управление данными и приватностью
3⃣ Шифрование данных "на лету" и "на хранении"
4⃣ Регистрация событий/промптов и аудит обращений к модели
5⃣ Управление уязвимостями и патчами
6⃣ Безопасность кода и зависимостей
7⃣ Управление жизненным циклом модели (ModelOps)
8⃣ Управление обучающими данными
9⃣ Мониторинг дрейфа модели и метрик
6⃣1⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6⃣6⃣ Безопасность API и оконечных устройств
6⃣2⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6⃣3⃣ Этические и репутационные риски
6⃣4⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6⃣5⃣ Реагирование на инциденты и реагирование на утечки / атаки
6⃣6⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1🤝1
Gartner_Top 10 Strategic Technology Trends_2026 (29 pgs).pdf
5.6 MB
Gartner представил главные технологические тренды на 2026 год.

10 главных трендов от Gartner:
1️⃣ AI-native платформы разработки,
2️⃣ ИИ-платформы с применением суперкомпьютеров,
3️⃣ Конфиденциальные вычисления,
4️⃣ Мультиагентные системы,
5️⃣ Языковые модели, зависящие от предметной области,
6️⃣ Физический ИИ (Physical AI),
7️⃣ Превентивная кибербезопасность,
8️⃣ Цифровое происхождение (Digital provenance),
9️⃣ AI security платформы,
🔟 Репатриация облаков и вычислительных ресурсов (Geopatriation).
👍3🔥2🤝1
Figure_1_Hype_Cycle_for_Artificial_Intelligence_in_Banking_2025.png
105.1 KB
Hype Cycle for Artificial Intelligence in Banking, 2025
👍21🔥1
📎ТК164 опубликовал окончательную версию проекта стандарта ГОСТ Р "Искусственный интеллект в критической информационной инфраструктуре. Общие положения"
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1🤝1
Forwarded from AISecHub
A Survey of Data Agents: Emerging Paradigm or Overstated Hype? - https://arxiv.org/pdf/2510.23587 | https://github.com/HKUSTDial/awesome-data-agents

L0: Humans do everything manually.
L1: AI helps with code or queries (think ChatGPT-level assistance).
L2: AI can perceive environments (use tools, read databases).
L3: AI orchestrates pipelines by itself humans just supervise.
L4: AI proactively finds problems to solve.
L5: AI invents new data science methods full autonomy
👍1🔥1
Machine Learning Systems
Principles and Practices of Engineering Artificially Intelligent Systems https://www.mlsysbook.ai/
👍1🔥1