Building Secure AI Applications.pdf
2.7 MB
Building Secure AI Applications
Всем привет!
В приложении можно скачать небольшой методический материал (~ 40 страниц), посвященный тому, на что обращать внимание при обеспечении ИБ при разработке приложений, использующих AI.
Материал основан на OWASP Top 10 для LLM:
🍭 LLM01 Prompt Injection
🍭 LLM02 Sensitive Information Disclosure
🍭 LLM03 Supply Chain
🍭 LLM04 Data and Model Poisoning
🍭 LLM05 Improper Output Handling и не только
Для каждого раздела описаны общие рекомендации по повышению уровня защищенности и перечень инструментов, которые можно использовать для автоматизации.
Дополнительно в материале представлена концептуальная архитектура с соотношением рассматриваемых угроз.
Всем привет!
В приложении можно скачать небольшой методический материал (~ 40 страниц), посвященный тому, на что обращать внимание при обеспечении ИБ при разработке приложений, использующих AI.
Материал основан на OWASP Top 10 для LLM:
🍭 LLM01 Prompt Injection
🍭 LLM02 Sensitive Information Disclosure
🍭 LLM03 Supply Chain
🍭 LLM04 Data and Model Poisoning
🍭 LLM05 Improper Output Handling и не только
Для каждого раздела описаны общие рекомендации по повышению уровня защищенности и перечень инструментов, которые можно использовать для автоматизации.
Дополнительно в материале представлена концептуальная архитектура с соотношением рассматриваемых угроз.
👍9
Использование LLM для анализа PR
Всем привет!
Как быть, если надо анализировать около 10,000 PR, создаваемых еженедельно? Вариант ответа на этот вопрос можно найти в статье от DataDog.
В ней Авторы описывают свой опыт создания BewAIre – специализированного инструмента, который позволяет определить является ли PR вредоносным.
Команда разбила задачу на 3 блока:
🍭 Управление набором данных (dataset, создание, актуализация)
🍭 Работа с «контекстными окнами» и большими размерами данных
🍭 Сокращение ложных срабатываний
Каждый из разделов очень хорошо описан в статье, включая перечень подходов, используемых Командой.
В результате у них получилось достичь приличных показателей: > 99.3% - точность, 0.03% - FP, 100% - покрытие.
Больше подробностей, включая описание «подводных камней» и lessons learned, можно найти в самой статье.
Всем привет!
Как быть, если надо анализировать около 10,000 PR, создаваемых еженедельно? Вариант ответа на этот вопрос можно найти в статье от DataDog.
В ней Авторы описывают свой опыт создания BewAIre – специализированного инструмента, который позволяет определить является ли PR вредоносным.
Команда разбила задачу на 3 блока:
🍭 Управление набором данных (dataset, создание, актуализация)
🍭 Работа с «контекстными окнами» и большими размерами данных
🍭 Сокращение ложных срабатываний
Каждый из разделов очень хорошо описан в статье, включая перечень подходов, используемых Командой.
В результате у них получилось достичь приличных показателей: > 99.3% - точность, 0.03% - FP, 100% - покрытие.
Больше подробностей, включая описание «подводных камней» и lessons learned, можно найти в самой статье.
Datadog
Detecting malicious pull requests at scale with LLMs | Datadog
Learn how Datadog’s SDLC Security team built an LLM-powered system to detect malicious pull requests at scale—without sacrificing developer velocity.
❤5👀1
Всем привет!
Обсудили на подкасте с коллегами из Crosstech Solutions Group безопасную разработку, DevSecOps, безопасность контейнерной инфраструктуры и боли-печали всех тех, кто этим занимается. Приятного просмотра (или прослушивания ☺️)
Яндекс Музыка
ВК
Rutube
Обсудили на подкасте с коллегами из Crosstech Solutions Group безопасную разработку, DevSecOps, безопасность контейнерной инфраструктуры и боли-печали всех тех, кто этим занимается. Приятного просмотра (или прослушивания ☺️)
Яндекс Музыка
ВК
Rutube
VK Видео
CrossCheck 2.0: DevSecOps — от кода до контейнера
В этом выпуске: ✦ Что мотивирует компании внедрять DevSecOps? ✦ Почему все массово переходят на контейнерную разработку? ✦И как выбрать решение по защите контейнерных сред, чтобы не ошибиться? Участники выпуска: — Руслан Субхангулов - Директор по продукту…
23❤17👍10🥰5🔥3
Web LLM attacks
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
portswigger.net
Web LLM attacks | Web Security Academy
Organizations are rushing to integrate Large Language Models (LLMs) in order to improve their online customer experience. This exposes them to web LLM ...
❤6🔥3
Understanding Linux Capability Sets
Всем привет!
Хорошей практикой для защиты контейнеров (да и не только) является ограничение Linux Capabilities, что позволяет контролировать их (контейнеров) возможности и может быть использовано для сокращения поверхности атаки.
Но как это устроено и что происходит «на самом деле»? Если вам интересно ознакомиться с базовыми концептами, то эта статья для вас!
Автор рассматривает:
🍭 «Типы» capabilities (File, Process)
🍭 Capability Sets (Bounding, Permitted, Effective)
🍭 Процесс «вычисления» итогового набора
🍭 Работа Capabilities в Kubernetes
Статья небольшая, но очень наглядная. Самое то, чтобы понять основы и принципы назначения итогового набора возможностей.
Много примеров, пояснений и диаграмм. Рекомендуем!
Всем привет!
Хорошей практикой для защиты контейнеров (да и не только) является ограничение Linux Capabilities, что позволяет контролировать их (контейнеров) возможности и может быть использовано для сокращения поверхности атаки.
Но как это устроено и что происходит «на самом деле»? Если вам интересно ознакомиться с базовыми концептами, то эта статья для вас!
Автор рассматривает:
🍭 «Типы» capabilities (File, Process)
🍭 Capability Sets (Bounding, Permitted, Effective)
🍭 Процесс «вычисления» итогового набора
🍭 Работа Capabilities в Kubernetes
Статья небольшая, но очень наглядная. Самое то, чтобы понять основы и принципы назначения итогового набора возможностей.
Много примеров, пояснений и диаграмм. Рекомендуем!
utam0k
Beyond Container Capabilities: Understanding Linux Capability Sets
👍7🗿1
React2Shell: подробный разбор
Всем привет!
Все так! Про React2Shell было очень много новостей, много всего написано, но!
Если вы по какой-то причине его пропустили или не было времени разобраться, то эта статья может быть вам полезна.
В ней ребята из Wiz очень подробно разбирают что это такое и как это работает.
Статья содержит разделы:
🍭 Introduction. Общая информация о
🍭 Exploitation in The Wild. Разбор, в котором рассматривается сокращенный пример kill chain
🍭 The Vulnerability Extends Beyond Next.js. Рассуждения о том, к чему еще можно «применить» уязвимость
🍭 PoC Breakdown. Разбор примера реализации атаки
В статье множество деталей, примеров, комментариев и ссылок.
Самое то для того, чтобы разобраться что к чему!
Всем привет!
Все так! Про React2Shell было очень много новостей, много всего написано, но!
Если вы по какой-то причине его пропустили или не было времени разобраться, то эта статья может быть вам полезна.
В ней ребята из Wiz очень подробно разбирают что это такое и как это работает.
Статья содержит разделы:
🍭 Introduction. Общая информация о
🍭 Exploitation in The Wild. Разбор, в котором рассматривается сокращенный пример kill chain
🍭 The Vulnerability Extends Beyond Next.js. Рассуждения о том, к чему еще можно «применить» уязвимость
🍭 PoC Breakdown. Разбор примера реализации атаки
В статье множество деталей, примеров, комментариев и ссылок.
Самое то для того, чтобы разобраться что к чему!
wiz.io
React2Shell Deep Dive: CVE-2025-55182 Exploit Mechanics | Wiz Blog
A technical deep dive into React2Shell (CVE-2025-55182): deserialization bugs, gadget-chains, framework-wide impact, and real-world exploitation data.
OWASP-Top-10-for-Agentic1.pdf
1.2 MB
OWASP Top 10 For Agentic Applications 2026
Всем привет!
В декабре 2025 года вышел еще один материал, посвященный безопасности при работе с AI, а именно при работе с агентами.
Документ можно скачать в приложении к посту, ~ 58 страниц для изучения.
Представлены следующие уязвимости:
🍭 ASI01: Agent Goal Hijack
🍭 ASI02: Tool Misuse & Exploitation
🍭 ASI03: Identity & Privilege Abuse
🍭 ASI04: Agentic Supply Chain Vulnerabilities
🍭 ASI05: Unexpected Code Execution (RCE)
🍭 ASI06: Memory & Context Poisoning
🍭 ASI07: Insecure Inter-Agent Communication
🍭 ASI08: Cascading Failures
🍭 ASI09: Human-Agent Trust Exploitation
🍭 ASI10: Rogue Agents
Для каждой из рассматриваемых уязвимостей приводится ее описание, примеры, примеры атак с ее «использованием», рекомендации по устранению и ссылки на полезные материалы по теме.
Дополнительно приводится соотношение рассматриваемых уязвимостей с ключевыми «логическими блоками»: Inputs, Integration/Processing и Outputs.
Всем привет!
В декабре 2025 года вышел еще один материал, посвященный безопасности при работе с AI, а именно при работе с агентами.
Документ можно скачать в приложении к посту, ~ 58 страниц для изучения.
Представлены следующие уязвимости:
🍭 ASI01: Agent Goal Hijack
🍭 ASI02: Tool Misuse & Exploitation
🍭 ASI03: Identity & Privilege Abuse
🍭 ASI04: Agentic Supply Chain Vulnerabilities
🍭 ASI05: Unexpected Code Execution (RCE)
🍭 ASI06: Memory & Context Poisoning
🍭 ASI07: Insecure Inter-Agent Communication
🍭 ASI08: Cascading Failures
🍭 ASI09: Human-Agent Trust Exploitation
🍭 ASI10: Rogue Agents
Для каждой из рассматриваемых уязвимостей приводится ее описание, примеры, примеры атак с ее «использованием», рекомендации по устранению и ссылки на полезные материалы по теме.
Дополнительно приводится соотношение рассматриваемых уязвимостей с ключевыми «логическими блоками»: Inputs, Integration/Processing и Outputs.
👍6
Forwarded from k8s (in)security (Дмитрий Евдокимов)
Прием заявок на доклады БеКон 2026 уже открыт! Единственная конференция по безопасности контейнерных технологий ждет ваших заявок ;)
И тут у нас есть нововведение. Теперь на конференции будет не
1 трек - Ингредиенты
Данный трек посвящен технологиям. Он для инженеров, кто воплощает задуманное на практике. Этот трек у нас был и в предыдущие года, и будет продолжать радовать глубокими техническими докладами.
2 трек - Рецепты
Данный трек посвящен людям, командам и процессам связанным с безопасностью контейнеров и
P.S. Как всегда будем рады обсудить и помочь сформировать заявку если у вас есть мысль/идея, но вы не уверены в ней.
P.S.S. Будем признательны за репост!
И тут у нас есть нововведение. Теперь на конференции будет не
1, а 2 трека. При этом у них есть строгое логическое разграничение.1 трек - Ингредиенты
Данный трек посвящен технологиям. Он для инженеров, кто воплощает задуманное на практике. Этот трек у нас был и в предыдущие года, и будет продолжать радовать глубокими техническими докладами.
2 трек - Рецепты
Данный трек посвящен людям, командам и процессам связанным с безопасностью контейнеров и
Kubernetes. Он для С-level, Leads, которые продумывают и выстраивают все в компании. Этот трек как раз новинка и призван расширить спектр докладов.P.S. Как всегда будем рады обсудить и помочь сформировать заявку если у вас есть мысль/идея, но вы не уверены в ней.
P.S.S. Будем признательны за репост!
👍5❤1🔥1
Grant: анализ лицензионной чистоты
Всем привет!
Есть 3 CLI утилиты – Syft, Grype и Grant. Syft создаем SBoM-файлы разных форматов как на образы контейнеров, так и на исходные тексты.
Grype получает «на вход» SBoM-файл, полученный от Syft, и предоставляет отчет о наличии уязвимостей в найденных пакетах.
Grant работает аналогично, но на выходе получается отчет, в котором собрана информация о лицензиях используемых компонентов.
Кроме этого, он «распределяет» лицензии по уровням «риска»: permissive, weak copyleft, strong copyleft.
И, конечно же, генерирует отчеты: табличный формат или JSON-файл.
Больше про Grant можно узнать в GitHub-репозитории или в официальной документации на утилиту.
P.S. На ваш взгляд - надо ли обращать внимание ИБ-специалистам на анализ лицензионной чистоты при работе с open-source или это "чья-то еще задача"?
Всем привет!
Есть 3 CLI утилиты – Syft, Grype и Grant. Syft создаем SBoM-файлы разных форматов как на образы контейнеров, так и на исходные тексты.
Grype получает «на вход» SBoM-файл, полученный от Syft, и предоставляет отчет о наличии уязвимостей в найденных пакетах.
Grant работает аналогично, но на выходе получается отчет, в котором собрана информация о лицензиях используемых компонентов.
Кроме этого, он «распределяет» лицензии по уровням «риска»: permissive, weak copyleft, strong copyleft.
И, конечно же, генерирует отчеты: табличный формат или JSON-файл.
Больше про Grant можно узнать в GitHub-репозитории или в официальной документации на утилиту.
P.S. На ваш взгляд - надо ли обращать внимание ИБ-специалистам на анализ лицензионной чистоты при работе с open-source или это "чья-то еще задача"?
GitHub
GitHub - anchore/grant: A license scanner for container images and filesystems.
A license scanner for container images and filesystems. - anchore/grant
❤9👍4
ChaosRoom: игровая симуляция Chaos Engineering
Всем привет!
Одним из способов проверить как поведет себя система «под давлением» является использование практик Chaos Engineering.
Однако, Новый Год все ближе, давления хочется все меньше…
Поэтому хотим вам сегодня рассказать про проект Chaos Room!
Он вдохновлен аналогичным проектом – KuberInvaders.
Суть проста – вы играете в игру, а в это время «умирают»
Доступно 3 игры:
🍭 Alien Shooter
🍭 Breakout
🍭 Zombie Shooter
Для запуска поддерживается AWS, Azure или Kubernetes.
Подробнее с проектом можно ознакомиться в GitHub-репозитории или вот в этой статье.
Там, помимо всего прочего, можно посмотреть, как все это выглядит ☺️
Всем привет!
Одним из способов проверить как поведет себя система «под давлением» является использование практик Chaos Engineering.
Однако, Новый Год все ближе, давления хочется все меньше…
Поэтому хотим вам сегодня рассказать про проект Chaos Room!
Он вдохновлен аналогичным проектом – KuberInvaders.
Суть проста – вы играете в игру, а в это время «умирают»
pod или виртуальные машины. Как только все мертво – вы выиграли! Доступно 3 игры:
🍭 Alien Shooter
🍭 Breakout
🍭 Zombie Shooter
Для запуска поддерживается AWS, Azure или Kubernetes.
Подробнее с проектом можно ознакомиться в GitHub-репозитории или вот в этой статье.
Там, помимо всего прочего, можно посмотреть, как все это выглядит ☺️
GitHub
GitHub - fpaparoni/chaos-room: Chaos engineering platform
Chaos engineering platform. Contribute to fpaparoni/chaos-room development by creating an account on GitHub.
Векторы атак Cloud Native приложений
Всем привет!
Одним из нюансов обеспечения информационной безопасности Cloud Native приложений является то, что «классические» подходы перестают работать.
Нет, не глобально, а, скорее, с точки зрения процессов и средств автоматизации. Другая «скорость», другие подходы, фокус на автоматизацию – это все следует учитывать.
В статье Автор рассуждает о трех (по его мнению) основных векторах атак для таких приложений.
В его список попали:
🍭 Application-Layer Attacks
🍭 Supply Chain Compromises
🍭 Stolen Cloud Identities
Для каждого вектора он приводит его описание, примеры реализации из реальной жизни. В завершении приводятся его размышления о том, что с этим можно/нужно делать.
А вы согласны с таким списком? Или на ваш взгляд в него (с точки зрения именно «ключевых» векторов) стоит что-то добавить?
Всем привет!
Одним из нюансов обеспечения информационной безопасности Cloud Native приложений является то, что «классические» подходы перестают работать.
Нет, не глобально, а, скорее, с точки зрения процессов и средств автоматизации. Другая «скорость», другие подходы, фокус на автоматизацию – это все следует учитывать.
В статье Автор рассуждает о трех (по его мнению) основных векторах атак для таких приложений.
В его список попали:
🍭 Application-Layer Attacks
🍭 Supply Chain Compromises
🍭 Stolen Cloud Identities
Для каждого вектора он приводит его описание, примеры реализации из реальной жизни. В завершении приводятся его размышления о том, что с этим можно/нужно делать.
А вы согласны с таким списком? Или на ваш взгляд в него (с точки зрения именно «ключевых» векторов) стоит что-то добавить?
ARMO
The Real Cloud Attack Vectors to Watch in 2026- ARMO
Learn the 3 most prevalent runtime threat vectors behind modern cloud breaches: application-layer attacks, supply chain compromises, and stolen cloud identities.
👍2