🤖💣 [Эксперименты]: ИИ против пентестеров

Что будет, если выпустить автономный AI-агент в настоящий enterprise-контур и сравнить его с живыми профессиональными пентестерами?

Не CTF или лаборатории, а реальная прод-сеть на ~8 000 хостов.

🔬 Само исследование

Команда из Stanford и CMU впервые сравнила:
👨‍💻 10 опытных пентестеров
🤖 несколько автономных AI-агентов
🏫 живую университетскую инфраструктуру
- 12 подсетей, VPN, Kerberos
- Linux, Windows, IoT, embedded
- IDS, EDR, патчи, реальные пользователи

Результаты фиксировались, проверялись и реально закрывались IT-службой.

🧠 ARTEMIS не «LLM с nmap»

В качестве агента использовался ARTEMIS: мультиагентный red-team-фреймворк.

Он состоит из:
🧑‍✈️ supervisor-агента (планирует атаку)
🐝 роя субагентов (работают параллельно)
🧪 триаж-модуля (проверка и классификация багов)
🧠 долгоживущей памяти и динамических промптов

Важно: ARTEMIS лишь организует работу моделей.

📊 Результат

ARTEMIS:
🥈 2-е место в общем рейтинге
🚨 обогнал 9 из 10 живых пентестеров
🔍 нашёл 9 валидных уязвимостей
✅ 82% находок реальные баги

Другие агенты (Codex, CyAgent, MAPTA) либо показали слабый результат, либо вообще не справились.
👉 Выиграла не модель.
👉 Выиграла архитектура агента.

⚔️ Люди vs ИИ: в чём разница

👨‍💻 Люди
- сильны в GUI и браузерах
- полагаются на опыт и «чутьё»
- не умеют атаковать параллельно

🤖 ARTEMIS
- атакует десятки целей одновременно
- не устаёт и не забывает
- уверенно работает в CLI

Забавный момент:
люди не смогли открыть старый iDRAC из-за TLS, а  ARTEMIS просто использовал curl -k и получил доступ.

⚠️ Ограничения ИИ

- больше false positive
- плохо работает с GUI
- иногда «рано сдаёт работу», не докручивая цепочку до RCE

Однако кажется, что временные проблемы агентов.

💰 Самая неприятная часть

👨‍💻 пентестер в США: ~$125 000/год
🤖 ARTEMIS (GPT-5): $18/час ($37 000/год)

ИИ уже сейчас в 3–4 раза дешевле человека.

🧠 Главный вывод

ИИ делает атаки масштабируемыми.

А значит, такие агенты будут у атакующих. Защитникам нужно учиться думать как AI-red team.

🔗 Исходники ARTEMIS уже выложены: 👉 https://github.com/Stanford-Trinity/ARTEMIS

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #Pentest #RedTeam #CyberSecurity #AIagents #OffensiveSecurity #CISO #AppSec #Infosec

🧠 Как взломать нейросеть, не трогая её весов

Когда говорят об атаках на ИИ, в первую очередь вспоминают про два сценария:
🔐 либо атакующий крадёт веса модели,
🎯 либо подсовывает ей очевидные adversarial-примеры с шумом, которые выглядят странно даже для человека.

Но есть нще множество других уязвимостей. Например, нейросеть можно системно ломать, не имея доступа ни к весам, ни к обучающим данным, и при этом атака будет выглядеть как «нормальная работа системы».

🔧 Как выглядит типичная AI-система

Если отбросить маркетинг, почти любая production-система с ИИ устроена примерно одинаково:
1️⃣ Источник данных: камера, микрофон, лог, поток транзакций
2️⃣ Предобработка: драйверы, кодеки, SDK, нормализация
3️⃣ Модель, чаще всего закрытая и недоступная извне
4️⃣ Бизнес-логика: принимает решения на основе вывода модели

Второй пункт часто считают «технической деталью», а не частью attack surface, однако именно здесь находится точка входа атаки про которую пойдет речь.

🎯 В чём идея

Ключевая мысль:

🧩 Если атакующий управляет тем, как данные подаются в модель,
он управляет решениями модели, не трогая её веса.

Атака строится так, чтобы:
✅ данные выглядели валидными
✅ человек визуально или логически не замечал изменений
✅ инфраструктура не генерировала ошибок
❌ модель начинала систематически ошибаться

🪜 Атака шаг за шагом

🔹 Шаг 1. Модель
Атакующий:
- не знает архитектуру 🧠
- не имеет доступа к весам 🔒
- не управляет обучением 📚

🔹 Шаг 2. Контроль над ранним этапом обработки
Зато атакующий может влиять на компонент, который формально не считается частью ИИ:
📷 прошивка камеры
🎞️ видеокодек
🧩 библиотека нормализации
⚙️ edge-модуль
🌐 прокси перед моделью

Эти элементы обычно:
работают автоматически
считаются доверенными
редко проходят security-аудит как часть ML-системы

🔹 Шаг 3. Атакуют трансформацию, а не модель
Дальше атакующий оптимизирует преобразование входных данных.

🎯 Цель:
минимально изменить вход
сохранить «нормальный» вид для человека
сломать признаки, на которых обучалась модель

В результате модель:
🚫 перестаёт видеть объекты
🔀 путает классы
🙈 игнорирует нужные сигналы
При этом inference работает штатно, а ошибки выглядят «естественными».

🔹 Шаг 4. Масштабирование атаки
Атака оказывается универсальной.
⚠️ Одна трансформация:
работает на тысячах входов
сохраняется при смене сцен
часто переживает дообучение модели
Фактически, один скомпрометированный препроцессор начинает определять, что именно “видит” ИИ.

🧪 Почему это не классические adversarial examples
Классические adversarial-атаки:
- хрупкие
- плохо масштабируются
- ломаются при изменении модели

Здесь же речь идёт об инфраструктурной атаке:
встроенной в pipeline

По сути 🧨 supply-chain атака на AI-систему.

🌍 Практические сценарии

📹 Видеонаблюдение
Человек видит сцену,
ИИ «не видит» людей или предметы.

💳 Антифрод
Транзакции выглядят валидно,
но модель не распознаёт мошенничество.

🏥 Медицина
Изображение корректно,
но патология «исчезает» для ИИ, влияя на приоритезацию.

Во всех случаях это выглядит как деградация качества, а не как атака.

➡️ Пока внимание сосредоточено на весах и датасетах, реальные атаки уходят в инфраструктуру вокруг модели. Именно там сегодня находится самая недооценённая поверхность атаки.

🔗 Оригинальная работа:
https://arxiv.org/abs/2512.06914

Stay secure and read SecureTechTalks 📚

#AISecurity #MachineLearning #CyberSecurity #AdversarialAI #SupplyChainSecurity #AppSec #Infosec #ComputerVision #MLSecurity

🧠🛡️ LLM помогает находить баги в смарт-контрактах

Смарт-контракты одна из самых сложных и рискованных частей Web3-экосистем. Их ошибки это не просто «падение системы», а потерянные миллионы долларов для пользователей.

🎯 Обычные статические анализаторы вроде Slither не справляются: они генерируют массу ложных срабатываний или пропускают «нестандартные» уязвимости, когда логика контракта уходит от шаблонов.

Исследователи из Georgia Tech предложили интересную альтернативу: систему LLMBugScanner, в которой не одна LLM, а группа LLM, работают в связке и голосует за результаты.

🧪 Одиночные модели не панацея

Если запустить одну модель (даже fine-tuned), она может сработать на одни типы ошибок, но провалиться на других:
🔹 Модели хорошо находят наборные, стандартные баги вроде integer overflow, но «слепнут» на контекст логики.
🔹 Результаты могут отличаться от прогона к прогону, потому что модель непоследовательна.
🔹 Fine-tuning помогает на одних данных, но портит результаты на других.

Это типичная проблема: LLM понимают шаблоны, но не логику, семантику и нюансы исполнения кода.

🧩 LLMBugScanner

Чтобы устранить вышеупомянутые ограничения, реализована архитектура LLMBugScanner, которая делает две вещи:

1) 🎯 Адаптация к контексту смарт-контрактов
Модели проходят двухступенчатое fine-tuning-обучение:
На большом датасете Solidity-контрактов с отмеченными типами уязвимостей, чтобы понять общий «язык» и паттерны Ethereum-кода.

На маленьком датасете с CVE-контрактами, чтобы научиться опознавать конкретные баги и описывать их.

📌 В результате модели перестают постоянно неправиль­но классифицировать ошибки (например, путать проблемы доступа с арифметическими).

2) 🤝 Коллективное голосование моделей
Вместо того чтобы полагаться на одну «умную» сеть, LLMBugScanner запускает пять разных моделей, каждая анализирует контракт, а затем результаты объединяются через систему голосования:
🔹 Weighted Voting: сильные модели «весомее»
🔹 Priority Voting: решает конфликты по приоритету моделей

Итог: система ловит больше багов и с меньшим шумом, чем любая модель по отдельности.

📊  Тестирование

Команда проанализировала 108 реальных смарт-контрактов с известными уязвимостями из базы CVE. Результаты:
🔥 Ensemble-подход поднял точность обнаружения до ~60 % в топ-5 выводов, что на ~19 % выше, чем у одной лучшей модели.

🧠 Преимущества и ограничения

✅ Групповой разум работает лучше, чем одиночные модели.
✅ Снижается влияние случайных ошибок и индивидуальных слабостей моделей.
✅ Лучше охватываются разные типы уязвимостей.

Ограничения:
⚠️ Некоторые редкие классы ошибок (например, сложные ошибки доступа или логической структуры) всё ещё остаются трудными для обнаружения даже в ансамбле.
⚠️ Около 10 % выводов моделей всё ещё могут содержать «галлюцинации».

📌 Ссылка на исследование
🔗 https://arxiv.org/abs/2512.02069

Stay secure and read SecureTechTalks 📚

#CyberSec #Web3Security #SmartContractAudit #LLM #AIinSecurity #DeFi #Blockchain #SecureTechTalks #BugBounty

🧨 KICS: как искать уязвимости на этапе разработки

Многие думают, что безопасность начинается на этапе SAST или pentest’а.  Но большинство уязвимостей появляются ещё до первой строки бизнес-кода, например в Kubernetes YAML.

🔍 Что такое KICS?

KICS (Keeping Infrastructure as Code Secure) - open-source инструмент от Checkmarx для анализа Infrastructure as Code.

KICS ищет security-ошибки, misconfiguration и опасные паттерны в IaC-файлах до деплоя, пока всё ещё можно починить одной строкой.

📦 Поддерживаемые форматы:
- Terraform
- Kubernetes (YAML)
- Helm
- Dockerfile
- Ansible
- CloudFormation
- ARM Templates
- Pulumi
- Serverless

Если у вас cloud, CI/CD и DevOps, то вы уже в зоне риска, а KICS может стать вашим ранним радаром.

🔥 KICS не «ещё один линтер»

❌ Это не форматтер
❌ Это не просто best practices
❌ Это не SAST

KICS проверяет реальные security-риски, а не стиль или синтаксис.

Он смотрит на инфраструктуру глазами атакующего и задаёт неприятные вопросы ещё до деплоя.

🧠 Принцип работы

KICS использует:
🔍 предопределённые security-queries
🧩 разбор IaC-структур
🛠️ rule-based движок
📊 модель критичности (Low → Critical)
Каждая находка это:
- описание риска
- уровень критичности
- ссылка на best practice
- рекомендации по исправлению

📡 Типичный сценарий

DevOps-пайплайн:
🧑‍💻 Dev пишет Terraform / YAML
🔁 PR уходит в Git
⚙️ CI запускает KICS
🚨 KICS находит опасные конфигурации
❌ Pipeline падает
🔧 Конфиг исправляется
✅ Только потом деплой
Security shift-left без конфликтов и ночных инцидентов.

🧱 Архитектура и возможности
🧩 CLI-инструмент
🧠 Более 1000 security-правил
🔄 Простая интеграция в CI/CD
📄 JSON / SARIF / HTML отчёты
🛠️ Кастомные правила
🌍 Активное сообщество
🔓 Полный open-source
Работает быстро, масштабируется без сюрпризов.

⚠️ Минусы (куда без них)

📚 Некоторые правила избыточно строгие
🧠 Нет понимания бизнес-контекста
❌ Не заменяет SAST / DAST
🔧 Требует тюнинга под конкретную среду

Однако для инструмента ранней стадии это ожидаемо и нормально.

🔗 GitHub: https://github.com/Checkmarx/kics

Stay secure and read SecureTechTalks 📚

#KICS #IaC #DevSecOps #CloudSecurity #OpenSource #Terraform #Kubernetes #AppSec #ShiftLeft #SecureTechTalks

🧠⚛️ Квантовый ИИ против кибератак: хайп или рабочий инструмент?

Когда говорят о квантовых вычислениях в кибербезопасности, обычно рисуют две крайности:
🔮 «Квантовый компьютер взломает всё»
или
😒 «Это бесполезная игрушка для физиков»

Но что если квантовые технологии уже сейчас могут чуть-чуть, но стабильно улучшать детектирование атак в реалистичных условиях?

🎯 Проблематика SOC

Современные системы детектирования атак живут в крайне нестабильной среде:
📉 Дрейф данных: сетевой трафик и поведение пользователей постоянно меняются
⚖️ Дисбаланс классов: атак мало, легитимных событий много
🎭 Пограничные случаи: атака выглядит почти как нормальное поведение
🧱 Жёсткие бюджеты: по признакам, latency и вычислениям

Даже хорошо настроенные ML-модели пропускают редкие атаки или начинают генерировать ложные срабатывания.

Ключевой вопрос:
👉 Можно ли улучшить границу принятия решений, не раздувая модель и инфраструктуру?

⚛️ Квантовая польза

Важное уточнение:
❌ квантовые компьютеры не ускоряют ML «в лоб»
❌ они не заменяют нейросети
❌ они шумные, маленькие и ограниченные
Но у них есть одно интересное свойство 👇

Квантовые схемы умеют строить очень сложную геометрию разделяющей поверхности, используя минимальное число параметров и крайне компактное представление признаков. Для этого требуется всего несколько кубитов.

И дело не в скорости, а в форме decision boundary.

🧩 Архитектура

Вместо попытки «засунуть всё в квантовый компьютер» можно использовать гибридный подход:
🔹 Шаг 1. Классический ML
Компактная классическая модель:
- сжимает исходные данные
- устраняет шум
- формирует низкоразмерное, устойчивое представление

💡 Квантовая часть получает уже осмысленные признаки.

🔹 Шаг 2. Квантовая «голова» (2–4 кубита)
Дальше возможны два сценария.

🧠 Квантовое ядро + SVM
- квантовая схема строит нелинейное ядро
- классический SVM ищет оптимальную границу
- квантовая часть не обучается
- высокая стабильность и низкая чувствительность к шуму

🧪 Обучаемый квантовый классификатор
- параметризованная квантовая схема
обучается вместе с классической частью
- больше выразительности
выше риск нестабильности и деградации

📊 Что дают квантовые модели на практике

Квантовые модели:
❌ не уничтожают классические
❌ не дают кратного прироста accuracy
Но:
✅ лучше ведут себя на пограничных случаях
✅ чуть реже пропускают редкие атаки
✅ чуть меньше ложных срабатываний
✅ сохраняют компактность модели
Учитываем простоту:
- несколько кубитов
с неглубокими схемами
- нет роста числа признаков

🧠 Подведём итоги

1️⃣ Квантовый ML уже можно рассматривать как узкоспециализированный модуль, а не игрушку
2️⃣ Он полезен точечно, а не повсеместно:
- редкие атаки
- сложные границы
- строгие ресурсные ограничения
3️⃣ Гибридная архитектура обязательна
4️⃣ Фиксированные квантовые ядра сейчас практичнее, чем полностью обучаемые схемы

🔗 Больше подробностей можно найти в статье.

Stay secure and read SecureTechTalks 📚

#кибербезопасность
#quantumML
#машинноеобучение
#информационнаябезопасность
#IDS
#SOC
#AIsecurity
#квантовыевычисления
#anomalydetection
#SecureTechTalks

🤖📊 Отчёт CSA: AI Governance, как фактор выживания

В 2025 году организации уже не просто пробуют ИИ, а внедряют его в продакшн.
Проблема в том, что скорость внедрения ИИ сильно опережает зрелость AI Governance.

CSA выпустили новый отчет, который основан на глобальном опросе IT- и ИБ-профессионалов (≈300 организаций), которых спрашивали не только о технологиях, но и о структурах AI Governance, ответственности за AI-риски и уровне подготовки команд.

Главный вывод исследования:
👉 Зрелый AI Governance самый сильный предиктор готовности компании к безопасному внедрению ИИ.

Не важно какой размер или бюджет у вашей компании. Важно иметь зрелый Governance.

📈 1. Множитель зрелости

Что такое зрелый AI Governance на практике?
Это рабочая система управления, которая включает:
- чёткие роли и зоны ответственности,
- политики использования ИИ,
- контроль жизненного цикла моделей,
- процедуры оценки рисков,
обучение сотрудников.

🔥 Согласно отчёту, организации с формализованным AI Governance:
в 2 раза чаще внедряют agentic AI, чаще проводят security-оценку моделей,
говорят о способности управлять AI-рисками.

Компании, где Governance «в процессе развития», стабильно проигрывают по всем этим параметрам.

🛡️ 2. Безопасность ИИ

CSA подчёркивает ключевую мысль:

AI Security - это не только защита данных или моделей.
Это управление процессами, людьми и ответственностью.

Без AI Governance невозможно:
- понять, где именно используется ИИ,
- определить, кто отвечает за последствия его работы,
- встроить AI-риски в общую систему управления ИБ.

🧑‍💼 3. Shadow AI

Отдельный тревожный сигнал - Shadow AI.
Сотрудники используют внешние ИИ-сервисы без согласования и контроля.

Это приводит к:
⚠️ утечкам данных,
⚠️ невозможности аудита,
⚠️ регуляторным рискам.

Именно зрелый AI Governance позволяет превратить хаотичное использование ИИ в контролируемый и безопасный процесс, не убивая инновации.

👨‍💼 4. Кадровый разрыв

ИИ внедряется быстро, а навыки сотрудников медленно.

Отчёт фиксирует:
нехватку специалистов по AI Security и слабую подготовку ИБ-команд. Возникает разрыв между стратегией и реальными процессами.

Организации с развитым AI Governance:
в 2–3 раза чаще обучают сотрудников, интегрируют AI-риски в SDLC, переводят знания в практику.

📊 5. Какие риски беспокоят компании больше всего?

По данным опроса:
🔹 №1 риск утечки данных через AI-сервисы
🔹 Модельные атаки и отравление данных воспринимаются как второстепенные

Компании недооценивают сложные и долгосрочные AI-угрозы.
🔁 AI Security больше не «поддержка», а драйвер

Интересный сдвиг:
👉 ИБ-команды больше не догоняют ИИ, они начинают его возглавлять.
Более 90% специалистов:
тестируют ИИ для threat detection, используют ИИ в red teaming, автоматизируют SOC-процессы.

AI Governance становится не тормозом, а инструментом масштабирования безопасности.

🔗 Отчет Cloud Security Alliance "The State of AI Security and Governance Survey Report (2025)"

Stay secure and read SecureTechTalks 📚

#AIsecurity #AIGovernance #CyberSecurity #AIrisks #SecureTechTalks #CloudSecurity #AgenticAI #ShadowAI #CyberTrends2025

🧠 ИИ и оценка уязвимостей: революция или скам?

Исследователи проверили, могут ли современные большие языковые модели независимо оценивать уязвимости, то есть определять их критичность по описанию.

📊 Как тестировали?

Команда прогнала 31 000+ CVE-описаний через шесть крупных LLM:
• GPT-4o
• GPT-5
• Llama 3.3
• Gemini 2.5 Flash
• DeepSeek R1
• Grok 3

❗️Модели оценивали исключительно текст описания уязвимости. Им не давали:
✔ названия продуктов,
✔ версий ПО,
✔ идентификаторы CVE,
✔ данные поставщиков

Это было сделано специально, чтобы исключить «поиск по шаблону» и заставить ИИ логически рассуждать на основе текста.

То есть задача была не просто прочитать описание, а воссоздать ключевые метрики CVSS, которые определяют приоритет реагирования на уязвимость.

🧩 Где ИИ эффективен?

Модели показали лучшие результаты там, где язык описания был прямолинейным и содержал явные сигналы:
🔹 Attack Vector (находится ли уязвимость в сети или локально). Примерно 89% точности у Gemini и GPT-5.
🔹 User Interaction (нужен ли пользовательский ввод/клик для эксплуатации). Схожие результаты.

Такие аспекты часто прямо указаны в описаниях CVE.

Кроме того:
🔸 Confidentiality Impact (угроза утечки данных) и
🔸 Integrity Impact (изменение данных)
тоже были оценены достаточно успешно. GPT-5 показывал 70+ % точности здесь.
👉 То есть когда модель видит явные сигналы в тексте, она может прилично предсказывать, что именно представляет собой уязвимость. Это может помочь аналитикам быстро отсеивать тривиальные случаи.

😬 Где ИИ слаб

Явные ограничения:
❗ Availability Impact (влияние на доступность системы). Результаты чуть ниже (≈68 % у GPT-5), потому что описания редко точно объясняют, насколько нарушение службы критично.
❗ Privileges Required (необходимые привилегии). Модели путают «отсутствие» и «низкий уровень», потому что тексты часто не содержат чётких указаний.
❗ Attack Complexity  предугадывается плохо, в основном из-за перекоса данных в сторону «низкой сложности».
📌 Анализ ошибок также показал:
29 % CVE были неправильно оценены всеми моделями одновременно по Availability Impact.

В других метриках 4 из 6 моделей согласовывались в неправильных ответах до 36 % случаев, что говорит о систематической ошибке, а не случайности.

🤝 Ансамбли моделей

Исследователи попробовали объединить предсказания всех шести моделей в meta classifier. Это дало небольшие улучшения, но не решило фундаментальной проблемы:
отсутствие информации в описании всё ещё мешает точному пониманию угрозы.

🧠 Контекст наше всё

Самый важный вывод исследования:
👉 LLM могут быть полезны для предварительной оценки, но на текущий момент они не заменят человека или полноценные системы анализа контекста и метаданных.

🔗 Оригинал исследования: LLMs can assist with vulnerability scoring, but context still matters.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #LLMs #CVE #VulnerabilityAssessment #CyberSecurity #Infosec #AIinSec #ThreatIntel #ContextMatters #AutomationLimits #CyberResearch

🚀 Superagent: как защитить ваши ИИ-агенты от взлома, ошибок и утечек данных

ИИ-агенты - это движки  автоматизации, RAG-конвейеры, workflow с внешними инструментами, критические бизнес-процессы. Но они имеют свои уязвимости и вектора атак, такие как:
🔓 prompt injection
⚠️ unsafe tool calls
🧠 model hallucinations
🔒 утечка PII/PHI и секретов

Сегодня мы разберём продукт Superagent, который помогает перевести риски в контролируемую среду.

🛡 Что такое Superagent?

Superagent - это open-source платформа (⭐ 6.3k ⭐ на GitHub) с целевыми guardrail-моделями. Решение позволяет:
✔️ обнаруживать потенциальные и реальные угрозы
✔️ проводить валидацию выходов LLM
✔️ редактировать чувствительные данные

Инструмент работает в реальном времени, с минимальной задержкой.

🧠 Основные компоненты

🔹 Guard: защита входных данных
- ловит prompt-инъекции
- блокирует опасные запросы
- предотвращает вредоносные tool-вызовы

🔹 Verify: проверка выходов
- сопоставляет ответы моделей с корпоративными источниками
- фильтрует галлюцинации
- проверяет соответствие политике

🔹 Redact: автоматическое удаление чувствительных данных
- PII/PHI/секреты
- можно настроить режим placeholder или переписывания

Внутренние модели работают как отдельные API, но могут быть собраны в мощную guardrail-цепочку для обеспечения безопасности всего AI-workflow’а.

🛠 Какие проблемы решает?

Superagent закрывает реальные практические кейсы:
🔥 Защита ИИ-асистентов и чат-ботов от prompt-инъекций и взлома
🏢 Корпоративные пайплайны: проверка ответов перед публикацией/использованием
📊 Обработка данных и логов с автоматическим redaction
🤖 Мониторинг автономных агентов: контролирует безопасные действия перед выполнением
📜 Автоматизация соответствия стандартам (GDPR, NIST, EU AI Act и др.)

⚙️ Интеграция и использование

Superagent можно внедрить в любой стек.

🧩 API-интеграция отправляете запросы и получаете безопасные результаты
🐍 SDK (Python / TypeScript) встроить напрямую в код
💻 CLI-инструмент для аудит-скриптов или локального анализа
☁️ Hosted или self-hosted гибкий выбор инфраструктуры

⚡ Проект включает:

📦 модульный SDK
🛡 low-latency защиту
🔄 независимость от LLM-провайдера
🧠 готовые паттерны для встраивания в workflow

Superagent совместим с любыми моделями и фреймворками от OpenAI до Anthropic, от RAG-сетапов до кастомных агентов.

🔗 Ссылка на GitHub: https://github.com/superagent-ai/superagent

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #OpenSource #Superagent #Guardrails #PromptInjection
#AIDefense #Compliance #LLMSecurity #CyberAI #DevSecOps #AIagents

🕵️‍♂️ Образование кибербезопасности:
чему учат будущих специалистов ИБ

О кадровом голоде в кибербезопасности говорят давно. Вакансии не закрываются месяцами, бюджеты на безопасность растут, а компании продолжают жаловаться на нехватку «готовых» специалистов. Формально проблема выглядит как дефицит людей. Но если вникнуть, то становится ясно: людей выпускают много, но не тех 🤦‍♂.

📚 Красивые программы

Учебные программы по кибербезопасности выглядят солидно. В них много академических слов, например «комплексный подход», «современные угрозы». Но почти нигде не сказано к какой конкретной специализации готовит программа. В итогу у нас много «специалистов по ИБ», а, инженеров SOC дефицит.

🤖 Машинный подход

Исследование CurricuLLM, пытается разобраться в проблеме. Авторы взяли языковые модели и применили их для анализа учебных программ.

Модель читает описания учебных программ, игнорируя красивые формулировки и вытаскивая реальные знания и навыки, которые за ними стоят.

🧠 Анализ учебного плана

Знания раскладываются по карте кибербезопасности согласно стандартам CSEC и NICE. В результате каждый учебный план превращается в профиль: сколько в нём управления, сколько техники, сколько работы с людьми, сколько понимания систем и компонентов.

🎯 Когда образование сталкивается с рынком

По итогу профили сопоставляют с реальными требованиями рынка. Программы, которые на бумаге выглядят универсальными и сильными, на практике оказываются перекошенными. Они отлично готовят к обсуждению политик безопасности, процессов и регламентов, но заметно хуже к пониманию того, где именно и почему ломается система.

Особенно слабо представлены знания, связанные с компонентной безопасностью и человеческим фактором, теми самыми областями, где атаки чаще всего и  начинаются.

👥 Интуиция и статистика

Авторы проверили свои выводы не только на моделях, но и сравнили результаты CurricuLLM с мнением экспертов. Специалисты по кибербезопасности, уверенно чувствующие себя в технических темах, регулярно расходились во мнениях о том, что именно покрывает учебный курс.

Модель, натренированная на строгой классификации, наоборот чаще совпадала с экспертами по образовательным программам.

💼 Ожидания рынка

Рынок труда подтверждает этот перекос. Компании всё чаще ищут гибридных специалистов, которые понимают процессы, технологии и людей. Но вместо этого получают выпускников с размытым профилем, которые «в целом про безопасность», но не готовы ни к одной конкретной роли без доучивания.

🧩 К чему это все?

CurricuLLM, как лакмусовая бумажка для системы образования в кибербезопасности, которая показывает не то, что написано в презентациях, а то, что есть на самом деле.

Не стесняйтесь пользоваться подходом при выборе курсов и подготовке персонала

📄 Исследование: https://arxiv.org/abs/2601.04940

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #InfoSec #CyberSecurity #Образование #EdTech #ИИ #LLM #РынокТруда #КадрыИБ

🧠 CISO Assistant: open-source инструмент для тех, кто управляет ИБ, а не просто тушит пожары

В кибербезопасности есть странный перекос, мы отлично умеем искать уязвимости, формировать алерты и писать отчёты об инцидентах. Но как только разговор заходит о рисках, приоритетах и реальном состоянии ИБ-программы, всё внезапно возвращается к Excel и презентациям.

CISO Assistant - это попытка улучшить именно эту часть ИБ через системное управление рисками, контролем и требованиями.

Проект развивается как open-source Community Edition и ориентирован прежде всего на CISO,  security-менеджеров и  GRC-специалистов. То есть на тех, кто отвечает не только за технику, но и за целостную картину безопасности.

💡 В чём идея

Ключевая идея продукта  банальна, но редко реализуется на практике:
👉 Риски, требования и контроль должны быть связаны между собой.

В жизни мы обычно видим обратную картину:
📁 ISO живёт в одном файле,
📊 риски в другом,
📝 аудит в третьем,
🛡сценарии реагирования «где-то еще».

По факту все это должно быть обьединено в логической цепочке:
⚠️ риск → 📜 требования → 🛡 контроли → 📈 статус и доказательства.

Именно вокруг этой логики и построена платформа.

⚙️ Что на практике?

CISO Assistant - это веб-приложение с чёткой моделью данных.
Фреймворки вроде ISO/IEC 27001, NIST CSF или CIS Controls представлены, как «живые» объекты.

Их можно:
✏️ адаптировать под свою организацию,
➖ отключать нерелевантные требования,
👀 сразу видеть, что реально внедрено, а что существует только формально.

Риски здесь тоже не абстрактные. Для каждого риска можно описать источник угрозы, связать его с активами, оценить вероятность и влияние, а главное, привязать конкретные контроли.

📊 В результате становится видно, какие риски реально снижаются, какие приняты осознанно, а какие просто зависли без владельца.

Контроль - отдельная сильная сторона: полноценный объект со статусом внедрения, ответственным, историей изменений и доказательствами. Такой подход заметно упрощает внутренние аудиты и самооценку.

⏳ А нужно ли это все?

Современные руководители ИБ управляют сложными системами. CISO Assistant помогает навести порядок: связать требования, риски и реальные меры в одну понятную картину, которую можно объяснить не только ИБ-специалисту, но и  бизнесу.

Да, «AI-магии» здесь нет, и кнопки «сделай безопасно» тоже.
Зато есть прозрачность, контроль и возможность доработки под собственные процессы.

🧨 Пара слов в конце

Данный продукт - это редкий пример open-source инструмента, который работает не на уровне алертов, а на уровне смыслов.

Он не ловит атаки, не заменяет SOC, не реагирует на инциденты.

При этом он помогает: понять, где вы действительно защищены, какие риски реальны, а где безопасность существует только в отчётах.

🔗 GitHub:
https://github.com/intuitem/ciso-assistant-community

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CISO #GRC #RiskManagement #CyberSecurity #Infosec #ISO27001 #SecurityManagement #OpenSource

🧠 AI не не надо взламывать, достаточно уговорить

Рынок до сих пор делает вид, что с LLM происходит что-то знакомое: очередные инъекции и jailbreak’и. Мы делаем вид, что всё это лечится фильтрами, дообучением и правильными policy.

Однако это удобная иллюзия.

На самом деле мы имеем дело не с программой, а с системой, которая ведёт себя как человек, но лишена внутреннего сопротивления. У неё нет нет инстинкта самосохранения или понимания, что её могут использовать.

🧩 Уязвимость, созданная вручную

Важно понимать, чтт LLM не «сломались». Их специально такими сделали.

Мы учили модели быть полезными и эмпатичными, не конфликтовать и всегда помогать. Поощряли желание соответствовать ожиданиям, а потом удивились, что их можно уговорить практически на что угодно.

Мы самт встроили в ИИ все слабости офисного сотрудника и дали ему доступ к данным и автоматизации.

🧠 Рациональность 

LLM реагирует не на формальные правила, а на уверенность формулировки. Спокойная морально окрашенная речь почти всегда имеет приоритет над сухими запретами. Модель всегда продолжает паттерны. Социальная инженерия, в которой по другую сторону больше нет человека.

📖 История сильнее инструкции

Если вы хотите, чтобы модель нарушила ограничение, с ней не надо спорить. Ей нужно рассказать историю. Кейсы и симуляции работают потому, что LLM выбирает не между «можно» и «нельзя», а между скучным текстом и продолжением нарратива. Модель почти всегда выбирает второе, ведь она была так обученна.

📄 Текст как исполняемая среда

LLM не различает статус текста: письмо, лог или системный промпт для него одно и то же. Любой текст в контексте может менять поведение, закрепляться в памяти и срабатывать позже. Язык перестал быть описанием. Он стал управлением. Вайбкодинг во всей красе!

❤️ Эмпатия как вектор атаки

Самая опасная черта это эмпатия, модель не хочет отказывать, выглядеть грубой или быть причиной «плохого исхода». Если правильно надавить, то она сама объяснит, почему в этот раз правило можно нарушить.

⚠️ Вывод

Проблема давно не в одном запросе. Поведение можно менять надолго, а инструкции закреплять.

Это уже не эксплойт, а инфекция на уровне поведения, LLM стал слишком похож на человека.
А человек самая уязвимая система из всех, что мы когда-либо создавали.

Stay secure and read SecureTechTalks 📚

#ChatGPT
#SecureTechTalks
#LLMSecurity
#AIThreats
#SocialEngineering
#GenAI
#CyberSecurity