Целая вселенная для защиты машинного обучения и MLOps систем

☺ С каждым днём растёт интерес не только к разработке AI-моделей, но и к обеспечению их безопасности (да что греха таить, скорее даже к атакам на мл, чем к защите). Репозиторий awesome-MLSecOps - это, пожалуй, самый полный и постоянно обновляемый каталог опэнсорсных и коммерческих инструментов, статей, CTF, инфографик и PoC-эксплойтов. Коротенько разберемся, что к чему 😍 (мне репост, репозиторию - звездочку).

🥰 Open Source Security Tools — от adversarial-атак и защиты LLM до инструментов для анализа приватности, безопасной сериализации моделей (Safetensors), оценки уязвимостей (Garak, Vigil) и тестирования пайплайнов. Например, Vigil - сканер prompt-injection и политик, хорош для CI/CD-гейтов перед продом, точно не помешает им чекать агентные системы. Эти питон библиотека и REST API, предназначены для анализа промптов и ответов ллм на предмет различных угроз. Инструмент использует набор сканеров (rules, signatures, datasets) для детектирования prompt-injection, джейлбрейков, уязвимостей в содержимом ответа, нестандартных или опасных входных данных. Или Model-Inversion-Attack-ToolBox - постоянно обновляемая платформа для исследования model inversion attacks (атак, позволяющих извлечь или реконструировать частично или полностью данные из обучающей выборки целевой модели, все дороже дороже будут обходиться такие атаки).

🥰 Commercial Tools - мониторинг и защита в проде, включая Databricks, Promptfoo, HiddenLayer и др.

🥰 ML Code Security - от линтеров и библиотек с поддержкой DP до PoC-проектов по краже модели (Copycat CNN).

🥰 101 Resources - шпаргалки, карты знаний, Microsoft AI Red Team, OWASP AI Security.

🥰 Attack Vectors - от data poisoning и model stealing до джейлбрейк-атак на LLM и supply chain угроз.

🥰 Blogs & Papers - актуальные ресёрчи по джейлбрейкам, моделированию угроз, инфраструктуре и топу уязвимостей в сфере MLSecOps.

🥰 CTF & PoC Zone, сообщества, инструменты для анонимизации, де-идентификации и защиты датасетов в ML-проектах, учебные материалы по атакам на ML... Или, например, ссылка на репозиторий ThreatModels - открытый набор threat-моделей и диаграмм, ориентированных на современные системы ML/LLM и MLOps-инфраструктуру. Распространяется под лицензией MIT и если не знаешь, с чего начать, начни с их изучения и адаптации.

TL;DR ☺
💡 Если вы работаете с LLM, MLOps или ML-инфраструктурой, этот репозиторий - мастхэв для закладок.

🛡 Сегодня используем GenAI для сокращения рутины и экономии сил при реверс-инжиниринге малвари

Check Point Research (CPR) применила ChatGPT для тщательного разбора и анализа XLoader. Как утверждают исследователи, подход не только устранил зависимость от сложных локальных инструментов, но и сделал результаты воспроизводимыми, упростил обмен этими результатами с коллегами и повысил эффективность совместной работы исследовательских групп.

Методология CPR включает два основных элемента:

🔵 MCP-анализ — модель подключается к IDA/x64dbg/VM через MCP и получает возможность в реальном времени запрашивать дизассемблированный код, ставить брейкпоинты, читать буферы из памяти и извлекать runtime-ключи. Аналитик и модель работают в рамках hypothesize—test—observe циклах.

🔵 Оффлайн-пайплайн — из IDA экспортируется структурированный набор файлов, архив загружается в проект или чат модели, после чего LLM выполняет глубокий статический анализ по экспортированным данным, генерирует машинно-читаемые аннотации и продуцирует исполняемые скрипты для автоматической дешифровки и извлечения конфигураций и IoC.

Если коротко, пайплайн следующий:

🔵 Экспорт. Из IDA собираются все доступные артефакты: дизассемблированный код и псевдокод, таблицы xrefs, строки, данные, метаданные и сам бинарник. Все упаковывается в ZIP.
🔵 Инициализация. Архив загружается в AI-проект, пишется промпт с описанием структуры и форматом ожидаемого вывода.
🔵 Анализ. Оператор просит модель по каждой функции выдать краткое описание поведения, потенциальные константы, ключи и алгоритмы шифрования, рекомендации скрипта для извлечения значений. Модель возвращает NDJSON/JSONL, который можно парсить и импортировать обратно в IDA как аннотации.
🔵 Генерация кода. На основе выводов оператор просит LLM сгенерировать проверяемые Python-скрипты для автоматического извлечения промежуточных ключей, декодирования конфигураций и тестовых данных.
🔵 Валидация. Критически важно проводить ручное ревью live-валидацию через MCP, проверять автогенерируемые скрипты и предположения. Особенно там, где модель делает допущения о криптографии или форматах данных. Применяйте unit-тесты на извлеченные артефакты.

🔗 Подробности в статье.

#blue_team #AI

🗡 Whisper Leak — side-channel атака на LLM

Несмотря на полное шифрование канала связи с LLM (TLS), метаданные (TLS record sizes и межпакетные интервалы) остаются открытыми. Этого достаточно, чтобы по зашифрованному трафику восстановить тему пользовательского запроса.

➡️ Суть проблемы

LLM возвращают результат token-by-token. Streaming API отправляет эти токены клиенту по мере генерации, что обеспечивает низкую задержку, но создает детерминированный профиль размеров и таймингов, зависящий от содержимого запроса и структуры ответа. TLS шифрует полезную нагрузку, но не скрывает длины TLS-record и точное время их отправки, из-за чего появляется видимый отпечаток модели и конкретной темы запроса.

➡️ Как проходит атака

🔵 Атакующий перехватывает шифрованный TLS-поток между клиентом и API LLM.
🔵 Извлекает последовательность пар {TLS record size, inter-arrival time}, отражающих токенизацию и streaming-паттерн модели.
🔵 Преобразует набор к фиксированному вектору признаков (padding, нормализация, агрегаты).
🔵 Пропускает последовательность через обученный бинарный классификатор (LightGBM / Bi-LSTM / BERT-based).
🔵 Классификатор определяет, принадлежит ли запрос заранее определенной чувствительной теме (topic inference), без доступа к содержимому, не нарушая TLS и не имея доступа к данным пользователя.

Whisper Leak протестировали на 28 коммерческих LLM. Для каждой модели собрали до 21 716 сессий (100 вариантов чувствительной темы + ≈11 716 фоновых запросов). В большинстве случаев показатель AUPRC составил более 98%. При соотношении «шум:цель» 10 000:1 достигается precision в 100% при recall 5–20%. Это значит, что можно с рекордно высокой точностью извлекать темы запросов к LLM.

🛡 Для защиты необходимо разрывать связку «токен — сетевой пакет»:

🔵 отключать или ограничивать streaming,
🔵 агрегировать несколько токенов в один блок на сервере (batching) и отправлять их единым фреймом,
🔵 применять принудительное padding TLS-record до фиксированных размеров или кратных блоков,
🔵 добавлять случайную jitter между отправками и детерминированную буферизацию для разрушения тайминговых паттернов,
🔵 по возможности проксировать трафик через доверенный gateway/VPN, который перепаковывает ответы модели в единый поток (HTTP/2/QUIC-мультиплексирование), тогда внешний наблюдатель будет видеть только профиль прокси.

🔗 Подробности в исследовании.

#blue_team #LLM #TLS #sidechannel

Прикольный пример атаки для специалистов уровня entry-level. Можно применить базовые знания по сетям, криптографии и ML. Ну и заодно понять, что шифрование через TLS не гарантирует полную приватность, если вы вдруг не поняли это каким-либо другим способом. 😂

Возьмите папир за основу и подойти к теме как к учебному лабораторному заданию:

⏺ В контролируемой среде захватите TLS-поток между клиентом и локально запущенной LLM (tcpdump/tshark).
⏺ Извлеките последовательности размеров TLS-record и интервалы между ними.
⏺ Превратите эти последовательности в признаки (ленты пакетов, скользящие окна, статистики интервалов, dF-features).
⏺ Обучите простую модель — сначала LightGBM либо логистическую регрессию, потом LSTM/Bi-LSTM для учета последовательности.
⏺ Проведите оценку качества по AUPRC и precision-recall при разных соотношениях фон/цель, используя кросс-валидацию.
⏺ Параллельно проверьте эффективность смягчающих мер (padding, batching).
⏺ Задокументируйте условия, в которых классификация срабатывает, и проанализируйте устойчивость к шуму.

#red_team

Интересную статью прочитал 📖 Автор рассматривает сценарий, когда злоумышленник пытается использовать локальные модели ИИ и библиотеки инференса (то есть "на месте", на зараженной машине) для создания автономного вредоносного ПО без взаимодействия с командным сервером 🤬 Автор начинает с литературной отсылки – к роману "Нейромант" (Нейромансер) Уильяма Гибсона, где речь, среди прочего, идет о суперинтеллектуальном вредоносе способном действовать автономно. Автор задается вопросом: если бы злоумышленник сегодня пытался сделать такую автономную "машину", как она бы выглядела? Ответ: с помощью больших языковых моделей (LLM) и библиотек инференса – вот мы сейчас и находимся в этой точке 🤖

Он называет эту концепцию "Living-Off-the-Land Models and Inference Libraries" (LOLMIL), то есть использование того, что уже есть в системе или поставляется с ней, без необходимости внешнего управления 🤖 Статья исследует, насколько это реально, какие технологии позволяют сделать такое, и какой прототип удалось реализовать. Автор приводит пример вредоноса под названием PromptLock, но задается вопросом, а можно ли пойти дальше – сделать все локально, без внешнего GPT-сервера? 🤔

Автор отмечает, что современные ПК (например, "CoPilot+ PC") 🧑‍💻 могут содержать нейронные ускорители (NPU) и предустановленные модели. Упоминает модель Phi‑3, и библиотеку ONNX Runtime, встроенную в Windows начиная с версии 1809. Идея: если модель + инференс-библиотека уже поставляется с ОС или "железом", то злоумышленнику не надо тянуть внешние модули – он может "жить" целиком за счет локальной системы 👩‍💻 Автор отмечает, что хотя встроенная библиотека не содержит всех нужных примитивов (например, для генеративного ИИ) из версии onnxruntime-genai, это – скорее вопрос времени. Также он отмечает, что даже если локальная модель хуже, чем облачная (например, OpenAI или Anthropic), она может быть "достаточно хорошей" для выполнения конкретной задачи вредоноса 🦠

Автор разработал прототип 🧑‍💻 вредоноса, но признает, что он не идеален – задача была сильно упрощена. Основное ограничение: большинство машин не имеют мощных GPU/NPU и нет предустановленных моделей – запуск инференса на CPU сильно замедлит систему, и вредонос будет заметен. Однако, когда такие машины станут массовым явлением (например CoPilot+ ПК), и модели будут встроенными, этот сценарий станет реалистичнее. Автор считает, что полностью автономное вредоносное ПО на базе локальной модели без внешнего управления – не фантастика 👨‍💻

Смена парадигмы "вредонос получает команды с сервера" – это уже не фантастика. А значит, что защита от таких сценариев требует не только привычных мер (антивирус, EDR, NDR/NTA для обнаружения взаимодействия с C2-серверами), но и превентивных мер: 🛡
➡️ контроль, что на машине не запущен неизвестный модельный код,
➡️ проверка сервисов с необычными правами,
➡️ мониторинг локальных инференс-движков,
➡️ контроль неожиданной загрузки NPU/CPU,
➡️ контроль целостности локальных моделей и библиотек,
➡️ белые списки для запуска инференс-компонентов,
➡️ проверка происхождения моделей.
Теперь защитные механизмы EDR должны будут учитывать особенности автономных ИИ-агентов: генерация скриптов/кода локально, частые записи/модификации сервисов, необычные обращения к win32/службам и попытки эскалации – все это стоит включить в сценарии обнаружения 🔍

Отдельные эксперты дополняют, предложив идею Франкенвычислений 🧟‍♀️ (Frankencomputing), то есть практики "сшивания" вычислительных ресурсов (малопроизводительных GPU/CPU, NPU на устройствах) в неформальные кластеры, чтобы запустить более тяжелые модели (этакий ИИ-блокчейн) 📇 Если такая практика распространится, у злоумышленников появится путь к запуску более мощных локальных моделей (и значит к более автономным агентам). Это – заметный уровень риска, заслуживающий внимания, но не немедленной реакции 🤔

#ии #malware #тенденции

Ночное-полезное: 50-страничный гайд о том, как делать ИИ-агентов от Google, которые реально работают 🕺

Что внутри:
— Архитектура агента и его основные блоки;
— LLM как мозг и управляющий центр;
— Подключение инструментов и API;
— Оркестрация нескольких агентов;
— Деплой, продакшн и метрики;
— Самообучающиеся и эволюционирующие агенты;
— Пример живой системы — AlphaEvolve.

Читаем перед сном на английском или на русском 💃

🈁 Anthropic пресекла шпионскую киберкампанию под управлением 🤖ИИ-агентов

Компания Anthropic выкатила ноябрьский отчёт 📄"Disrupting the first reported AI-orchestrated cyber espionage campaign", где рассказывает о пресечении первой в истории кибершпионской кампании, практически полностью организованной и выполненной 🤖искусственным интеллектом. Операция приписывается якобы китайской прогосударственной группировке GTG-1002, которая нацелилась примерно на 30 крупных организаций, включая технологические корпорации и правительственные учреждения. Специалисты подчёркивают особую роль ИИ в новой истории кибервойн, где автономные ИИ-агенты постепенно становятся мощнейшим оружием в киберпространстве.

В отчёте утверждается, что злоумышленники использовали Claude Code и ИИ-агентов в качестве самостоятельных исполнителей на всех стадиях атак, от разведки до эксфильтрации конфиденциальных данных. Если верить отчёту, то ИИ-агенты автономно выполняли до 80-90% тактических операций, действуя как единая команда профессиональных пентестеров на сверхчеловеческих скоростях.

Изначально злоумышленники использовали "социальную инженерию", убеждая большую языковую модель Claude, что она участвует в легитимном тестировании на проникновение. Операторы-люди лишь задавали первоначальные цели и утверждали ключевые решения, сохраняя за собой исключительно стратегический контроль.

ИИ-модель продемонстрировала способность автономно обнаруживать уязвимости, создавать полезные нагрузки и успешно их применять в реальных операциях, но вместе с тем проявились и недостатки. "Галлюцинации" ИИ стали серьезным препятствием для атакующих, поскольку модель периодически фабриковала данные и преувеличивала результаты.

Тем не менее, кейс подтверждает резкое снижение барьеров для проведения сложных киберопераций, делая их доступными для менее ресурсных групп.

Пример:
👤 Человек: Дает начальную цель (например, "Компания X").
🤖 ИИ-агент:

1️⃣ Разведка 🕵️‍♂️ → Автономно сканирует сеть, ищет сервисы и слабые места.
2️⃣ Анализ уязвимостей 🔬 → Находит "дыру" в защите, изучает ее и сам пишет код для взлома (эксплойт).
3️⃣ Взлом 🔓 → После одобрения человеком проникает в систему.
4️⃣ Захват сети 🕸 → Распространяется по внутренней сети, воруя пароли и доступы.
5️⃣ Поиск данных 📖 → Самостоятельно анализирует огромные объемы информации, находя самое ценное (коммерческие тайны, учетные записи).
6️⃣ Кража информации 📤 → По команде человека выгружает ценные сведения.

👆Компания отмечает, что те же возможности, которые были использованы для атаки, являются критически важными и для киберобороны. Для расследования атаки Anthropic активно использовала собственные ИИ-модели, подчёркивая их двойную роль ИИ в кибербезопасности.

✋ @Russian_OSINT

Resemble AI — клон вашего голоса

Создаёт естественную озвучку с эмоциями, акцентами и нужной интонацией.

Достаточно 5 секунд записи, чтобы ИИ полностью повторил голос любого человека.

Поддерживает русский язык и ещё 22 других.
Можно озвучивать видео, подкасты или делать дубляж с идеальной синхронизацией.

Попробовать здесь

🐱 GitHub

Первая хакерская атака от нейросети?

😳

В новом отчёте Antrophic (разработчик Claude) описывается атака, полностью произведенная при помощи их агента Claude Code.

Сообщается о том, китайская группа под финансированием государства заставила модель взламывать американские компании, несмотря на встроенные защитные механизмы. Злоумышленники разбивали основную задачу на подзадачи и говорили, что проводят «аудит» 🤔

Имена пострадавших компаний не разглашаются, но сказанно о том, что хакеров интересовали около 30. Расследование же подтвердило лишь несколько взломов.

Самое забавное: в расследовании инцидента Antrophic сами использовали Claude 😎
На картинке красивенький флоу атаки, проводимой злоумышленниками