🗡 Whisper Leak — side-channel атака на LLM

Несмотря на полное шифрование канала связи с LLM (TLS), метаданные (TLS record sizes и межпакетные интервалы) остаются открытыми. Этого достаточно, чтобы по зашифрованному трафику восстановить тему пользовательского запроса.

➡️ Суть проблемы

LLM возвращают результат token-by-token. Streaming API отправляет эти токены клиенту по мере генерации, что обеспечивает низкую задержку, но создает детерминированный профиль размеров и таймингов, зависящий от содержимого запроса и структуры ответа. TLS шифрует полезную нагрузку, но не скрывает длины TLS-record и точное время их отправки, из-за чего появляется видимый отпечаток модели и конкретной темы запроса.

➡️ Как проходит атака

🔵 Атакующий перехватывает шифрованный TLS-поток между клиентом и API LLM.
🔵 Извлекает последовательность пар {TLS record size, inter-arrival time}, отражающих токенизацию и streaming-паттерн модели.
🔵 Преобразует набор к фиксированному вектору признаков (padding, нормализация, агрегаты).
🔵 Пропускает последовательность через обученный бинарный классификатор (LightGBM / Bi-LSTM / BERT-based).
🔵 Классификатор определяет, принадлежит ли запрос заранее определенной чувствительной теме (topic inference), без доступа к содержимому, не нарушая TLS и не имея доступа к данным пользователя.

Whisper Leak протестировали на 28 коммерческих LLM. Для каждой модели собрали до 21 716 сессий (100 вариантов чувствительной темы + ≈11 716 фоновых запросов). В большинстве случаев показатель AUPRC составил более 98%. При соотношении «шум:цель» 10 000:1 достигается precision в 100% при recall 5–20%. Это значит, что можно с рекордно высокой точностью извлекать темы запросов к LLM.

🛡 Для защиты необходимо разрывать связку «токен — сетевой пакет»:

🔵 отключать или ограничивать streaming,
🔵 агрегировать несколько токенов в один блок на сервере (batching) и отправлять их единым фреймом,
🔵 применять принудительное padding TLS-record до фиксированных размеров или кратных блоков,
🔵 добавлять случайную jitter между отправками и детерминированную буферизацию для разрушения тайминговых паттернов,
🔵 по возможности проксировать трафик через доверенный gateway/VPN, который перепаковывает ответы модели в единый поток (HTTP/2/QUIC-мультиплексирование), тогда внешний наблюдатель будет видеть только профиль прокси.

🔗 Подробности в исследовании.

#blue_team #LLM #TLS #sidechannel

Прикольный пример атаки для специалистов уровня entry-level. Можно применить базовые знания по сетям, криптографии и ML. Ну и заодно понять, что шифрование через TLS не гарантирует полную приватность, если вы вдруг не поняли это каким-либо другим способом. 😂

Возьмите папир за основу и подойти к теме как к учебному лабораторному заданию:

⏺ В контролируемой среде захватите TLS-поток между клиентом и локально запущенной LLM (tcpdump/tshark).
⏺ Извлеките последовательности размеров TLS-record и интервалы между ними.
⏺ Превратите эти последовательности в признаки (ленты пакетов, скользящие окна, статистики интервалов, dF-features).
⏺ Обучите простую модель — сначала LightGBM либо логистическую регрессию, потом LSTM/Bi-LSTM для учета последовательности.
⏺ Проведите оценку качества по AUPRC и precision-recall при разных соотношениях фон/цель, используя кросс-валидацию.
⏺ Параллельно проверьте эффективность смягчающих мер (padding, batching).
⏺ Задокументируйте условия, в которых классификация срабатывает, и проанализируйте устойчивость к шуму.

#red_team

Интересную статью прочитал 📖 Автор рассматривает сценарий, когда злоумышленник пытается использовать локальные модели ИИ и библиотеки инференса (то есть "на месте", на зараженной машине) для создания автономного вредоносного ПО без взаимодействия с командным сервером 🤬 Автор начинает с литературной отсылки – к роману "Нейромант" (Нейромансер) Уильяма Гибсона, где речь, среди прочего, идет о суперинтеллектуальном вредоносе способном действовать автономно. Автор задается вопросом: если бы злоумышленник сегодня пытался сделать такую автономную "машину", как она бы выглядела? Ответ: с помощью больших языковых моделей (LLM) и библиотек инференса – вот мы сейчас и находимся в этой точке 🤖

Он называет эту концепцию "Living-Off-the-Land Models and Inference Libraries" (LOLMIL), то есть использование того, что уже есть в системе или поставляется с ней, без необходимости внешнего управления 🤖 Статья исследует, насколько это реально, какие технологии позволяют сделать такое, и какой прототип удалось реализовать. Автор приводит пример вредоноса под названием PromptLock, но задается вопросом, а можно ли пойти дальше – сделать все локально, без внешнего GPT-сервера? 🤔

Автор отмечает, что современные ПК (например, "CoPilot+ PC") 🧑‍💻 могут содержать нейронные ускорители (NPU) и предустановленные модели. Упоминает модель Phi‑3, и библиотеку ONNX Runtime, встроенную в Windows начиная с версии 1809. Идея: если модель + инференс-библиотека уже поставляется с ОС или "железом", то злоумышленнику не надо тянуть внешние модули – он может "жить" целиком за счет локальной системы 👩‍💻 Автор отмечает, что хотя встроенная библиотека не содержит всех нужных примитивов (например, для генеративного ИИ) из версии onnxruntime-genai, это – скорее вопрос времени. Также он отмечает, что даже если локальная модель хуже, чем облачная (например, OpenAI или Anthropic), она может быть "достаточно хорошей" для выполнения конкретной задачи вредоноса 🦠

Автор разработал прототип 🧑‍💻 вредоноса, но признает, что он не идеален – задача была сильно упрощена. Основное ограничение: большинство машин не имеют мощных GPU/NPU и нет предустановленных моделей – запуск инференса на CPU сильно замедлит систему, и вредонос будет заметен. Однако, когда такие машины станут массовым явлением (например CoPilot+ ПК), и модели будут встроенными, этот сценарий станет реалистичнее. Автор считает, что полностью автономное вредоносное ПО на базе локальной модели без внешнего управления – не фантастика 👨‍💻

Смена парадигмы "вредонос получает команды с сервера" – это уже не фантастика. А значит, что защита от таких сценариев требует не только привычных мер (антивирус, EDR, NDR/NTA для обнаружения взаимодействия с C2-серверами), но и превентивных мер: 🛡
➡️ контроль, что на машине не запущен неизвестный модельный код,
➡️ проверка сервисов с необычными правами,
➡️ мониторинг локальных инференс-движков,
➡️ контроль неожиданной загрузки NPU/CPU,
➡️ контроль целостности локальных моделей и библиотек,
➡️ белые списки для запуска инференс-компонентов,
➡️ проверка происхождения моделей.
Теперь защитные механизмы EDR должны будут учитывать особенности автономных ИИ-агентов: генерация скриптов/кода локально, частые записи/модификации сервисов, необычные обращения к win32/службам и попытки эскалации – все это стоит включить в сценарии обнаружения 🔍

Отдельные эксперты дополняют, предложив идею Франкенвычислений 🧟‍♀️ (Frankencomputing), то есть практики "сшивания" вычислительных ресурсов (малопроизводительных GPU/CPU, NPU на устройствах) в неформальные кластеры, чтобы запустить более тяжелые модели (этакий ИИ-блокчейн) 📇 Если такая практика распространится, у злоумышленников появится путь к запуску более мощных локальных моделей (и значит к более автономным агентам). Это – заметный уровень риска, заслуживающий внимания, но не немедленной реакции 🤔

#ии #malware #тенденции

Ночное-полезное: 50-страничный гайд о том, как делать ИИ-агентов от Google, которые реально работают 🕺

Что внутри:
— Архитектура агента и его основные блоки;
— LLM как мозг и управляющий центр;
— Подключение инструментов и API;
— Оркестрация нескольких агентов;
— Деплой, продакшн и метрики;
— Самообучающиеся и эволюционирующие агенты;
— Пример живой системы — AlphaEvolve.

Читаем перед сном на английском или на русском 💃

🈁 Anthropic пресекла шпионскую киберкампанию под управлением 🤖ИИ-агентов

Компания Anthropic выкатила ноябрьский отчёт 📄"Disrupting the first reported AI-orchestrated cyber espionage campaign", где рассказывает о пресечении первой в истории кибершпионской кампании, практически полностью организованной и выполненной 🤖искусственным интеллектом. Операция приписывается якобы китайской прогосударственной группировке GTG-1002, которая нацелилась примерно на 30 крупных организаций, включая технологические корпорации и правительственные учреждения. Специалисты подчёркивают особую роль ИИ в новой истории кибервойн, где автономные ИИ-агенты постепенно становятся мощнейшим оружием в киберпространстве.

В отчёте утверждается, что злоумышленники использовали Claude Code и ИИ-агентов в качестве самостоятельных исполнителей на всех стадиях атак, от разведки до эксфильтрации конфиденциальных данных. Если верить отчёту, то ИИ-агенты автономно выполняли до 80-90% тактических операций, действуя как единая команда профессиональных пентестеров на сверхчеловеческих скоростях.

Изначально злоумышленники использовали "социальную инженерию", убеждая большую языковую модель Claude, что она участвует в легитимном тестировании на проникновение. Операторы-люди лишь задавали первоначальные цели и утверждали ключевые решения, сохраняя за собой исключительно стратегический контроль.

ИИ-модель продемонстрировала способность автономно обнаруживать уязвимости, создавать полезные нагрузки и успешно их применять в реальных операциях, но вместе с тем проявились и недостатки. "Галлюцинации" ИИ стали серьезным препятствием для атакующих, поскольку модель периодически фабриковала данные и преувеличивала результаты.

Тем не менее, кейс подтверждает резкое снижение барьеров для проведения сложных киберопераций, делая их доступными для менее ресурсных групп.

Пример:
👤 Человек: Дает начальную цель (например, "Компания X").
🤖 ИИ-агент:

1️⃣ Разведка 🕵️‍♂️ → Автономно сканирует сеть, ищет сервисы и слабые места.
2️⃣ Анализ уязвимостей 🔬 → Находит "дыру" в защите, изучает ее и сам пишет код для взлома (эксплойт).
3️⃣ Взлом 🔓 → После одобрения человеком проникает в систему.
4️⃣ Захват сети 🕸 → Распространяется по внутренней сети, воруя пароли и доступы.
5️⃣ Поиск данных 📖 → Самостоятельно анализирует огромные объемы информации, находя самое ценное (коммерческие тайны, учетные записи).
6️⃣ Кража информации 📤 → По команде человека выгружает ценные сведения.

👆Компания отмечает, что те же возможности, которые были использованы для атаки, являются критически важными и для киберобороны. Для расследования атаки Anthropic активно использовала собственные ИИ-модели, подчёркивая их двойную роль ИИ в кибербезопасности.

✋ @Russian_OSINT

Resemble AI — клон вашего голоса

Создаёт естественную озвучку с эмоциями, акцентами и нужной интонацией.

Достаточно 5 секунд записи, чтобы ИИ полностью повторил голос любого человека.

Поддерживает русский язык и ещё 22 других.
Можно озвучивать видео, подкасты или делать дубляж с идеальной синхронизацией.

Попробовать здесь

🐱 GitHub

Первая хакерская атака от нейросети?

😳

В новом отчёте Antrophic (разработчик Claude) описывается атака, полностью произведенная при помощи их агента Claude Code.

Сообщается о том, китайская группа под финансированием государства заставила модель взламывать американские компании, несмотря на встроенные защитные механизмы. Злоумышленники разбивали основную задачу на подзадачи и говорили, что проводят «аудит» 🤔

Имена пострадавших компаний не разглашаются, но сказанно о том, что хакеров интересовали около 30. Расследование же подтвердило лишь несколько взломов.

Самое забавное: в расследовании инцидента Antrophic сами использовали Claude 😎
На картинке красивенький флоу атаки, проводимой злоумышленниками

🛡 Пентагон продолжает тестировать🤖ИИ-агентов в наступательных кибероперациях

Forbes пишет, что военные в США продолжают форсировать интеграцию искусственного интеллекта в наступательные кибероперации, инвестируя миллионы в новые ИИ-решения. В качестве примера приводится контракт 🇺🇸Киберкомандования США со стартапом Twenty на сумму до $12.6 миллионов, который специализируется на применении ИИ для автоматизации наступательных кибервозможностей. Стартап также получил от ВМС США исследовательский контракт на сумму $240 000.

Компания делает упор на автоматизацию и масштабирование киберопераций. Речь может идти о 🤖😷системах, которые способны нацеливаться на сотни целей одновременно.

Примечательно, что команда проекта Twenty укомплектована бывшими офицерами разведки и вооруженных сил США с очень серьезным опытом. Одна из целей создать и индустриализировать кибероружие, чтобы США вместе с союзниками могли «сдерживать, а также побеждать своих противников».

Вакансии компании раскрывают чуть больше деталей. Например, Twenty ищет директора по исследованиям в области cyber offensive (наступательные технологии), который будет разрабатывать «продвинутые возможности проведения кибератак, включая фреймворки… и инструменты автоматизации на базе ИИ». Также в объявлениях имеется вакансия инженера по ИИ, где указано, что Twenty будет внедрять инструменты с открытым исходным кодом, такие как CrewAI, который используется для управления несколькими автономными ИИ-агентами, взаимодействующими друг с другом.

Продукты Twenty представляют собой шаг вперед с точки зрения автоматизации кибервойны.

— комментирует Forbes.

Известно, что компания ранее привлекла инвестиции от In‑Q‑Tel (венчурное подразделение ЦРУ), а также фондов Caffeinated Capital и General Catalyst.

Twenty также планирует использовать ИИ-агентов для ведения информационных операций. Важной частью стратегии является разработка убедительных цифровых личностей для проведения сложных операций 🧠 с использованием социальной инженерии. Кроме того, мелькает тема создания убедительных 🤖 ИИ-персон для внедрения в сети и сообщества противника.

👆Ранее TheIntercept писали, что 👮Командование специальных операций США (SOCOM) переходит от теоретических изысканий к планомерному созданию cовременного ИИ-инструментария для ведения информационных войн.

✋ @Russian_OSINT

Microsoft рассказала про своё виденье Agentic Zero Trust
#microsoft #zerotrust #ai #llm #agent

➡️Концептуальная основа

Agentic Zero Trust — это адаптация классической архитектуры Zero Trust для контекста автономных ИИ-агентов, основанная на принципе "никогда не доверяй, всегда проверяй". В отличие от традиционной модели безопасности, где доверие устанавливается один раз при входе, ИИ-агенты требуют непрерывной верификации на протяжении всего жизненного цикла.

➡️Два столпа: Containment и Alignment

Containment (Сдерживание) - принцип отказа от слепого доверия к ИИ-агентам, требующий строгого ограничения всех аспектов их работы, включая применение минимальных привилегий и непрерывный мониторинг действий и коммуникаций.

Alignment (Соответствие) - обеспечение позитивного контроля предназначения агента через промпты и модели, включая обучение агентов сопротивляться попыткам компрометации и встроенные защиты безопасности.

Zero Trust требует полной видимости действий ИИ-агентов через детальное логирование всех решений и действий, мониторинг аномального поведения в реальном времени, аудиторские следы, фиксирующие входы, выходы и пути рассуждений модели, а также метрики производительности, которые могут указывать на компрометацию безопасности.

https://blogs.microsoft.com/blog/2025/11/05/beware-of-double-agents-how-ai-can-fortify-or-fracture-your-cybersecurity/

🌚 @poxek_ai