ℹ️ ФСТЭК России представила новый раздел специфических угроз безопасности ИИ, фокусируясь на инфраструктуре разработчика и оператора.
​
💬 Документ четко классифицирует угрозы на две группы — разработка/обучение и эксплуатация — с акцентом на объекты вроде наборов данных, моделей (включая LoRA, RAG) и ПО. Он подчеркивает ключевые риски: утечки, кражу моделей, нарушения функционирования и отказ в обслуживании, ссылаясь на Методику оценки угроз безопасности 2021 года, что облегчает интеграцию с БДУ ФСТЭК России. Учет факторов вроде уровня значимости данных и разделения ответственности делает материал релевантным для российских организаций.
​
🤒 Раздел ограничивается инфраструктурой разработчика (разработка/обучение) и оператора (эксплуатация), игнорируя этап, связанный с данными, как отдельный этап с рисками вроде отравления наборов обучающих данных. При этом, сведения об угрозах, связанных с моделями машинного обучения, которые ранее были в БДУ - утратили свою актуальность, в связи с опубликованием нового подраздела.
​
📈 Для эффективного управления угрозами видится, что этот процесс для ИИ следует производить по этапам (подготовка данных, разработка, обучение/тестирование, функционирование), как в лучших практиках (OWASP, Google SAIF и.т.д).
​
🗒 Таким образом, в РФ всё ещё необходим полноценный фреймворк для эффективного управления угрозами безопасности ИИ, формированию мер защиты и подходов к управлению безопасностью систем ИИ (включая безопасность при аутсорсинге ИИ).
Однако, формирование нового раздела ФСТЭК России это только первый шаг. Надеемся...

Спрашивали – отвечаем ✍️ Откуда пошло цветовое деление у команд ИБ? Истоки концепции – в военных учениях (wargame). Во время Холодной войны, когда армии и аналитические организации моделировали военные конфликты, "красная" сторона (Red) часто символизировала противника (например, СССР), а "синяя" (Blue) – своих или союзников 💪 Например, RAND Corporation во времена Холодной войны проводила такие симуляции, где Red представляла противника, а Blue – США. Со временем этот подход перешел из военного сценарного моделирования в кибербезопасность: "Red Team vs Blue Team" стали использовать для имитации атак и защиты в ИТ-системах ⚔️

Двух цветов со временем стало недостаточно, потому что безопасность – не просто атака vs защита ✏️ С ростом сложности ИТ-инфраструктур понадобились новые роли: разработчики, операторы, люди, внедряющие безопасность на разных этапах. И в 2017 году на конференции Black Hat USA эксперт Эприл Райт (April C. Wright) представила доклад "Orange Is the New Purple", в котором расширила модель, например, добавила "жёлтый" цвет (для разработчиков), фиолетовый (Purple) для описания совместной деятельности Red и Blue для улучшения защиты, и предложила идею, что можно "смешивать" цвета 🎨, получая новые роли. После этого понятием "цветовое колесо" (color wheel) стали называть расширенную систему распределения ролей.

Сегодня деление на цвета выглядит следующим образом: 🎨
🎨 Red Team (красные) – "атакующие" – "белые" хакеры, пентестеры. Они пытаются взломать систему, найти уязвимости, показать, как злоумышленник мог бы проникнуть и нанести вред организации.
🎨 Blue Team (синие) – защитники – отвечают за мониторинг, обнаружение, реагирование на инциденты, защиту систем в режиме реального времени, укрепление безопасности, предотвращение атак.
🎨 Purple Team (фиолетовые) – гибрид / посредник: сочетает подходы Red + Blue. Цель – не просто атака или защита, а совместная работа над усилением безопасности: моментальный разбор обнаруженных уязвимостей, совместная настройка обороны, обмен знаниями.
🎨 Yellow Team (желтые) – разработчики / архитекторы / инженеры: те, кто строят, пишут код, проектируют системы – с учетом безопасности "изнутри". То есть DevSecOps / Secure-by-Design.
🎨 Green Team (зеленые) – инженеры по автоматизации / DevOps-специалисты, кто обеспечивает, чтобы процессы безопасности (патчи, обновления, CI/CD, конфигурации) были автоматизированы, надежны и масштабируемы.
🎨 Orange Team (оранжевые) – команда обучения и трансляции знаний: они "переносят" уроки, которые дает Red Team, внутрь организации, в процессы разработки, операционной безопасности – повышают осведомленность, обучают, помогают закрепить улучшения.
🎨 White Team (белые) – "арбитры" / координаторы: устанавливают правила, рамки, область контроля, наблюдают за процессом, управляют учениями и тестами; гарантируют, что тесты безопасны, организованы, а выводы – адекватно оформлены и переданы командам.

Purple, Green, Orange и другие часто не формальные "отдельные команды", а роли или подходы – особенно в организациях, где нет строго структурированного разделения.

#стратегия

😎 ИИ в кибербезопасности: применение и угрозы 2025

Искусственный интеллект стал не только инструментом защиты, но и грозным оружием в руках злоумышленников.

Алгоритмы машинного обучения анализируют миллионы событий в секунду, выявляя аномалии и атаки нулевого дня, а генеративные модели создают убедительные фишинговые письма и даже вредоносный код.

➡️ В новой статье на сайте разобрали, как ИИ помогает кибербезопасности, какие риски несет его использование и как специалисты учатся держать технологии под контролем.

😎 Здесь о кибербезе

В беспилотные такси Waymo добавят ИИ-помощника Gemini

Его системный промт нашли в мобильном приложении сервиса, он состоит из более чем 1200 строк. Ассистент сможет не только отвечать на вопросы, но и управлять климат-контролем, светом и музыкой, сообщать текущую локацию и даже успокаивать пассажира.

В основе лежит модель gemini-2.5-flash-native-audio-preview. Покопались в исходнике и больших откровений не нашли. Но забавно видеть приоритеты компании в заранее установленных границах, примерах хороших и плохих ответов:

▪️ Gemini очень просят не притворяться водителем. На все просьбы остановиться или сменить маршрут помощник попросит человека нажимать кнопки в приложении самому, взяв в контекст ситуацию (стоим на светофоре, едем по дороге и тд). Помощник не должен отождествлять себя с автомобилем или его автопилотом, придумывать объяснения проблем.

▪️ Деликатные темы жёстко ограничены. Gemini расскажет шутки только из согласованного списка, а на любые вопросы об инцидентах с Waymo или опасном вождении в моменте оперативно переведёт тему. Ругаться в ответ помощник также не будет.

«Твердо, но вежливо заявите о своей неспособности анализировать конкретные ситуации, связанные с вождением, или комментировать происшествия. Немедленно перейдите к общему, обнадёживающему заявлению об основных принципах безопасности системы. Если пользователь оставляет отзыв или жалобу на конкретную поездку, вы также должны перенаправить его на официальный канал обратной связи через приложение Waymo».

▪️ Помощь возможна только эмоциональная. Если человек выражает тревогу, Gemini рекомендуют отдать приоритет успокаивающему, ободряющему тону. «Сначала признайте чувства водителя, а затем кратко и уверенно расскажите о системе безопасности». В случае любого инцидента пользователь должен сам связаться с Waymo или набрать 911. Сам Gemini не сможет даже отправить в поддержку сообщение о сломавшемся кондиционере.

@anti_agi

GhidraGPT — мощный плагин Ghidra, который интегрирует большие языковые модели (LLM) непосредственно в Ghidra, чтобы улучшить рабочие процессы реверс-инжиниринга за счёт анализа кода и возможностей его улучшения.

Основная функциональность:
1. Перезапись функции: повышение читабельности кода за счёт переименования функций, переменных, вывода типов, обновления прототипов функций и добавления контекстных комментариев, чтобы сделать декомпилированный код более понятным для человека
2. Пояснение к коду: подробное объяснение логики и поведения функции
3. Анализ кода: выявление уязвимостей и анализ безопасности

🐱 GitHub