Меры защиты информационных систем с ИИ
#иб_для_ml

Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".

Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.

Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).

Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ.

Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.

Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.

Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)

Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).

🚪Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
➖Основные установленные ЗИИ.1 меры:
🔘выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент
🔘отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)
🔘в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)
🔘проверка данных с помощью антивируса
🔘для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.
➖Основные меры усиления из ЗИИ.1:
🔘физическая изоляция среды разработки системы ИИ
🔘хранение данных обучения в зашифрованном виде
🔘состязательное обучение
🔘внедрение механизмов ограничения допустимых диапазонов данных,
санитизации входных данных
🔘должно быть реализовано тестирование на устойчивость к промпт-атакам

🚪Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ
➖Основные установленные ЗИИ.2 меры:
🔘фильтрация входных и выходных данных (гардрейлы)
🔘обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта
🔘мониторинг и квотирование количества запросов к системе искусственного
интеллекта
🔘проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ
➖Основные меры усиления из ЗИИ.2:
🔘выделение системы ИИ в отдельной изолированный сегмент
🔘обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ

И как меня угрозадило в материал про первородный грех западного ИИ попасть... 🤪

#интервью #ии

В новом материале разбираем неизбежный крах операционной модели западных техногигантов, построенной на массовом использовании пиратских данных.

Если коротко: Запад погрузился в регуляторную шизофрению. Противоречия между жаждой инноваций и защитой прав создали глобальный вакуум доверия, где любой ИИ-актив может быть аннулирован судом.

Россия в этой ситуации может предложить рынкам БРИКС+ и Глобального Юга доверенный ИИ — технологический стек, основанный на суверенных, юридически чистых датасетах и прозрачном регулировании.

Структурировать наши размышления помогали эксперты: Валерий Федоров (Генеральный директор ВЦИОМ), Александр Павлов (Главный управляющий партнер по развитию ИИ ВЭБ.РФ), Алексей Лукацкий (несущий позитивную весть о кибербезе) и Антон Горелкин (Депутат Государственной Думы РФ, Председатель правления РОЦИТ) — большое им за это спасибо!

🔜 Читать: https://mindsmith.ru/insights/vacuum-of-trust

@yusufovruslan

Раффаэль Марти, довольно известная личная в ИБ-сообществе, представил свою модель оценки зрелости SIEM и AI SOC, которая призвана объективно оценить зрелость платформ безопасности, прежде всего, опираясь на архитектурные и операционные возможности, исключая классический подход на основе списка функций, дорожных карт и маркетинговых обещаний.

Основная цель новой модели — понять, насколько система способна работать автономно и адаптироваться к изменениям. Фреймворк использует систему оценки от 1 (Legacy/Manual) до 5 (Autonomous/AI-driven) для различных категорий, сгруппированных по четырем доменам:
🔘Данные и управление
🟢Федерализация данных
🟢Оптимизация конвейера
🟢Осведомленность о данных
🟢Производительность
🟢Современный ИИ
🔘Детектирование и обучение
🟢Поиск гипотез
🟢Автоматическая настройка
🟢Адаптивное детектирование
🟢Память детектирования
🔘Риски и контекст
🟢Осведомленность об активах
🟢Оценка риска в реальном времени
🟢Контекст риска
🟢Бизнес-контекст
🔘Операционная реальность
🟢Интерфейс запросов
🟢Автоматизация триажа
🟢Обнаружение слепых зон
🟢Готовность к применению мер в режиме реального времени.

По итогам оценки категорий автор рекомендует обращать внимание не на общий средний балл, а на разрывы между оцениваемыми доменами, т.к. это позволит выявить структурные слабости используемого решения: например, высокий балл за ИИ-функционал, но низкий за качество данных означает, что ИИ будет принимать решение на основе ненадежных данных.

Подробнее про домены и категории можно почитать в блоге автора, оценить используемый SIEM можно на сайте фреймворка или здесь скачать эксельку для оффлайн оценки.

#framework #maturity #soc #siem #ai

Видение будущего с Agentic AI от Google.
На фоне новости о переходе создателя OpenClaw в OpenAI
подписчик поделился файлом отчета Google Cloud "Тренды AI-агентов 2026".

Отчет описывает пять ключевых сдвигов, которые, по мнению экспертов Google, переопределят роли сотрудников, рабочие процессы и бизнес-ценность в 2026 году, да и вообще в будущем.

Введение: Новая эра – Эра Агентного ИИ. Отчет начинается с тезиса о том, что в 2026 году фокус бизнеса смещается с обсуждения далекого будущего и AGI на практическое внедрение агентного ИИ. Если традиционный ИИ, включая простые чат-боты, отвечает на вопросы, то агентный ИИ понимает цель, строит план и выполняет действия (ReAct парадигма) в различных приложениях для ее достижения, оставаясь под контролем человека.

Это фундаментальный сдвиг от "дополнительного" инструмента к AI-first процессу, который требует изменения корпоративной культуры, найма, мышления.

Пять главных трендов AI-агентов в 2026 году

1. Агенты для каждого сотрудника. Так называемое расширенние с помощью ИИ возможностей личности для достижения пиковой продуктивности.

Новая рабочая модель: Каждый сотрудник становится супервайзером команды специализированных агентов. Его главная задача – не выполнять рутинные задачи, а управлять агентами, используя знание контекста компании (внутренние базы данных, CRM и т.д.).

Новые обязанности сотрудника:
1. Делегирование рутинных задач агентам.
2. Постановка целей для агентов.
3. Определение стратегии и принятие финальных решений.
4. Верификация качества работы агентов. Ключевой принцип: "заземление"– привязка ответов агентов к проверенным фактам и внутренним данным компании, что повышает точность и надежность.

Статистика: 52% руководителей в компаниях, использующих генеративный ИИ, уже внедрили агентов в производство. Среди них 49% используют их в клиентском сервисе, 46% – в маркетинге и безопасности.

2. Агенты для каждого рабочего процесса. Управление бизнесом с помощью заземленных агентных систем.
Здесь речь идет о создании "цифровых сборочных линий" – многоэтапных рабочих процессов, которые управляют целыми бизнес-процессами от начала до конца под наблюдением человека. Ценность заключается в том, чтобы заставить бизнес работать умнее, эффективнее и круглосуточно.

Ключевые протоколы настоящего и будущего:
· A2A (Agent2Agent): Открытый стандарт, позволяющий агентам от разных разработчиков и компаний взаимодействовать друг с другом. Например, агент медиакомпании связывается с агентом ритейлера.
· MCP очевидно.
· AP2 (Agent Payments Protocol). Протокол, который уже есть у Google для агентных платежей, решающий вопросы безопасности и подтверждения полномочий, когда не-человек инициирует транзакцию.

3. Агенты для ваших клиентов
Удовлетворение клиентов с помощью сервиса уровня консьержа. Эра простых чат-ботов с заранее прописанными сценариями уходит. В 2026 году их сменят "консьерж-агенты", которые помнят историю взаимодействия, предпочтения клиента и решают проблемы проактивно, обеспечивая персонализированный опыт один на один. Клиенту больше не нужно каждый раз представляться заново. Агент, благодаря доступу к CRM и данным логистики, сразу знает контекст.
· Старый чат-бот: Введите номер заказа.
· Новый консьерж-агент: «Здравствуйте, Елизавета! Вы по поводу синего свитера, купленного на прошлой неделе? Он уже доставлен. Вы хотите его вернуть или обменять?»

4. Агенты для безопасности.
Переход от оповещений к действиям. Современные центры безопасности страдают от усталости ввиду оповещений – 82% аналитиков обеспокоены, что пропускают реальные угрозы в потоке данных. Агенты могут взять на себя анализ, расследование и даже реагирование на угрозы, действуя как сила-умножитель для команды. Однако и они же являются новым инструментами для атак.

Принцип работы агентного SOC – выстраивание цикла полуавтономных операций. Агенты могут общаться через протокол A2A, использовать общие данные и адаптироваться в реальном времени. Новая роль аналитика безопасности в таком случае:

продолжение ниже👇👇👇👇

- Охота за угрозами. Аналитик использует интуицию, чтобы дать агенту задание. «Проверь этот сервер на необычный исходящий трафик».
- Супервизия, контроль. Настройка правил взаимодействия агентов и контроль их автоматических ответов.
- Стратегическая защита. Фокус на долгосрочном укреплении безопасности, а не на «тушении пожаров». По сути те же роли, что у разрабов+agents, только на языке SOC.

5. Агенты для масштабирования.
Повышение квалификации как главный драйвер бизнес-ценности. Технологии– это лишь половина уравнения. Вторая, критически важная половина это люди. Разрыв в навыках растет: «период полураспада» профессионального навыка сейчас составляет 4 года, а в IT - всего 2 года. Успех внедрения агентов напрямую зависит от инвестиций в обучение сотрудников. Помните выше посты про институт джунов и синьоров, а также новость, что компании снова взяли на себя роль обучения?👍

Статистика:
· 82% руководителей считают, что обучение помогает опережать конкурентов в гонке ИИ.
· 71% компаний отмечают рост выручки после инвестиций в обучение.
· 84% сотрудников хотят, чтобы их организация больше фокусировалась на ИИ.

Пять столпов стратегии обучения в компании, для повышения adoption:

1. Цели. Четко определить измеримые цели (например, 100% adoption ИИ-инструментов).
2. Спонсорство. Создать команду из трех ролей: исполнительный спонсор (финансирование), лидер инициативы (коммуникация) и AI-акселератор (техническая реализация).
3. Поддержание темпа/интереса. Геймификация, доски лидеров, еженедельные рассылки и квартальные премии за инновации.
4. Интеграция в рутину. Внутренние хакатоны и "работа в полях" для отработки навыков.
5. Управление рисками и создание цифровой дисциплины/гигиены в работе с ИИ инструментамм. Обучение сотрудников основам безопасности при работе с ИИ (какие данные можно загружать, как распознать ИИ-фишинг). Этот пункт я очень люблю, тк какие бы guardrails у вас не были, они не дают 100% надежности к утечке перс данных или NDA. Только воспитание цифровой гигиены у ваших сотрудников, может спасти вас от репутационных рисков.

Заключение:
Путь к агентным системам может быть сложным, но истинная ценность заключается не только в конечном продукте, но и в инновациях и оптимизации, которые происходят в процессе. Компании, которые экспериментируют сегодня, создают критически важный внутренний опыт для управления, контроля и масштабирования ИИ. Возможности 2026 года – это не просто технологии. Это возможность освободить команды от повторяющейся рутины, чтобы они могли сосредоточиться на творческих, стратегических и человеческих задачах. Доступ к агентному ИИ демократизирует инсайты, инновации и рост, но требует огромной ответственности за обеспечение безопасных, этичных и справедливых результатов для всех.