Меры защиты информационных систем с ИИ
#иб_для_ml

Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".

Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.

Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).

Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ.

Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.

Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.

Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)

Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).

🚪Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
➖Основные установленные ЗИИ.1 меры:
🔘выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент
🔘отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)
🔘в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)
🔘проверка данных с помощью антивируса
🔘для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.
➖Основные меры усиления из ЗИИ.1:
🔘физическая изоляция среды разработки системы ИИ
🔘хранение данных обучения в зашифрованном виде
🔘состязательное обучение
🔘внедрение механизмов ограничения допустимых диапазонов данных,
санитизации входных данных
🔘должно быть реализовано тестирование на устойчивость к промпт-атакам

🚪Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ
➖Основные установленные ЗИИ.2 меры:
🔘фильтрация входных и выходных данных (гардрейлы)
🔘обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта
🔘мониторинг и квотирование количества запросов к системе искусственного
интеллекта
🔘проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ
➖Основные меры усиления из ЗИИ.2:
🔘выделение системы ИИ в отдельной изолированный сегмент
🔘обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ

И как меня угрозадило в материал про первородный грех западного ИИ попасть... 🤪

#интервью #ии

В новом материале разбираем неизбежный крах операционной модели западных техногигантов, построенной на массовом использовании пиратских данных.

Если коротко: Запад погрузился в регуляторную шизофрению. Противоречия между жаждой инноваций и защитой прав создали глобальный вакуум доверия, где любой ИИ-актив может быть аннулирован судом.

Россия в этой ситуации может предложить рынкам БРИКС+ и Глобального Юга доверенный ИИ — технологический стек, основанный на суверенных, юридически чистых датасетах и прозрачном регулировании.

Структурировать наши размышления помогали эксперты: Валерий Федоров (Генеральный директор ВЦИОМ), Александр Павлов (Главный управляющий партнер по развитию ИИ ВЭБ.РФ), Алексей Лукацкий (несущий позитивную весть о кибербезе) и Антон Горелкин (Депутат Государственной Думы РФ, Председатель правления РОЦИТ) — большое им за это спасибо!

🔜 Читать: https://mindsmith.ru/insights/vacuum-of-trust

@yusufovruslan

Раффаэль Марти, довольно известная личная в ИБ-сообществе, представил свою модель оценки зрелости SIEM и AI SOC, которая призвана объективно оценить зрелость платформ безопасности, прежде всего, опираясь на архитектурные и операционные возможности, исключая классический подход на основе списка функций, дорожных карт и маркетинговых обещаний.

Основная цель новой модели — понять, насколько система способна работать автономно и адаптироваться к изменениям. Фреймворк использует систему оценки от 1 (Legacy/Manual) до 5 (Autonomous/AI-driven) для различных категорий, сгруппированных по четырем доменам:
🔘Данные и управление
🟢Федерализация данных
🟢Оптимизация конвейера
🟢Осведомленность о данных
🟢Производительность
🟢Современный ИИ
🔘Детектирование и обучение
🟢Поиск гипотез
🟢Автоматическая настройка
🟢Адаптивное детектирование
🟢Память детектирования
🔘Риски и контекст
🟢Осведомленность об активах
🟢Оценка риска в реальном времени
🟢Контекст риска
🟢Бизнес-контекст
🔘Операционная реальность
🟢Интерфейс запросов
🟢Автоматизация триажа
🟢Обнаружение слепых зон
🟢Готовность к применению мер в режиме реального времени.

По итогам оценки категорий автор рекомендует обращать внимание не на общий средний балл, а на разрывы между оцениваемыми доменами, т.к. это позволит выявить структурные слабости используемого решения: например, высокий балл за ИИ-функционал, но низкий за качество данных означает, что ИИ будет принимать решение на основе ненадежных данных.

Подробнее про домены и категории можно почитать в блоге автора, оценить используемый SIEM можно на сайте фреймворка или здесь скачать эксельку для оффлайн оценки.

#framework #maturity #soc #siem #ai