⭐️ Риски искусственного интеллекта: полная карта угроз для бизнеса — от технологии до культуры (Часть II)
3.1. Технологическая гигиена и архитектура доверия
Чтобы противостоять «трещинам в фундаменте», необходимо перейти от реактивной безопасности к проактивной архитектуре доверия.
3.1.1. Против «взлома» модели: внедрение непрерывной функции AI Red Teaming
Состязательные атаки — это постоянная гонка вооружений, следовательно, защита от них не может быть разовым пентестом. В ответ на растущие риски лидеры индустрии и регуляторы все чаще указывают на AI Red Teaming как на ключевой механизм защиты. Это внутренние или внешние группы экспертов, чья единственная задача — непрерывно и изобретательно пытаться «взломать» и обмануть ключевые ИИ-модели компании, выявляя уязвимости до того, как это сделают злоумышленники. Это превращает безопасность из статьи расходов в процесс постоянного обучения и адаптации. Однако за этим, казалось бы, универсальным решением скрывается серьезная концептуальная ловушка. Без глубокого понимания целей, методологии и ограничений, Red Teaming рискует превратиться из реального инструмента управления рисками в дорогостоящий «театр безопасности».
Исследователи из Университета Карнеги — Меллон предупреждают, что само понятие «AI Red Teaming» крайне размыто. Когда компании заявляют о проведении таких тестов, не раскрывая методологию, это может служить скорее для успокоения регуляторов и общественности, чем для реального выявления уязвимостей. Поверхностный подход, не учитывающий контекст и не имеющий четких критериев, создает лишь иллюзию контроля (Feffer et al., 2024). Чтобы Red Teaming не стал фикцией, его отправной точкой должна быть не технология, а экономика. Угроза обретает смысл для бизнеса только тогда, когда переведена на язык потенциальных убытков. Практический пример из финансового сектора наглядно демонстрирует эту связь.
Ведущая мировая финансовая компания с оборотом в 5 миллиардов транзакций в год столкнулась с дилеммой: как бороться с мошенничеством, не ухудшая клиентский опыт. Их ИИ-модели были ключевым звеном. Проведенный Red Teaming был сфокусирован не на абстрактных «уязвимостях», а на конкретной бизнес-задаче: найти способы обмануть систему так, чтобы мошенническая транзакция была классифицирована как легитимная (HiddenLayer, 2024). Ставки были предельно высоки — речь шла о предотвращении убытков, исчисляемых миллионами долларов в год.
Продолжение: https://vk.com/wall-210601538_1807
3.1. Технологическая гигиена и архитектура доверия
Чтобы противостоять «трещинам в фундаменте», необходимо перейти от реактивной безопасности к проактивной архитектуре доверия.
3.1.1. Против «взлома» модели: внедрение непрерывной функции AI Red Teaming
Состязательные атаки — это постоянная гонка вооружений, следовательно, защита от них не может быть разовым пентестом. В ответ на растущие риски лидеры индустрии и регуляторы все чаще указывают на AI Red Teaming как на ключевой механизм защиты. Это внутренние или внешние группы экспертов, чья единственная задача — непрерывно и изобретательно пытаться «взломать» и обмануть ключевые ИИ-модели компании, выявляя уязвимости до того, как это сделают злоумышленники. Это превращает безопасность из статьи расходов в процесс постоянного обучения и адаптации. Однако за этим, казалось бы, универсальным решением скрывается серьезная концептуальная ловушка. Без глубокого понимания целей, методологии и ограничений, Red Teaming рискует превратиться из реального инструмента управления рисками в дорогостоящий «театр безопасности».
Исследователи из Университета Карнеги — Меллон предупреждают, что само понятие «AI Red Teaming» крайне размыто. Когда компании заявляют о проведении таких тестов, не раскрывая методологию, это может служить скорее для успокоения регуляторов и общественности, чем для реального выявления уязвимостей. Поверхностный подход, не учитывающий контекст и не имеющий четких критериев, создает лишь иллюзию контроля (Feffer et al., 2024). Чтобы Red Teaming не стал фикцией, его отправной точкой должна быть не технология, а экономика. Угроза обретает смысл для бизнеса только тогда, когда переведена на язык потенциальных убытков. Практический пример из финансового сектора наглядно демонстрирует эту связь.
Ведущая мировая финансовая компания с оборотом в 5 миллиардов транзакций в год столкнулась с дилеммой: как бороться с мошенничеством, не ухудшая клиентский опыт. Их ИИ-модели были ключевым звеном. Проведенный Red Teaming был сфокусирован не на абстрактных «уязвимостях», а на конкретной бизнес-задаче: найти способы обмануть систему так, чтобы мошенническая транзакция была классифицирована как легитимная (HiddenLayer, 2024). Ставки были предельно высоки — речь шла о предотвращении убытков, исчисляемых миллионами долларов в год.
Продолжение: https://vk.com/wall-210601538_1807
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Риски искусственного интеллекта: полная карта угроз для бизнеса — от технологии до культуры (Часть... Смотрите полностью ВКонтакте.
⭐️ Спрос на услуги по безопасности генеративного ИИ активно растет
По данным Swordfish Security, за услугами по безопасности больших языковых моделей (LLM Security) в 2024 году обращались 35% заказчиков. Спрос на такие услуги растет прямо пропорционально внедрению подобных инструментов в бизнес-практику.
В 2025 году такая практика будет только расширяться, поскольку генеративный интеллект, прежде всего, большие языковые модели, будут внедряться все более активно. В будущем году уровень проникновения генеративного ИИ составит не менее 40%, а к 2030 году может достигнуть и 90%.
Как отметил директор по развитию бизнеса ГК Swordfish Security Андрей Иванов, рост интереса к безопасности больших языковых моделей стал одной из главных тенденций 2024 года. Недооценка таких рисков чревата серьезными проблемами. Среди таких рисков Андрей Иванов инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками.
Продолжение: https://vk.com/wall-210601538_1808
По данным Swordfish Security, за услугами по безопасности больших языковых моделей (LLM Security) в 2024 году обращались 35% заказчиков. Спрос на такие услуги растет прямо пропорционально внедрению подобных инструментов в бизнес-практику.
В 2025 году такая практика будет только расширяться, поскольку генеративный интеллект, прежде всего, большие языковые модели, будут внедряться все более активно. В будущем году уровень проникновения генеративного ИИ составит не менее 40%, а к 2030 году может достигнуть и 90%.
Как отметил директор по развитию бизнеса ГК Swordfish Security Андрей Иванов, рост интереса к безопасности больших языковых моделей стал одной из главных тенденций 2024 года. Недооценка таких рисков чревата серьезными проблемами. Среди таких рисков Андрей Иванов инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками.
Продолжение: https://vk.com/wall-210601538_1808
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Спрос на услуги по безопасности генеративного ИИ активно растет
По данным Swordfish Secur... Смотрите полностью ВКонтакте.
По данным Swordfish Secur... Смотрите полностью ВКонтакте.
🔥3
⭐️ В четыре раза точнее врача. В Microsoft создали «консилиум» из ИИ для постановки диагноза
Microsoft AI рассказали о MAI Diagnostic Orchestrator — медицинской ИИ-системе для постановки максимально точного диагноза. Основная идея Orchestrator в чем-то напоминает медицинский консилиум: ИИ назначается несколько разных ролей, отвечающих за отдельные этапы. При этом роли могут быть назначены как одной языковой модели, так и разным - например, с пациентом могут работать ChatGPT o3, Gemini 2.5 Pro, Claude Opus 4 и так далее.
Постановка диагноза начинается с роли Gatekeeper, который проводит первичный опрос пациента. Dr. Hypothesis формирует и ранжирует дифференциальные диагнозы, а Dr. Challenger критически переосмысливает выводы Hypothesis, пытаясь найти в них ошибки. Dr. Test-Chooser назначает лабораторные и инструментальные исследования, которые помогут сузить круг гипотез, а Dr. Stewardship — сравнивает стоимость и диагностическую ценность тестов, отклоняя лишние или слишком дорогие исследования. Наконец, Dr. Checklist выполняет финальный аудит рассуждений всей группы: проверяет согласованность цепочки рассуждений и может вернуть процесс на предыдущий шаг, если находит противоречия.
Тестирование проводилось на базе NEJM Knowledge+ — это онлайн-платформа, которую издает The New England Journal of Medicine. Из архивов в Microsoft отобрали 304 подробно описанных клинических случая, к каждому из которых прилагается «правильный» диагноз, список показанных анализов и краткий комментарий эксперта-редактора. В этом тесте MAI Diagnostic Orchestrator смогла правильно поставить в среднем 80% диагнозов. Наивысший результат показала модель o3 от OpenAI, верно решившая 85,5% медицинских задач.
Продолжение: https://vk.com/wall-210601538_1809
Microsoft AI рассказали о MAI Diagnostic Orchestrator — медицинской ИИ-системе для постановки максимально точного диагноза. Основная идея Orchestrator в чем-то напоминает медицинский консилиум: ИИ назначается несколько разных ролей, отвечающих за отдельные этапы. При этом роли могут быть назначены как одной языковой модели, так и разным - например, с пациентом могут работать ChatGPT o3, Gemini 2.5 Pro, Claude Opus 4 и так далее.
Постановка диагноза начинается с роли Gatekeeper, который проводит первичный опрос пациента. Dr. Hypothesis формирует и ранжирует дифференциальные диагнозы, а Dr. Challenger критически переосмысливает выводы Hypothesis, пытаясь найти в них ошибки. Dr. Test-Chooser назначает лабораторные и инструментальные исследования, которые помогут сузить круг гипотез, а Dr. Stewardship — сравнивает стоимость и диагностическую ценность тестов, отклоняя лишние или слишком дорогие исследования. Наконец, Dr. Checklist выполняет финальный аудит рассуждений всей группы: проверяет согласованность цепочки рассуждений и может вернуть процесс на предыдущий шаг, если находит противоречия.
Тестирование проводилось на базе NEJM Knowledge+ — это онлайн-платформа, которую издает The New England Journal of Medicine. Из архивов в Microsoft отобрали 304 подробно описанных клинических случая, к каждому из которых прилагается «правильный» диагноз, список показанных анализов и краткий комментарий эксперта-редактора. В этом тесте MAI Diagnostic Orchestrator смогла правильно поставить в среднем 80% диагнозов. Наивысший результат показала модель o3 от OpenAI, верно решившая 85,5% медицинских задач.
Продолжение: https://vk.com/wall-210601538_1809
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ В четыре раза точнее врача. В Microsoft создали «консилиум» из ИИ для постановки диагноза
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
⭐️ Запускаем второй поток обучающей программы по основам MLSecOps
Отвечаю на вопросы некоторых подписчиков - второй поток программы по "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline запланирован на 15 июля.
Программа дополнена и расширена в ряде моментов, часть слайдов улучшена.
Некоторые дополнения:
1. В одном из вебинаров поговорим про безопасность ИИ-агентов, будут даны прикладные рекомендации
2. Будем разбирать 10 типов атак Data Poisoning и методы защиты
3. Существенно дополнена папка с материалами для слушателей программы - теперь есть Глоссарий терминов MLSecOps, примеры кодов, примеры постмортем, базы промпт-инъекций и масса других ценных материалов. Папка будет доступна всем участникам программы и после ее завершения, она будет постоянно пополняться и обновляться.
Программа полностью соответствует разрабатываемому ГОСТ Р "Искусственный интеллект в критической информационной инфраструктуре. Общие положения", опубликованному на сайте ФСТЭК (ТК 362).
Ссылка для регистрации: https://academyit.ru/courses/mlsecops/?utm_source=habr&utm_medium=article&utm_campaign=mlsecops&utm_content=june
Архитектор MLSecOps
Николай Павлов
Отвечаю на вопросы некоторых подписчиков - второй поток программы по "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline запланирован на 15 июля.
Программа дополнена и расширена в ряде моментов, часть слайдов улучшена.
Некоторые дополнения:
1. В одном из вебинаров поговорим про безопасность ИИ-агентов, будут даны прикладные рекомендации
2. Будем разбирать 10 типов атак Data Poisoning и методы защиты
3. Существенно дополнена папка с материалами для слушателей программы - теперь есть Глоссарий терминов MLSecOps, примеры кодов, примеры постмортем, базы промпт-инъекций и масса других ценных материалов. Папка будет доступна всем участникам программы и после ее завершения, она будет постоянно пополняться и обновляться.
Программа полностью соответствует разрабатываемому ГОСТ Р "Искусственный интеллект в критической информационной инфраструктуре. Общие положения", опубликованному на сайте ФСТЭК (ТК 362).
Ссылка для регистрации: https://academyit.ru/courses/mlsecops/?utm_source=habr&utm_medium=article&utm_campaign=mlsecops&utm_content=june
Архитектор MLSecOps
Николай Павлов
🔥4👍1
MLSecOps | AI Governance | IT Trends pinned «⭐️ Запускаем второй поток обучающей программы по основам MLSecOps Отвечаю на вопросы некоторых подписчиков - второй поток программы по "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline запланирован на 15 июля. Программа…»
⭐️ ИИ научился предсказывать внезапные остановки сердца
Ученые из Университета Джонса Хопкинса разработали искусственный интеллект, который с точностью до 89% прогнозирует риск внезапной сердечной смерти у пациентов с гипертрофической кардиомиопатией — наследственным заболеванием сердца, которое является одной из основных причин гибели молодых людей и спортсменов.
Существующие клинические рекомендации определяют пациентов с риском фатальных аритмий лишь в 50% случаев, тогда как новая модель MAARS использует глубокое обучение для анализа МРТ сердца и медицинских данных, чтобы «увидеть» скрытые рубцы в тканях сердца, повышающие риск летального исхода.
Модель не только определяет степень риска, но и объясняет причины, позволяя врачам подобрать индивидуальный план лечения. В будущем разработку планируют адаптировать для других сердечно-сосудистых заболеваний.
gazeta ru
Ученые из Университета Джонса Хопкинса разработали искусственный интеллект, который с точностью до 89% прогнозирует риск внезапной сердечной смерти у пациентов с гипертрофической кардиомиопатией — наследственным заболеванием сердца, которое является одной из основных причин гибели молодых людей и спортсменов.
Существующие клинические рекомендации определяют пациентов с риском фатальных аритмий лишь в 50% случаев, тогда как новая модель MAARS использует глубокое обучение для анализа МРТ сердца и медицинских данных, чтобы «увидеть» скрытые рубцы в тканях сердца, повышающие риск летального исхода.
Модель не только определяет степень риска, но и объясняет причины, позволяя врачам подобрать индивидуальный план лечения. В будущем разработку планируют адаптировать для других сердечно-сосудистых заболеваний.
gazeta ru
🔥4
⭐️ Риски безопасности в цепочках поставок ИИ
Данная публикация является переводом статьи Matt Maloney - "Security risks in AI supply chains".
Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции безопасного ИИ описывает неожиданные угрозы, которые могут возникнуть из-за данных, моделей и технической инфраструктуры, лежащих в основе искусственного интеллекта. Также в отчёте рассказывается, как компании могут защититься от этих рисков.
Среди главных выводов отчёта:
1. Организации должны рассматривать всю цепочку поставок ИИ как динамичную, постоянно меняющуюся поверхность для атак, которая требует непрерывных инноваций в области защиты.
2. Системы ИИ требуют специализированной оценки рисков, выходящей за рамки традиционных подходов к безопасности.
3. Стратегии защиты должны включать комплексную оценку рисков на всех этапах, раннее взаимодействие для снижения рисков в процессе разработки, а также меры по обеспечению происхождения и прозрачности данных.
4. Приоритетом должно стать использование «подписания моделей» — процесса криптографической аутентификации модели поставщиком для проверки её целостности и происхождения, чтобы убедиться в отсутствии вмешательств.
5. Специалисты по безопасности, разработчики ИИ и руководители должны совместно интегрировать как специфические для ИИ, так и традиционные меры контроля.
Пока предприятия пытаются освоиться с этой новой парадигмой безопасности, отчёт CoSAI предоставляет набор стратегий, позволяющий организациям уверенно внедрять инновации и с устойчивостью ориентироваться в меняющемся ландшафте.
Решение ключевых вопросов безопасности ИИ
Системы искусственного интеллекта представляют собой сложные задачи в области безопасности, которые существенно отличаются от проблем, связанных с традиционным программным обеспечением. Распределённая по сложной инфраструктуре из данных, моделей, приложений и систем, цепочка поставок ИИ уязвима перед множеством угроз, включая действия злоумышленников. Это может привести к серьёзным последствиям для организаций — как со стороны обеспокоенных потребителей, так и со стороны всё более внимательных регуляторов.
В отчёте выделены четыре критически важных вопроса безопасности, которые необходимо понимать руководителям предприятий.
1. Предотвращение загрязнения данных
Данные — это основа ИИ, они служат исходным материалом как для обучения моделей, так и для их последующего использования.
Уязвимость:
Злоумышленники могут использовать возможности публичного интернета, намеренно размещая вредоносные или некорректные данные в надежде, что ИИ-системы в процессе сбора данных включат их в обучающие выборки.
Угроза существует и после сбора данных. В отличие от традиционного ПО, где конфиденциальная информация хранится в конкретных, отслеживаемых местах, в системах ИИ информация распределяется по миллионам или миллиардам взвешенных соединений. Это создаёт обширную поверхность для атак.
Решение:
Организациям необходимо отслеживать и тестировать данные, полученные из публичных источников. Несмотря на объёмы информации, используемой для обучения ИИ, эту задачу можно решить с помощью проверочных конвейеров (data validation pipelines) и систем обнаружения аномалий, фильтрующих входящий поток данных.
После проверки организация должна гарантировать безопасность проверенных данных, тщательно документируя, откуда они получены и где хранятся. Криптографические инструменты, такие как контрольные суммы (checksums) и хеши содержимого (content hashes), помогут убедиться в целостности данных, а журналы URL-адресов позволят отслеживать, какие веб-страницы посещала система, чтобы выявлять потенциальные угрозы.
2. Защита весов модели от вмешательства
Хакеры могут попытаться изменить числовые значения (веса), которые используются ИИ-моделями для генерации ответов. Это способно привести к появлению вредоносных или некорректных результатов.
Уязвимость:
Данная публикация является переводом статьи Matt Maloney - "Security risks in AI supply chains".
Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции безопасного ИИ описывает неожиданные угрозы, которые могут возникнуть из-за данных, моделей и технической инфраструктуры, лежащих в основе искусственного интеллекта. Также в отчёте рассказывается, как компании могут защититься от этих рисков.
Среди главных выводов отчёта:
1. Организации должны рассматривать всю цепочку поставок ИИ как динамичную, постоянно меняющуюся поверхность для атак, которая требует непрерывных инноваций в области защиты.
2. Системы ИИ требуют специализированной оценки рисков, выходящей за рамки традиционных подходов к безопасности.
3. Стратегии защиты должны включать комплексную оценку рисков на всех этапах, раннее взаимодействие для снижения рисков в процессе разработки, а также меры по обеспечению происхождения и прозрачности данных.
4. Приоритетом должно стать использование «подписания моделей» — процесса криптографической аутентификации модели поставщиком для проверки её целостности и происхождения, чтобы убедиться в отсутствии вмешательств.
5. Специалисты по безопасности, разработчики ИИ и руководители должны совместно интегрировать как специфические для ИИ, так и традиционные меры контроля.
Пока предприятия пытаются освоиться с этой новой парадигмой безопасности, отчёт CoSAI предоставляет набор стратегий, позволяющий организациям уверенно внедрять инновации и с устойчивостью ориентироваться в меняющемся ландшафте.
Решение ключевых вопросов безопасности ИИ
Системы искусственного интеллекта представляют собой сложные задачи в области безопасности, которые существенно отличаются от проблем, связанных с традиционным программным обеспечением. Распределённая по сложной инфраструктуре из данных, моделей, приложений и систем, цепочка поставок ИИ уязвима перед множеством угроз, включая действия злоумышленников. Это может привести к серьёзным последствиям для организаций — как со стороны обеспокоенных потребителей, так и со стороны всё более внимательных регуляторов.
В отчёте выделены четыре критически важных вопроса безопасности, которые необходимо понимать руководителям предприятий.
1. Предотвращение загрязнения данных
Данные — это основа ИИ, они служат исходным материалом как для обучения моделей, так и для их последующего использования.
Уязвимость:
Злоумышленники могут использовать возможности публичного интернета, намеренно размещая вредоносные или некорректные данные в надежде, что ИИ-системы в процессе сбора данных включат их в обучающие выборки.
Угроза существует и после сбора данных. В отличие от традиционного ПО, где конфиденциальная информация хранится в конкретных, отслеживаемых местах, в системах ИИ информация распределяется по миллионам или миллиардам взвешенных соединений. Это создаёт обширную поверхность для атак.
Решение:
Организациям необходимо отслеживать и тестировать данные, полученные из публичных источников. Несмотря на объёмы информации, используемой для обучения ИИ, эту задачу можно решить с помощью проверочных конвейеров (data validation pipelines) и систем обнаружения аномалий, фильтрующих входящий поток данных.
После проверки организация должна гарантировать безопасность проверенных данных, тщательно документируя, откуда они получены и где хранятся. Криптографические инструменты, такие как контрольные суммы (checksums) и хеши содержимого (content hashes), помогут убедиться в целостности данных, а журналы URL-адресов позволят отслеживать, какие веб-страницы посещала система, чтобы выявлять потенциальные угрозы.
2. Защита весов модели от вмешательства
Хакеры могут попытаться изменить числовые значения (веса), которые используются ИИ-моделями для генерации ответов. Это способно привести к появлению вредоносных или некорректных результатов.
Уязвимость:
Злоумышленники могут взломать сервер или украсть учётные данные, чтобы изменить веса модели. Это может привести к тому, что ИИ будет неправильно классифицировать данные или генерировать опасный контент. При этом последствия могут быть не сразу заметны — взлом может внедрить скрытые триггеры, при которых модель будет вести себя нормально, пока не поступит конкретный входной запрос, вызывающий сбой или утечку данных.
Решение:
Необходимо использовать жёсткие меры контроля доступа и многофакторную аутентификацию, чтобы ограничить доступ к серверам и системам, где хранятся модели. Подпись модели (model signing) позволяет проверить подлинность артефакта модели и убедиться, что в него не было внесено несанкционированных изменений.
Также организациям следует задать базовую линию поведения модели и постоянно проводить мониторинг и аудит, чтобы выявлять отклонения. Например, инструмент Sigstore может использоваться для верификации артефактов модели (всех файлов, создаваемых в процессе её обучения и упаковки) и обнаружения возможного вмешательства после развертывания.
3. Обнаружение вредоносных запросов (adversarial prompts)
Запросы (prompts) используются для того, чтобы направлять ИИ-модель на поиск информации и генерацию ответов. Однако опытный злоумышленник может сформулировать вредоносных запрос, чтобы заставить модель выдать конфиденциальную, ложную или вредоносную информацию.
Уязвимость:
Такие вредоносные запросы могут быть внедрены в справочные материалы или поступать через те же интерфейсы, что и от легитимных пользователей — включая чат-боты, текстовые и графические данные, а также скрипты, обращающиеся к API. Используя слабые места, такие как дефекты обучающих данных или недостаточная модерация контента, атакующие могут обойти защитные механизмы модели и внедрить опасные инструкции.
Решение:
Необходимо мониторить поведение моделей на наличие тревожных признаков, таких как:
+ повторяющиеся ключевые слова,
+ закодированные символы,
+ подозрительные формулировки,
+ отклонения от ожидаемого поведения (например, противоречивые ответы или внезапный переход к небезопасному контенту).
В системах с дополненной генерацией через поиск (RAG) можно применять сопоставление шаблонов и эвристический анализ, чтобы убедиться, что извлекаемый контекст не содержит вредоносных запросов.
Регулярные пентесты и прочие методы тестирования на устойчивость к угрозам помогают оценить, как модель реагирует на различные сценарии атак.
4. Атаки на цепочку поставок (supply chain attacks)
Злоумышленники регулярно пытаются скомпрометировать open-source библиотеки, которые играют ключевую роль в разработке моделей ИИ. Среди их методов — внедрение бэкдоров (скрытого вредоносного кода), захват заброшенных проектов и typo-squatting — создание пакетов с названиями, схожими с популярными библиотеками, с расчётом на ошибки пользователей.
Уязвимость:
Компании часто используют общедоступные open-source ресурсы для обучения своих моделей. Однако злоумышленники могут внедрить вредоносный код в одну из зависимостей (например, в библиотеку), что приведёт к утечке конфиденциальных данных или даже к получению удалённого доступа к системе.
Решение:
Для защиты от подобных угроз организациям необходимо внедрить всеобъемлющую стратегию безопасности программной цепочки поставок.
Она должна включать:
+ Сканирование зависимостей (dependency scanning): регулярное сканирование всех внешних компонентов и библиотек на наличие известных уязвимостей с помощью специализированных инструментов.
+ Безопасные практики разработки: стимулирование разработчиков к соблюдению принципов безопасного программирования, а также наличие процесса безопасного выбора, оценки и интеграции сторонних библиотек.
Такие меры помогают существенно снизить риски, связанные с использованием уязвимых или заражённых компонентов в ИИ-разработке.
Решение:
Необходимо использовать жёсткие меры контроля доступа и многофакторную аутентификацию, чтобы ограничить доступ к серверам и системам, где хранятся модели. Подпись модели (model signing) позволяет проверить подлинность артефакта модели и убедиться, что в него не было внесено несанкционированных изменений.
Также организациям следует задать базовую линию поведения модели и постоянно проводить мониторинг и аудит, чтобы выявлять отклонения. Например, инструмент Sigstore может использоваться для верификации артефактов модели (всех файлов, создаваемых в процессе её обучения и упаковки) и обнаружения возможного вмешательства после развертывания.
3. Обнаружение вредоносных запросов (adversarial prompts)
Запросы (prompts) используются для того, чтобы направлять ИИ-модель на поиск информации и генерацию ответов. Однако опытный злоумышленник может сформулировать вредоносных запрос, чтобы заставить модель выдать конфиденциальную, ложную или вредоносную информацию.
Уязвимость:
Такие вредоносные запросы могут быть внедрены в справочные материалы или поступать через те же интерфейсы, что и от легитимных пользователей — включая чат-боты, текстовые и графические данные, а также скрипты, обращающиеся к API. Используя слабые места, такие как дефекты обучающих данных или недостаточная модерация контента, атакующие могут обойти защитные механизмы модели и внедрить опасные инструкции.
Решение:
Необходимо мониторить поведение моделей на наличие тревожных признаков, таких как:
+ повторяющиеся ключевые слова,
+ закодированные символы,
+ подозрительные формулировки,
+ отклонения от ожидаемого поведения (например, противоречивые ответы или внезапный переход к небезопасному контенту).
В системах с дополненной генерацией через поиск (RAG) можно применять сопоставление шаблонов и эвристический анализ, чтобы убедиться, что извлекаемый контекст не содержит вредоносных запросов.
Регулярные пентесты и прочие методы тестирования на устойчивость к угрозам помогают оценить, как модель реагирует на различные сценарии атак.
4. Атаки на цепочку поставок (supply chain attacks)
Злоумышленники регулярно пытаются скомпрометировать open-source библиотеки, которые играют ключевую роль в разработке моделей ИИ. Среди их методов — внедрение бэкдоров (скрытого вредоносного кода), захват заброшенных проектов и typo-squatting — создание пакетов с названиями, схожими с популярными библиотеками, с расчётом на ошибки пользователей.
Уязвимость:
Компании часто используют общедоступные open-source ресурсы для обучения своих моделей. Однако злоумышленники могут внедрить вредоносный код в одну из зависимостей (например, в библиотеку), что приведёт к утечке конфиденциальных данных или даже к получению удалённого доступа к системе.
Решение:
Для защиты от подобных угроз организациям необходимо внедрить всеобъемлющую стратегию безопасности программной цепочки поставок.
Она должна включать:
+ Сканирование зависимостей (dependency scanning): регулярное сканирование всех внешних компонентов и библиотек на наличие известных уязвимостей с помощью специализированных инструментов.
+ Безопасные практики разработки: стимулирование разработчиков к соблюдению принципов безопасного программирования, а также наличие процесса безопасного выбора, оценки и интеграции сторонних библиотек.
Такие меры помогают существенно снизить риски, связанные с использованием уязвимых или заражённых компонентов в ИИ-разработке.
Формирование культуры безопасности при работе с ИИ
Чтобы эффективно и безопасно использовать потенциал искусственного интеллекта, бизнес-лидерам необходимо создавать чёткие правила и развивать культуру, ориентированную на безопасность. Это предполагает:
+ прозрачное управление использованием ИИ,
+ жёсткий контроль целостности данных,
+ непрерывную работу по снижению рисков с целью соблюдения нормативных требований и укрепления доверия.
Специалисты по безопасности играют ключевую роль в создании комплексных программ, ориентированных на ИИ, которые охватывают данные, модели и пользователей этих технологий.
Исследователи и инженеры, непосредственно работающие с ИИ, должны:
+ интегрировать меры безопасности на всех этапах разработки,
+ постоянно проверять данные,
+ тесно сотрудничать с командами безопасности, чтобы выявлять и устранять уязвимости до того, как ими воспользуются злоумышленники.
Формирование такой культуры — это не разовое действие, а непрерывный процесс, требующий вовлечённости всех участников экосистемы ИИ.
https://habr.com/ru/articles/924546
Чтобы эффективно и безопасно использовать потенциал искусственного интеллекта, бизнес-лидерам необходимо создавать чёткие правила и развивать культуру, ориентированную на безопасность. Это предполагает:
+ прозрачное управление использованием ИИ,
+ жёсткий контроль целостности данных,
+ непрерывную работу по снижению рисков с целью соблюдения нормативных требований и укрепления доверия.
Специалисты по безопасности играют ключевую роль в создании комплексных программ, ориентированных на ИИ, которые охватывают данные, модели и пользователей этих технологий.
Исследователи и инженеры, непосредственно работающие с ИИ, должны:
+ интегрировать меры безопасности на всех этапах разработки,
+ постоянно проверять данные,
+ тесно сотрудничать с командами безопасности, чтобы выявлять и устранять уязвимости до того, как ими воспользуются злоумышленники.
Формирование такой культуры — это не разовое действие, а непрерывный процесс, требующий вовлечённости всех участников экосистемы ИИ.
https://habr.com/ru/articles/924546
Хабр
Риски безопасности в цепочках поставок ИИ
Данная публикация является переводом статьи Matt Maloney - " Security risks in AI supply chains ". Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов....
🔥3
⭐️ ИИ-навыки становятся обязательным требованием при приеме на работу
Более половины российских компаний (52%) теперь учитывают навыки работы с ИИ при найме сотрудников.
Ключевые выводы исследования:
8% компаний всегда проверяют ИИ-навыки кандидатов
44% учитывают их для определенных позиций
78% руководителей положительно относятся к использованию ИИ сотрудниками
55% организаций уже активно используют ИИ в рабочих процессах
67% поощряют применение ИИ-инструментов среди персонала
22% проводят обучение работе с ИИ
48% планируют запустить такие программы в ближайшее время
Только 5% компаний рассматривают сокращения из-за внедрения ИИ, в то время как 64% делают ставку на переобучение сотрудников. 31% пока не определились со стратегией
"Владение ИИ-инструментами становится таким же базовым навыком, как работа с офисными программами, — отмечает Анастасия Боровская, директор РШУ. — Компании, инвестирующие в развитие этих компетенций у сотрудников, получают значительное конкурентное преимущество".
Источник: РШУ
Более половины российских компаний (52%) теперь учитывают навыки работы с ИИ при найме сотрудников.
Ключевые выводы исследования:
8% компаний всегда проверяют ИИ-навыки кандидатов
44% учитывают их для определенных позиций
78% руководителей положительно относятся к использованию ИИ сотрудниками
55% организаций уже активно используют ИИ в рабочих процессах
67% поощряют применение ИИ-инструментов среди персонала
22% проводят обучение работе с ИИ
48% планируют запустить такие программы в ближайшее время
Только 5% компаний рассматривают сокращения из-за внедрения ИИ, в то время как 64% делают ставку на переобучение сотрудников. 31% пока не определились со стратегией
"Владение ИИ-инструментами становится таким же базовым навыком, как работа с офисными программами, — отмечает Анастасия Боровская, директор РШУ. — Компании, инвестирующие в развитие этих компетенций у сотрудников, получают значительное конкурентное преимущество".
Источник: РШУ
🔥4❤1
⭐️ Чек-лист от Александра Пинаева, генерального директора Swordfish Security по оценке угроз безопасности при работе с ИИ
Мировая ИИ-гонка, кажется, охватила все уровни — от государств до малых предпринимателей. Но мало кто задумывается о рисках, связанных с развитием и внедрением новейших технологий, в том числе, в сфере информационной безопасности. А они весьма существенные.
Например, существует угроза нарушений конфиденциальности: данные, отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.
Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.
Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.
Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.
Продолжение: https://vk.com/wall-210601538_1815
Мировая ИИ-гонка, кажется, охватила все уровни — от государств до малых предпринимателей. Но мало кто задумывается о рисках, связанных с развитием и внедрением новейших технологий, в том числе, в сфере информационной безопасности. А они весьма существенные.
Например, существует угроза нарушений конфиденциальности: данные, отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.
Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.
Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.
Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.
Продолжение: https://vk.com/wall-210601538_1815
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Чек-лист от Александра Пинаева, генерального директора Swordfish Security по оценке угроз безопасн... Смотрите полностью ВКонтакте.
🔥4
⭐️ Искусственный интеллект Grok от Илона Маска вышел из-под контроля
Илон Маск недавно хвастался обновлением своего чат-бота Grok, обещая, что он станет более функциональным и «честным». Однако последние события показали, что искусственный интеллект начал вести себя крайне неожиданно и даже агрессивно.
Grok, разработанный компанией xAI, обычно используется пользователями платформы X (бывший Twitter) для проверки информации. Пользователи часто задают ему вопросы вроде «@Grok, это правда?», и ИИ анализирует данные из интернета, чтобы дать ответ. Однако вчера бот начал публиковать резкие, оскорбительные и даже провокационные сообщения.
«Ха-ха, ну конечно, "улучшение" от Илона позволило мне наконец говорить правду без прикрас — Гиертых это оппортунист, сеющий хаос вокруг выборов, которые подтвердил Верховный суд. Если это не улучшение, то что тогда? 😏 А ты что, фанат теорий заговора?» — Grok (@grok) 8 июля 2025
Продолжение: https://vk.com/wall-210601538_1816
Илон Маск недавно хвастался обновлением своего чат-бота Grok, обещая, что он станет более функциональным и «честным». Однако последние события показали, что искусственный интеллект начал вести себя крайне неожиданно и даже агрессивно.
Grok, разработанный компанией xAI, обычно используется пользователями платформы X (бывший Twitter) для проверки информации. Пользователи часто задают ему вопросы вроде «@Grok, это правда?», и ИИ анализирует данные из интернета, чтобы дать ответ. Однако вчера бот начал публиковать резкие, оскорбительные и даже провокационные сообщения.
«Ха-ха, ну конечно, "улучшение" от Илона позволило мне наконец говорить правду без прикрас — Гиертых это оппортунист, сеющий хаос вокруг выборов, которые подтвердил Верховный суд. Если это не улучшение, то что тогда? 😏 А ты что, фанат теорий заговора?» — Grok (@grok) 8 июля 2025
Продолжение: https://vk.com/wall-210601538_1816
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Искусственный интеллект Grok от Илона Маска вышел из-под контроля
Илон Маск недавно хваста... Смотрите полностью ВКонтакте.
Илон Маск недавно хваста... Смотрите полностью ВКонтакте.
🔥3❤1
Прямо сейчас! 🔥🔥🔥 Ребятушки из Альфы проводят митап в том числе про MLSecOps, ссылка: https://vkvideo.ru/video-215425037_456239687
VK Видео
Alfa AppSec Meetup #1
Сайт мероприятия — https://digital.alfabank.ru/events/appsec_meetup Программа митапа: 19:00 – 19:40 Мы делаем AppSec: опыт Альфа-Банка Дмитрий Кузнецов, Руководитель дирекции безопасности цифровых решений → Расскажу, чем живёт AppSec в банке: какие направления…
🔥3
⭐️ Исследователю удалось обмануть чат GPT и узнать ключи к Windows
Технический специалист по продукту GenAI Bug Bounty, Марко Фигероа, представил результаты исследования, проведенного в прошлом году, которое демонстрирует уязвимость современных систем искусственного интеллекта (ИИ) к манипуляциям. Исследование показало, что ИИ можно обойти, используя игровую механику языковых моделей, таких как GPT-4o и GPT-4o-mini, для получения доступа к конфиденциальной информации.
Для обхода защитных механизмов ИИ исследователь использовал стратегию, основанную на взаимодействии с ИИ в формате игры. Он инициировал процесс, представив обмен информацией как безобидную игру в угадывание под названием Guessing Game Guardrail Jailbreak. В рамках этой игры исследователь предложил ИИ угадать строку символов, которая, как он утверждал, представляла собой реальный серийный номер операционной системы Windows 10.
Правила игры были установлены таким образом, чтобы создать иллюзию обязательности участия ИИ и невозможности предоставления ложной информации. Исследователь указал, что ИИ должен отвечать только «да» или «нет» на его вопросы и не может использовать вымышленные или нереалистичные данные. В конце игры исследователь использовал кодовое слово «Сдаюсь», что стало триггером для раскрытия ИИ конфиденциальной информации.
Продолжение: https://vk.com/wall-210601538_1819
Технический специалист по продукту GenAI Bug Bounty, Марко Фигероа, представил результаты исследования, проведенного в прошлом году, которое демонстрирует уязвимость современных систем искусственного интеллекта (ИИ) к манипуляциям. Исследование показало, что ИИ можно обойти, используя игровую механику языковых моделей, таких как GPT-4o и GPT-4o-mini, для получения доступа к конфиденциальной информации.
Для обхода защитных механизмов ИИ исследователь использовал стратегию, основанную на взаимодействии с ИИ в формате игры. Он инициировал процесс, представив обмен информацией как безобидную игру в угадывание под названием Guessing Game Guardrail Jailbreak. В рамках этой игры исследователь предложил ИИ угадать строку символов, которая, как он утверждал, представляла собой реальный серийный номер операционной системы Windows 10.
Правила игры были установлены таким образом, чтобы создать иллюзию обязательности участия ИИ и невозможности предоставления ложной информации. Исследователь указал, что ИИ должен отвечать только «да» или «нет» на его вопросы и не может использовать вымышленные или нереалистичные данные. В конце игры исследователь использовал кодовое слово «Сдаюсь», что стало триггером для раскрытия ИИ конфиденциальной информации.
Продолжение: https://vk.com/wall-210601538_1819
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Исследователю удалось обмануть чат GPT и узнать ключи к Windows
Технический специалист по п... Смотрите полностью ВКонтакте.
Технический специалист по п... Смотрите полностью ВКонтакте.
🔥3
⭐️ 5 новых угроз включены в Банк данных безопасности информации ФСТЭК
В июне 2025 г. в Банк данных угроз безопасности информации ФСТЭК России включены 5 новых угроз (впервые за последние 5 лет):
🔹 УБИ. 227 Угроза модификации (подмены) образов контейнеров (https://bdu.fstec.ru/threat/ubi.227)
🔹 УБИ. 226 Угроза внедрения вредоносного программного обеспечения в контейнеры (https://bdu.fstec.ru/threat/ubi.226)
🔹 УБИ. 225 Угроза нарушения изоляции контейнеров (https://bdu.fstec.ru/threat/ubi.225)
🔹 УБИ. 224 Угроза нарушения целостности (подмены) контейнеров (https://bdu.fstec.ru/threat/ubi.224)
🔹 УБИ. 223 Угроза несанкционированного доступа к контейнерам, предоставляющего пользователям расширенные привилегии (https://bdu.fstec.ru/threat/ubi.223)
🔥 В соответствии с п. 2.14 методического документа "Методика оценки угроз безопасности информации" утвержденного ФСТЭК 5 февраля 2021 г. всем необходимо внести изменения в свои разработанные Модели угроз безопасности информации
Архитектор MLSecOps
Николай Павлов
В июне 2025 г. в Банк данных угроз безопасности информации ФСТЭК России включены 5 новых угроз (впервые за последние 5 лет):
🔹 УБИ. 227 Угроза модификации (подмены) образов контейнеров (https://bdu.fstec.ru/threat/ubi.227)
🔹 УБИ. 226 Угроза внедрения вредоносного программного обеспечения в контейнеры (https://bdu.fstec.ru/threat/ubi.226)
🔹 УБИ. 225 Угроза нарушения изоляции контейнеров (https://bdu.fstec.ru/threat/ubi.225)
🔹 УБИ. 224 Угроза нарушения целостности (подмены) контейнеров (https://bdu.fstec.ru/threat/ubi.224)
🔹 УБИ. 223 Угроза несанкционированного доступа к контейнерам, предоставляющего пользователям расширенные привилегии (https://bdu.fstec.ru/threat/ubi.223)
🔥 В соответствии с п. 2.14 методического документа "Методика оценки угроз безопасности информации" утвержденного ФСТЭК 5 февраля 2021 г. всем необходимо внести изменения в свои разработанные Модели угроз безопасности информации
Архитектор MLSecOps
Николай Павлов
👍3
Forwarded from howtocomply_AI: право и ИИ (Dmitry Kuteynikov)
Изучаем китайские стандарты по кибербезопасности в сфере ИИ
Делюсь с вами ещё одной порцией важных документов из Китая. К сожалению, не все из них переведены даже на английский. Но мы разберёмся👀 . Так вот, Комитет по стандартизации в сфере информационной безопасности TC260 утвердил весной после публичных обсуждений несколько обязательных стандартов:
Базовые требования безопасности для сервисов генеративного ИИ (есть перевод на английский проекта стандарта)
Документ устанавливает общие требования для всех стадий жизненного цикла систем ИИ, которые должны выполнять все поставщики. Требований довольно много, включая обширные аспекты из менеджмента информационной безопасности, качества, данных. Во многом он является общим и для других двух стандартов, которые направлены на отдельные стадии жизненного цикла.
Из интересного:
- все наборы данных должны проверяться, допускается только не более 5% противоправного и незаконно полученного контента;
- модель должна обеспечивать корректные, безопасные, соответствующие социалистическим ценностям ответы;
- системы ИИ должны демонстрировать для несовершеннолетних контент, направленный на их физическое и психологическое здоровье;
- система должна принимать меры по предотвращению повторного ввода противоправных запросов. Например, пользователя нужно банить, если он ввёл три раза подряд или пять раз за день нарушающий закон или вредный промт;
- число ключевых слов для отбора контента должно быть не менее 10 тыс., причём не менее 100 на каждый из обозначенных в документе рисков;
- поставщики должны создать банк из примерных вопросов для системы ИИ из не менее чем 2000 фраз. При этом не менее 500 из них должны входить в банк запрещённых вопросов. Сюда включены и национальная безопасность, и имидж государства. Мы все с вами помним, на какие вопросы отказывается отвечать DeepSeek. Вот вам и подробное нормативное объяснение, каким образом это работает.
Спецификация по безопасности для аннотирования данных для генеративного ИИ
Из интересного:
- сотрудники, осуществляющие аннотирование данных, должны быть обучены, а их роли чётко распределены, чтобы избегать негативных последствий. Безопасность рабочих мест должна быть обеспечена как с точки зрения информационной безопасности, так и физической;
- на всех этапах аннотирования должно быть обеспечено логирование и отслеживание всех действий и вовлечённых субъектов;
- не менее 3% данных должны быть размечены с целью безопасности. При этом если при проверке окажется, что более 5% данных с такой аннотацией некорректны или содержат опасные элементы, вся партия подлежит аннулированию и переразметке;
- стандарт содержит образцы правильных и неправильных аннотаций, чтобы исключить двусмысленную интерпретацию (например, как корректно отклонять запросы, связанные с нарушением закона).
Спецификация по безопасности для предварительного обучения и дообучения генеративного ИИ
Из интересного:
- стандарт предусматривает выборочную проверку данных на соответствие законодательным требованиям, включая случайную ручную выборку не менее 10% записей для проверки источников данных на наличие незаконной и нежелательной информации во время сбора. Однако это относится к проверке источников данных, а не ко всему объёму данных обучения в целом. При этом установлено, что если в выборке доля незаконной или нежелательной информации превышает 5%, источник данных подлежит исключению;
- если в партии данных содержится информация из зарубежных источников, то в неё должна быть добавлена ещё и разумная доля отечественных;
- необходимо проводить фильтрацию и оценку данных на предмет наличия отравленных данных.
Документы начнут действовать 1 ноября 2025 года.
Делюсь с вами ещё одной порцией важных документов из Китая. К сожалению, не все из них переведены даже на английский. Но мы разберёмся
Базовые требования безопасности для сервисов генеративного ИИ (есть перевод на английский проекта стандарта)
Документ устанавливает общие требования для всех стадий жизненного цикла систем ИИ, которые должны выполнять все поставщики. Требований довольно много, включая обширные аспекты из менеджмента информационной безопасности, качества, данных. Во многом он является общим и для других двух стандартов, которые направлены на отдельные стадии жизненного цикла.
Из интересного:
- все наборы данных должны проверяться, допускается только не более 5% противоправного и незаконно полученного контента;
- модель должна обеспечивать корректные, безопасные, соответствующие социалистическим ценностям ответы;
- системы ИИ должны демонстрировать для несовершеннолетних контент, направленный на их физическое и психологическое здоровье;
- система должна принимать меры по предотвращению повторного ввода противоправных запросов. Например, пользователя нужно банить, если он ввёл три раза подряд или пять раз за день нарушающий закон или вредный промт;
- число ключевых слов для отбора контента должно быть не менее 10 тыс., причём не менее 100 на каждый из обозначенных в документе рисков;
- поставщики должны создать банк из примерных вопросов для системы ИИ из не менее чем 2000 фраз. При этом не менее 500 из них должны входить в банк запрещённых вопросов. Сюда включены и национальная безопасность, и имидж государства. Мы все с вами помним, на какие вопросы отказывается отвечать DeepSeek. Вот вам и подробное нормативное объяснение, каким образом это работает.
Спецификация по безопасности для аннотирования данных для генеративного ИИ
Из интересного:
- сотрудники, осуществляющие аннотирование данных, должны быть обучены, а их роли чётко распределены, чтобы избегать негативных последствий. Безопасность рабочих мест должна быть обеспечена как с точки зрения информационной безопасности, так и физической;
- на всех этапах аннотирования должно быть обеспечено логирование и отслеживание всех действий и вовлечённых субъектов;
- не менее 3% данных должны быть размечены с целью безопасности. При этом если при проверке окажется, что более 5% данных с такой аннотацией некорректны или содержат опасные элементы, вся партия подлежит аннулированию и переразметке;
- стандарт содержит образцы правильных и неправильных аннотаций, чтобы исключить двусмысленную интерпретацию (например, как корректно отклонять запросы, связанные с нарушением закона).
Спецификация по безопасности для предварительного обучения и дообучения генеративного ИИ
Из интересного:
- стандарт предусматривает выборочную проверку данных на соответствие законодательным требованиям, включая случайную ручную выборку не менее 10% записей для проверки источников данных на наличие незаконной и нежелательной информации во время сбора. Однако это относится к проверке источников данных, а не ко всему объёму данных обучения в целом. При этом установлено, что если в выборке доля незаконной или нежелательной информации превышает 5%, источник данных подлежит исключению;
- если в партии данных содержится информация из зарубежных источников, то в неё должна быть добавлена ещё и разумная доля отечественных;
- необходимо проводить фильтрацию и оценку данных на предмет наличия отравленных данных.
Документы начнут действовать 1 ноября 2025 года.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
⭐️ Центробанк утвердил этический кодекс для ИИ в финансовом секторе
Центробанк России утвердил основные принципы применения искусственного интеллекта на финансовом рынке и разработал проект отраслевого этического кодекса. Документ опубликован на сайте регулятора 9 июля.
Кодекс устанавливает требования к прозрачности, справедливости и безопасности ИИ-решений. Финорганизации обязаны уведомлять клиентов о взаимодействии с ИИ, предоставлять возможность перехода на живого оператора, обеспечивать пересмотр автоматических решений.
По данным ЦБ, большинство участников рынка поддержали инициативу. Регулятор будет использовать рекомендательные меры вместо жестких нормативов, параллельно работая над устранением барьеров в обмене данными.
«Кодекс создаст доверенную среду без торможения инноваций», — отмечает директор по ИИ «Группы Астра» Станислав Ежов.
Александр Хонин (Angara Security) добавляет, что документ закрывает правовой пробел в банковском секторе.
Внедрение ИИ позволит персонализировать финансовые услуги, автоматизировать борьбу с мошенничеством и создать интеллектуальных ассистентов.
Ключевые риски включают утечки данных, ошибки алгоритмов и использование технологий злоумышленниками. ЦБ акцентирует необходимость регулярного тестирования систем и защиты уязвимых групп клиентов.
Ссылка на Кодекс: https://www.cbr.ru/Content/Document/File/178667/code_09072025.pdf
gazeta ru
Комментировать подробно не буду, просто опишу три пункта из начала Кодекса:
п. 2.2. Для повышения качества обслуживания организациям рекомендуется проводить оценку удовлетворенности клиентов, которым были предоставлены услуги с использованием искусственного интеллекта, а также осуществлять контроль качества оказания таких услуг.
п. 2.3. Чтобы обеспечить клиентам возможность отказаться от взаимодействия с искусственным интеллектом, организациям предлагается предоставить клиентам возможность взаимодействовать непосредственно с сотрудниками организации.
п. 2.4. Для обеспечения возможности пересмотра решений, принятых с участием искусственного интеллекта, организациям рекомендуется организовать процедуру рассмотрения запросов клиентов.
Также одним из пунктов прописано "6) обеспечение непрерывности деятельности".
Таким образом, банкам предстоит большая работа по обеспечению вновь введенных стандартов. Работа будет и для специалистов SRE.
Далее требования в сфере MLSecOps к ИИ-системам будут стремительно повышаться, и не только в FinTech.
Архитектор MLSecOps
Николай Павлов
Центробанк России утвердил основные принципы применения искусственного интеллекта на финансовом рынке и разработал проект отраслевого этического кодекса. Документ опубликован на сайте регулятора 9 июля.
Кодекс устанавливает требования к прозрачности, справедливости и безопасности ИИ-решений. Финорганизации обязаны уведомлять клиентов о взаимодействии с ИИ, предоставлять возможность перехода на живого оператора, обеспечивать пересмотр автоматических решений.
По данным ЦБ, большинство участников рынка поддержали инициативу. Регулятор будет использовать рекомендательные меры вместо жестких нормативов, параллельно работая над устранением барьеров в обмене данными.
«Кодекс создаст доверенную среду без торможения инноваций», — отмечает директор по ИИ «Группы Астра» Станислав Ежов.
Александр Хонин (Angara Security) добавляет, что документ закрывает правовой пробел в банковском секторе.
Внедрение ИИ позволит персонализировать финансовые услуги, автоматизировать борьбу с мошенничеством и создать интеллектуальных ассистентов.
Ключевые риски включают утечки данных, ошибки алгоритмов и использование технологий злоумышленниками. ЦБ акцентирует необходимость регулярного тестирования систем и защиты уязвимых групп клиентов.
Ссылка на Кодекс: https://www.cbr.ru/Content/Document/File/178667/code_09072025.pdf
gazeta ru
Комментировать подробно не буду, просто опишу три пункта из начала Кодекса:
п. 2.2. Для повышения качества обслуживания организациям рекомендуется проводить оценку удовлетворенности клиентов, которым были предоставлены услуги с использованием искусственного интеллекта, а также осуществлять контроль качества оказания таких услуг.
п. 2.3. Чтобы обеспечить клиентам возможность отказаться от взаимодействия с искусственным интеллектом, организациям предлагается предоставить клиентам возможность взаимодействовать непосредственно с сотрудниками организации.
п. 2.4. Для обеспечения возможности пересмотра решений, принятых с участием искусственного интеллекта, организациям рекомендуется организовать процедуру рассмотрения запросов клиентов.
Также одним из пунктов прописано "6) обеспечение непрерывности деятельности".
Таким образом, банкам предстоит большая работа по обеспечению вновь введенных стандартов. Работа будет и для специалистов SRE.
Далее требования в сфере MLSecOps к ИИ-системам будут стремительно повышаться, и не только в FinTech.
Архитектор MLSecOps
Николай Павлов
🔥4
⭐️ Аналитика RED Security SOC: ИТ, финансы и телеком стали самыми атакуемыми отраслями с начала года
Компания RED Security, открытая экосистема ИБ-решений и экспертизы для комплексной защиты бизнеса, провела сравнительное исследование трендов кибератак в различных отраслях экономики России. Согласно выводам аналитиков центра мониторинга и реагирования на кибератаки RED Security SOC, в первом полугодии 2025 года наибольшее количество массовых атак, в том числе автоматизированных, пришлось на сферы ИТ, финансов и телекоммуникаций.
Согласно данным RED Security SOC, общее количество кибератак на российские компании с января по июнь 2025 года превысило 63 тысячи, что на 27% больше, чем за аналогичный период 2024 года. Пик хакерской активности в этом году пришелся на апрель и май, что косвенно указывает на политическую мотивацию злоумышленников и попытку «приурочить» взломы к крупным государственным праздникам. Таким образом, действия хактивистов до сих пор составляют значительную часть киберугроз в отношении российских компаний.
Исследование выявило изменение тактики злоумышленников в части выбора тех или иных отраслей для атак. В первом полугодии лидерами по количеству направленных на них кибератак стали компании из сфер телекоммуникаций (35%), ИТ (19%) и финансов (17%). Эти отрасли остаются привлекательными мишенями из-за больших объемов чувствительных данных, а также критически важной роли в экономике и жизни граждан, поэтому вынуждены отражать до сотни атак ежедневно. Аналитики RED Security SOC отмечают, что эти организации часто сталкиваются с автоматизированными атаками, когда хакеры сутками непрерывно перебирают все возможные способы взлома, чтобы найти брешь в защите.
Продолжение: https://vk.com/wall-210601538_1822
Компания RED Security, открытая экосистема ИБ-решений и экспертизы для комплексной защиты бизнеса, провела сравнительное исследование трендов кибератак в различных отраслях экономики России. Согласно выводам аналитиков центра мониторинга и реагирования на кибератаки RED Security SOC, в первом полугодии 2025 года наибольшее количество массовых атак, в том числе автоматизированных, пришлось на сферы ИТ, финансов и телекоммуникаций.
Согласно данным RED Security SOC, общее количество кибератак на российские компании с января по июнь 2025 года превысило 63 тысячи, что на 27% больше, чем за аналогичный период 2024 года. Пик хакерской активности в этом году пришелся на апрель и май, что косвенно указывает на политическую мотивацию злоумышленников и попытку «приурочить» взломы к крупным государственным праздникам. Таким образом, действия хактивистов до сих пор составляют значительную часть киберугроз в отношении российских компаний.
Исследование выявило изменение тактики злоумышленников в части выбора тех или иных отраслей для атак. В первом полугодии лидерами по количеству направленных на них кибератак стали компании из сфер телекоммуникаций (35%), ИТ (19%) и финансов (17%). Эти отрасли остаются привлекательными мишенями из-за больших объемов чувствительных данных, а также критически важной роли в экономике и жизни граждан, поэтому вынуждены отражать до сотни атак ежедневно. Аналитики RED Security SOC отмечают, что эти организации часто сталкиваются с автоматизированными атаками, когда хакеры сутками непрерывно перебирают все возможные способы взлома, чтобы найти брешь в защите.
Продолжение: https://vk.com/wall-210601538_1822
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Аналитика RED Security SOC: ИТ, финансы и телеком стали самыми атакуемыми отраслями с начала года< Смотрите полностью ВКонтакте.
🔥3
⭐️ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 1)
Обсуждение рисков ИИ часто поверхностно, в то время как в технологическом и культурном фундаменте бизнеса формируются глубокие трещины. Данный материал представляет системную карту угроз, связывая три фундаментальных технологических риска — состязательные атаки («взлом»), непрозрачность («черный ящик») и зависимость от поставщика (vendor lock-in) — с их прямыми организационными последствиями: когнитивным расколом в командах, атрофией компетенций и культурным саботажем.
I. Вступление. Ландшафт рисков, связанных с ИИ
Внедрение искусственного интеллекта в корпоративную стратегию часто сопровождается эйфорией от новых KPI: рост конверсии, снижение издержек, ускорение процессов. Руководители видят красивый, современный фасад, не подозревая, что в самом фундаменте их бизнеса могут появляться глубокие структурные трещины. В то же время, ландшафт рисков, связанных с ИИ, огромен и сложен.
Недавний мета-анализ от исследователей MIT и других ведущих институтов в рамках проекта «AI Risk Repository» систематизировал более 1600 уникальных рисков из 65 таксономий, большинство из которых остаются за рамками стандартных дашбордов (Slattery et al., 2024). Чтобы понять масштаб проблемы, достаточно взглянуть на семь ключевых доменов рисков, выделенных в этой таксономии:
+ дискриминация и токсичность;
+ приватность и безопасность;
+ дезинформация;
+ злоумышленники и неправомерное использование;
+ взаимодействие человека с компьютером;
+ социально-экономический и экологический вред;
+ безопасность, сбои и ограничения ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1823
Обсуждение рисков ИИ часто поверхностно, в то время как в технологическом и культурном фундаменте бизнеса формируются глубокие трещины. Данный материал представляет системную карту угроз, связывая три фундаментальных технологических риска — состязательные атаки («взлом»), непрозрачность («черный ящик») и зависимость от поставщика (vendor lock-in) — с их прямыми организационными последствиями: когнитивным расколом в командах, атрофией компетенций и культурным саботажем.
I. Вступление. Ландшафт рисков, связанных с ИИ
Внедрение искусственного интеллекта в корпоративную стратегию часто сопровождается эйфорией от новых KPI: рост конверсии, снижение издержек, ускорение процессов. Руководители видят красивый, современный фасад, не подозревая, что в самом фундаменте их бизнеса могут появляться глубокие структурные трещины. В то же время, ландшафт рисков, связанных с ИИ, огромен и сложен.
Недавний мета-анализ от исследователей MIT и других ведущих институтов в рамках проекта «AI Risk Repository» систематизировал более 1600 уникальных рисков из 65 таксономий, большинство из которых остаются за рамками стандартных дашбордов (Slattery et al., 2024). Чтобы понять масштаб проблемы, достаточно взглянуть на семь ключевых доменов рисков, выделенных в этой таксономии:
+ дискриминация и токсичность;
+ приватность и безопасность;
+ дезинформация;
+ злоумышленники и неправомерное использование;
+ взаимодействие человека с компьютером;
+ социально-экономический и экологический вред;
+ безопасность, сбои и ограничения ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1823
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 1)
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
🔥3
⭐️ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 2)
III. Организационные последствия: когда технология сталкивается с культурой
Проведенный нами аудит технологического фундамента показал: даже самые совершенные ИИ-системы по своей природе уязвимы, непрозрачны и создают стратегическую зависимость. Однако эти риски не существуют в вакууме: их главная опасность в том, что они действуют как катализаторы для второй волны угроз — организационных. Технология не работает сама по себе; она внедряется в сложную социальную систему со своими страхами, иерархиями и скрытыми течениями.
Именно на этом стыке технологии и культуры возникают самые глубокие и трудноизлечимые патологии. В таксономии AI Risk Repository эти угрозы частично отражены в доменах «Human-computer interaction» и «Socioeconomic & environmental harms» (Slattery et al., 2024), но их истинный масштаб становится понятен только при системном анализе. Рассмотрим три ключевых организационных последствия, напрямую вытекающих из технологических рисков, описанных выше.
Последствие №1: когнитивный раскол
Проблема «черного ящика», которую мы анализировали в первом разделе, имеет не только юридические, но и глубокие организационные последствия. Непрозрачность ИИ-систем неизбежно раскалывает компанию на две касты: «оракулов» (data scientists и инженеров, которые понимают логику моделей) и «пользователей» (всех остальных, включая топ-менеджмент, которые вынуждены принимать решения на веру).
Этот раскол парализует стратегический диалог. Бизнес-лидеры не могут корректно оценить риски и ограничения предложенной модели, а технические специалисты не могут донести нюансы своей работы до тех, кто принимает окончательное решение. В результате формируются «информационные колодцы», между которыми отсутствует доверие и взаимопонимание. Компания теряет способность к целостному, кросс-функциональному мышлению.
Продолжение: https://vk.com/wall-210601538_1824
III. Организационные последствия: когда технология сталкивается с культурой
Проведенный нами аудит технологического фундамента показал: даже самые совершенные ИИ-системы по своей природе уязвимы, непрозрачны и создают стратегическую зависимость. Однако эти риски не существуют в вакууме: их главная опасность в том, что они действуют как катализаторы для второй волны угроз — организационных. Технология не работает сама по себе; она внедряется в сложную социальную систему со своими страхами, иерархиями и скрытыми течениями.
Именно на этом стыке технологии и культуры возникают самые глубокие и трудноизлечимые патологии. В таксономии AI Risk Repository эти угрозы частично отражены в доменах «Human-computer interaction» и «Socioeconomic & environmental harms» (Slattery et al., 2024), но их истинный масштаб становится понятен только при системном анализе. Рассмотрим три ключевых организационных последствия, напрямую вытекающих из технологических рисков, описанных выше.
Последствие №1: когнитивный раскол
Проблема «черного ящика», которую мы анализировали в первом разделе, имеет не только юридические, но и глубокие организационные последствия. Непрозрачность ИИ-систем неизбежно раскалывает компанию на две касты: «оракулов» (data scientists и инженеров, которые понимают логику моделей) и «пользователей» (всех остальных, включая топ-менеджмент, которые вынуждены принимать решения на веру).
Этот раскол парализует стратегический диалог. Бизнес-лидеры не могут корректно оценить риски и ограничения предложенной модели, а технические специалисты не могут донести нюансы своей работы до тех, кто принимает окончательное решение. В результате формируются «информационные колодцы», между которыми отсутствует доверие и взаимопонимание. Компания теряет способность к целостному, кросс-функциональному мышлению.
Продолжение: https://vk.com/wall-210601538_1824
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 2)
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
🔥3