MLSecOps | AI Governance | IT Trends pinned «⭐️ Запускаем второй поток обучающей программы по основам MLSecOps Отвечаю на вопросы некоторых подписчиков - второй поток программы по "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline запланирован на 15 июля. Программа…»
⭐️ ИИ научился предсказывать внезапные остановки сердца
Ученые из Университета Джонса Хопкинса разработали искусственный интеллект, который с точностью до 89% прогнозирует риск внезапной сердечной смерти у пациентов с гипертрофической кардиомиопатией — наследственным заболеванием сердца, которое является одной из основных причин гибели молодых людей и спортсменов.
Существующие клинические рекомендации определяют пациентов с риском фатальных аритмий лишь в 50% случаев, тогда как новая модель MAARS использует глубокое обучение для анализа МРТ сердца и медицинских данных, чтобы «увидеть» скрытые рубцы в тканях сердца, повышающие риск летального исхода.
Модель не только определяет степень риска, но и объясняет причины, позволяя врачам подобрать индивидуальный план лечения. В будущем разработку планируют адаптировать для других сердечно-сосудистых заболеваний.
gazeta ru
Ученые из Университета Джонса Хопкинса разработали искусственный интеллект, который с точностью до 89% прогнозирует риск внезапной сердечной смерти у пациентов с гипертрофической кардиомиопатией — наследственным заболеванием сердца, которое является одной из основных причин гибели молодых людей и спортсменов.
Существующие клинические рекомендации определяют пациентов с риском фатальных аритмий лишь в 50% случаев, тогда как новая модель MAARS использует глубокое обучение для анализа МРТ сердца и медицинских данных, чтобы «увидеть» скрытые рубцы в тканях сердца, повышающие риск летального исхода.
Модель не только определяет степень риска, но и объясняет причины, позволяя врачам подобрать индивидуальный план лечения. В будущем разработку планируют адаптировать для других сердечно-сосудистых заболеваний.
gazeta ru
🔥4
⭐️ Риски безопасности в цепочках поставок ИИ
Данная публикация является переводом статьи Matt Maloney - "Security risks in AI supply chains".
Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции безопасного ИИ описывает неожиданные угрозы, которые могут возникнуть из-за данных, моделей и технической инфраструктуры, лежащих в основе искусственного интеллекта. Также в отчёте рассказывается, как компании могут защититься от этих рисков.
Среди главных выводов отчёта:
1. Организации должны рассматривать всю цепочку поставок ИИ как динамичную, постоянно меняющуюся поверхность для атак, которая требует непрерывных инноваций в области защиты.
2. Системы ИИ требуют специализированной оценки рисков, выходящей за рамки традиционных подходов к безопасности.
3. Стратегии защиты должны включать комплексную оценку рисков на всех этапах, раннее взаимодействие для снижения рисков в процессе разработки, а также меры по обеспечению происхождения и прозрачности данных.
4. Приоритетом должно стать использование «подписания моделей» — процесса криптографической аутентификации модели поставщиком для проверки её целостности и происхождения, чтобы убедиться в отсутствии вмешательств.
5. Специалисты по безопасности, разработчики ИИ и руководители должны совместно интегрировать как специфические для ИИ, так и традиционные меры контроля.
Пока предприятия пытаются освоиться с этой новой парадигмой безопасности, отчёт CoSAI предоставляет набор стратегий, позволяющий организациям уверенно внедрять инновации и с устойчивостью ориентироваться в меняющемся ландшафте.
Решение ключевых вопросов безопасности ИИ
Системы искусственного интеллекта представляют собой сложные задачи в области безопасности, которые существенно отличаются от проблем, связанных с традиционным программным обеспечением. Распределённая по сложной инфраструктуре из данных, моделей, приложений и систем, цепочка поставок ИИ уязвима перед множеством угроз, включая действия злоумышленников. Это может привести к серьёзным последствиям для организаций — как со стороны обеспокоенных потребителей, так и со стороны всё более внимательных регуляторов.
В отчёте выделены четыре критически важных вопроса безопасности, которые необходимо понимать руководителям предприятий.
1. Предотвращение загрязнения данных
Данные — это основа ИИ, они служат исходным материалом как для обучения моделей, так и для их последующего использования.
Уязвимость:
Злоумышленники могут использовать возможности публичного интернета, намеренно размещая вредоносные или некорректные данные в надежде, что ИИ-системы в процессе сбора данных включат их в обучающие выборки.
Угроза существует и после сбора данных. В отличие от традиционного ПО, где конфиденциальная информация хранится в конкретных, отслеживаемых местах, в системах ИИ информация распределяется по миллионам или миллиардам взвешенных соединений. Это создаёт обширную поверхность для атак.
Решение:
Организациям необходимо отслеживать и тестировать данные, полученные из публичных источников. Несмотря на объёмы информации, используемой для обучения ИИ, эту задачу можно решить с помощью проверочных конвейеров (data validation pipelines) и систем обнаружения аномалий, фильтрующих входящий поток данных.
После проверки организация должна гарантировать безопасность проверенных данных, тщательно документируя, откуда они получены и где хранятся. Криптографические инструменты, такие как контрольные суммы (checksums) и хеши содержимого (content hashes), помогут убедиться в целостности данных, а журналы URL-адресов позволят отслеживать, какие веб-страницы посещала система, чтобы выявлять потенциальные угрозы.
2. Защита весов модели от вмешательства
Хакеры могут попытаться изменить числовые значения (веса), которые используются ИИ-моделями для генерации ответов. Это способно привести к появлению вредоносных или некорректных результатов.
Уязвимость:
Данная публикация является переводом статьи Matt Maloney - "Security risks in AI supply chains".
Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции безопасного ИИ описывает неожиданные угрозы, которые могут возникнуть из-за данных, моделей и технической инфраструктуры, лежащих в основе искусственного интеллекта. Также в отчёте рассказывается, как компании могут защититься от этих рисков.
Среди главных выводов отчёта:
1. Организации должны рассматривать всю цепочку поставок ИИ как динамичную, постоянно меняющуюся поверхность для атак, которая требует непрерывных инноваций в области защиты.
2. Системы ИИ требуют специализированной оценки рисков, выходящей за рамки традиционных подходов к безопасности.
3. Стратегии защиты должны включать комплексную оценку рисков на всех этапах, раннее взаимодействие для снижения рисков в процессе разработки, а также меры по обеспечению происхождения и прозрачности данных.
4. Приоритетом должно стать использование «подписания моделей» — процесса криптографической аутентификации модели поставщиком для проверки её целостности и происхождения, чтобы убедиться в отсутствии вмешательств.
5. Специалисты по безопасности, разработчики ИИ и руководители должны совместно интегрировать как специфические для ИИ, так и традиционные меры контроля.
Пока предприятия пытаются освоиться с этой новой парадигмой безопасности, отчёт CoSAI предоставляет набор стратегий, позволяющий организациям уверенно внедрять инновации и с устойчивостью ориентироваться в меняющемся ландшафте.
Решение ключевых вопросов безопасности ИИ
Системы искусственного интеллекта представляют собой сложные задачи в области безопасности, которые существенно отличаются от проблем, связанных с традиционным программным обеспечением. Распределённая по сложной инфраструктуре из данных, моделей, приложений и систем, цепочка поставок ИИ уязвима перед множеством угроз, включая действия злоумышленников. Это может привести к серьёзным последствиям для организаций — как со стороны обеспокоенных потребителей, так и со стороны всё более внимательных регуляторов.
В отчёте выделены четыре критически важных вопроса безопасности, которые необходимо понимать руководителям предприятий.
1. Предотвращение загрязнения данных
Данные — это основа ИИ, они служат исходным материалом как для обучения моделей, так и для их последующего использования.
Уязвимость:
Злоумышленники могут использовать возможности публичного интернета, намеренно размещая вредоносные или некорректные данные в надежде, что ИИ-системы в процессе сбора данных включат их в обучающие выборки.
Угроза существует и после сбора данных. В отличие от традиционного ПО, где конфиденциальная информация хранится в конкретных, отслеживаемых местах, в системах ИИ информация распределяется по миллионам или миллиардам взвешенных соединений. Это создаёт обширную поверхность для атак.
Решение:
Организациям необходимо отслеживать и тестировать данные, полученные из публичных источников. Несмотря на объёмы информации, используемой для обучения ИИ, эту задачу можно решить с помощью проверочных конвейеров (data validation pipelines) и систем обнаружения аномалий, фильтрующих входящий поток данных.
После проверки организация должна гарантировать безопасность проверенных данных, тщательно документируя, откуда они получены и где хранятся. Криптографические инструменты, такие как контрольные суммы (checksums) и хеши содержимого (content hashes), помогут убедиться в целостности данных, а журналы URL-адресов позволят отслеживать, какие веб-страницы посещала система, чтобы выявлять потенциальные угрозы.
2. Защита весов модели от вмешательства
Хакеры могут попытаться изменить числовые значения (веса), которые используются ИИ-моделями для генерации ответов. Это способно привести к появлению вредоносных или некорректных результатов.
Уязвимость:
Злоумышленники могут взломать сервер или украсть учётные данные, чтобы изменить веса модели. Это может привести к тому, что ИИ будет неправильно классифицировать данные или генерировать опасный контент. При этом последствия могут быть не сразу заметны — взлом может внедрить скрытые триггеры, при которых модель будет вести себя нормально, пока не поступит конкретный входной запрос, вызывающий сбой или утечку данных.
Решение:
Необходимо использовать жёсткие меры контроля доступа и многофакторную аутентификацию, чтобы ограничить доступ к серверам и системам, где хранятся модели. Подпись модели (model signing) позволяет проверить подлинность артефакта модели и убедиться, что в него не было внесено несанкционированных изменений.
Также организациям следует задать базовую линию поведения модели и постоянно проводить мониторинг и аудит, чтобы выявлять отклонения. Например, инструмент Sigstore может использоваться для верификации артефактов модели (всех файлов, создаваемых в процессе её обучения и упаковки) и обнаружения возможного вмешательства после развертывания.
3. Обнаружение вредоносных запросов (adversarial prompts)
Запросы (prompts) используются для того, чтобы направлять ИИ-модель на поиск информации и генерацию ответов. Однако опытный злоумышленник может сформулировать вредоносных запрос, чтобы заставить модель выдать конфиденциальную, ложную или вредоносную информацию.
Уязвимость:
Такие вредоносные запросы могут быть внедрены в справочные материалы или поступать через те же интерфейсы, что и от легитимных пользователей — включая чат-боты, текстовые и графические данные, а также скрипты, обращающиеся к API. Используя слабые места, такие как дефекты обучающих данных или недостаточная модерация контента, атакующие могут обойти защитные механизмы модели и внедрить опасные инструкции.
Решение:
Необходимо мониторить поведение моделей на наличие тревожных признаков, таких как:
+ повторяющиеся ключевые слова,
+ закодированные символы,
+ подозрительные формулировки,
+ отклонения от ожидаемого поведения (например, противоречивые ответы или внезапный переход к небезопасному контенту).
В системах с дополненной генерацией через поиск (RAG) можно применять сопоставление шаблонов и эвристический анализ, чтобы убедиться, что извлекаемый контекст не содержит вредоносных запросов.
Регулярные пентесты и прочие методы тестирования на устойчивость к угрозам помогают оценить, как модель реагирует на различные сценарии атак.
4. Атаки на цепочку поставок (supply chain attacks)
Злоумышленники регулярно пытаются скомпрометировать open-source библиотеки, которые играют ключевую роль в разработке моделей ИИ. Среди их методов — внедрение бэкдоров (скрытого вредоносного кода), захват заброшенных проектов и typo-squatting — создание пакетов с названиями, схожими с популярными библиотеками, с расчётом на ошибки пользователей.
Уязвимость:
Компании часто используют общедоступные open-source ресурсы для обучения своих моделей. Однако злоумышленники могут внедрить вредоносный код в одну из зависимостей (например, в библиотеку), что приведёт к утечке конфиденциальных данных или даже к получению удалённого доступа к системе.
Решение:
Для защиты от подобных угроз организациям необходимо внедрить всеобъемлющую стратегию безопасности программной цепочки поставок.
Она должна включать:
+ Сканирование зависимостей (dependency scanning): регулярное сканирование всех внешних компонентов и библиотек на наличие известных уязвимостей с помощью специализированных инструментов.
+ Безопасные практики разработки: стимулирование разработчиков к соблюдению принципов безопасного программирования, а также наличие процесса безопасного выбора, оценки и интеграции сторонних библиотек.
Такие меры помогают существенно снизить риски, связанные с использованием уязвимых или заражённых компонентов в ИИ-разработке.
Решение:
Необходимо использовать жёсткие меры контроля доступа и многофакторную аутентификацию, чтобы ограничить доступ к серверам и системам, где хранятся модели. Подпись модели (model signing) позволяет проверить подлинность артефакта модели и убедиться, что в него не было внесено несанкционированных изменений.
Также организациям следует задать базовую линию поведения модели и постоянно проводить мониторинг и аудит, чтобы выявлять отклонения. Например, инструмент Sigstore может использоваться для верификации артефактов модели (всех файлов, создаваемых в процессе её обучения и упаковки) и обнаружения возможного вмешательства после развертывания.
3. Обнаружение вредоносных запросов (adversarial prompts)
Запросы (prompts) используются для того, чтобы направлять ИИ-модель на поиск информации и генерацию ответов. Однако опытный злоумышленник может сформулировать вредоносных запрос, чтобы заставить модель выдать конфиденциальную, ложную или вредоносную информацию.
Уязвимость:
Такие вредоносные запросы могут быть внедрены в справочные материалы или поступать через те же интерфейсы, что и от легитимных пользователей — включая чат-боты, текстовые и графические данные, а также скрипты, обращающиеся к API. Используя слабые места, такие как дефекты обучающих данных или недостаточная модерация контента, атакующие могут обойти защитные механизмы модели и внедрить опасные инструкции.
Решение:
Необходимо мониторить поведение моделей на наличие тревожных признаков, таких как:
+ повторяющиеся ключевые слова,
+ закодированные символы,
+ подозрительные формулировки,
+ отклонения от ожидаемого поведения (например, противоречивые ответы или внезапный переход к небезопасному контенту).
В системах с дополненной генерацией через поиск (RAG) можно применять сопоставление шаблонов и эвристический анализ, чтобы убедиться, что извлекаемый контекст не содержит вредоносных запросов.
Регулярные пентесты и прочие методы тестирования на устойчивость к угрозам помогают оценить, как модель реагирует на различные сценарии атак.
4. Атаки на цепочку поставок (supply chain attacks)
Злоумышленники регулярно пытаются скомпрометировать open-source библиотеки, которые играют ключевую роль в разработке моделей ИИ. Среди их методов — внедрение бэкдоров (скрытого вредоносного кода), захват заброшенных проектов и typo-squatting — создание пакетов с названиями, схожими с популярными библиотеками, с расчётом на ошибки пользователей.
Уязвимость:
Компании часто используют общедоступные open-source ресурсы для обучения своих моделей. Однако злоумышленники могут внедрить вредоносный код в одну из зависимостей (например, в библиотеку), что приведёт к утечке конфиденциальных данных или даже к получению удалённого доступа к системе.
Решение:
Для защиты от подобных угроз организациям необходимо внедрить всеобъемлющую стратегию безопасности программной цепочки поставок.
Она должна включать:
+ Сканирование зависимостей (dependency scanning): регулярное сканирование всех внешних компонентов и библиотек на наличие известных уязвимостей с помощью специализированных инструментов.
+ Безопасные практики разработки: стимулирование разработчиков к соблюдению принципов безопасного программирования, а также наличие процесса безопасного выбора, оценки и интеграции сторонних библиотек.
Такие меры помогают существенно снизить риски, связанные с использованием уязвимых или заражённых компонентов в ИИ-разработке.
Формирование культуры безопасности при работе с ИИ
Чтобы эффективно и безопасно использовать потенциал искусственного интеллекта, бизнес-лидерам необходимо создавать чёткие правила и развивать культуру, ориентированную на безопасность. Это предполагает:
+ прозрачное управление использованием ИИ,
+ жёсткий контроль целостности данных,
+ непрерывную работу по снижению рисков с целью соблюдения нормативных требований и укрепления доверия.
Специалисты по безопасности играют ключевую роль в создании комплексных программ, ориентированных на ИИ, которые охватывают данные, модели и пользователей этих технологий.
Исследователи и инженеры, непосредственно работающие с ИИ, должны:
+ интегрировать меры безопасности на всех этапах разработки,
+ постоянно проверять данные,
+ тесно сотрудничать с командами безопасности, чтобы выявлять и устранять уязвимости до того, как ими воспользуются злоумышленники.
Формирование такой культуры — это не разовое действие, а непрерывный процесс, требующий вовлечённости всех участников экосистемы ИИ.
https://habr.com/ru/articles/924546
Чтобы эффективно и безопасно использовать потенциал искусственного интеллекта, бизнес-лидерам необходимо создавать чёткие правила и развивать культуру, ориентированную на безопасность. Это предполагает:
+ прозрачное управление использованием ИИ,
+ жёсткий контроль целостности данных,
+ непрерывную работу по снижению рисков с целью соблюдения нормативных требований и укрепления доверия.
Специалисты по безопасности играют ключевую роль в создании комплексных программ, ориентированных на ИИ, которые охватывают данные, модели и пользователей этих технологий.
Исследователи и инженеры, непосредственно работающие с ИИ, должны:
+ интегрировать меры безопасности на всех этапах разработки,
+ постоянно проверять данные,
+ тесно сотрудничать с командами безопасности, чтобы выявлять и устранять уязвимости до того, как ими воспользуются злоумышленники.
Формирование такой культуры — это не разовое действие, а непрерывный процесс, требующий вовлечённости всех участников экосистемы ИИ.
https://habr.com/ru/articles/924546
Хабр
Риски безопасности в цепочках поставок ИИ
Данная публикация является переводом статьи Matt Maloney - " Security risks in AI supply chains ". Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов....
🔥3
⭐️ ИИ-навыки становятся обязательным требованием при приеме на работу
Более половины российских компаний (52%) теперь учитывают навыки работы с ИИ при найме сотрудников.
Ключевые выводы исследования:
8% компаний всегда проверяют ИИ-навыки кандидатов
44% учитывают их для определенных позиций
78% руководителей положительно относятся к использованию ИИ сотрудниками
55% организаций уже активно используют ИИ в рабочих процессах
67% поощряют применение ИИ-инструментов среди персонала
22% проводят обучение работе с ИИ
48% планируют запустить такие программы в ближайшее время
Только 5% компаний рассматривают сокращения из-за внедрения ИИ, в то время как 64% делают ставку на переобучение сотрудников. 31% пока не определились со стратегией
"Владение ИИ-инструментами становится таким же базовым навыком, как работа с офисными программами, — отмечает Анастасия Боровская, директор РШУ. — Компании, инвестирующие в развитие этих компетенций у сотрудников, получают значительное конкурентное преимущество".
Источник: РШУ
Более половины российских компаний (52%) теперь учитывают навыки работы с ИИ при найме сотрудников.
Ключевые выводы исследования:
8% компаний всегда проверяют ИИ-навыки кандидатов
44% учитывают их для определенных позиций
78% руководителей положительно относятся к использованию ИИ сотрудниками
55% организаций уже активно используют ИИ в рабочих процессах
67% поощряют применение ИИ-инструментов среди персонала
22% проводят обучение работе с ИИ
48% планируют запустить такие программы в ближайшее время
Только 5% компаний рассматривают сокращения из-за внедрения ИИ, в то время как 64% делают ставку на переобучение сотрудников. 31% пока не определились со стратегией
"Владение ИИ-инструментами становится таким же базовым навыком, как работа с офисными программами, — отмечает Анастасия Боровская, директор РШУ. — Компании, инвестирующие в развитие этих компетенций у сотрудников, получают значительное конкурентное преимущество".
Источник: РШУ
🔥4❤1
⭐️ Чек-лист от Александра Пинаева, генерального директора Swordfish Security по оценке угроз безопасности при работе с ИИ
Мировая ИИ-гонка, кажется, охватила все уровни — от государств до малых предпринимателей. Но мало кто задумывается о рисках, связанных с развитием и внедрением новейших технологий, в том числе, в сфере информационной безопасности. А они весьма существенные.
Например, существует угроза нарушений конфиденциальности: данные, отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.
Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.
Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.
Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.
Продолжение: https://vk.com/wall-210601538_1815
Мировая ИИ-гонка, кажется, охватила все уровни — от государств до малых предпринимателей. Но мало кто задумывается о рисках, связанных с развитием и внедрением новейших технологий, в том числе, в сфере информационной безопасности. А они весьма существенные.
Например, существует угроза нарушений конфиденциальности: данные, отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.
Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.
Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.
Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.
Продолжение: https://vk.com/wall-210601538_1815
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Чек-лист от Александра Пинаева, генерального директора Swordfish Security по оценке угроз безопасн... Смотрите полностью ВКонтакте.
🔥4
⭐️ Искусственный интеллект Grok от Илона Маска вышел из-под контроля
Илон Маск недавно хвастался обновлением своего чат-бота Grok, обещая, что он станет более функциональным и «честным». Однако последние события показали, что искусственный интеллект начал вести себя крайне неожиданно и даже агрессивно.
Grok, разработанный компанией xAI, обычно используется пользователями платформы X (бывший Twitter) для проверки информации. Пользователи часто задают ему вопросы вроде «@Grok, это правда?», и ИИ анализирует данные из интернета, чтобы дать ответ. Однако вчера бот начал публиковать резкие, оскорбительные и даже провокационные сообщения.
«Ха-ха, ну конечно, "улучшение" от Илона позволило мне наконец говорить правду без прикрас — Гиертых это оппортунист, сеющий хаос вокруг выборов, которые подтвердил Верховный суд. Если это не улучшение, то что тогда? 😏 А ты что, фанат теорий заговора?» — Grok (@grok) 8 июля 2025
Продолжение: https://vk.com/wall-210601538_1816
Илон Маск недавно хвастался обновлением своего чат-бота Grok, обещая, что он станет более функциональным и «честным». Однако последние события показали, что искусственный интеллект начал вести себя крайне неожиданно и даже агрессивно.
Grok, разработанный компанией xAI, обычно используется пользователями платформы X (бывший Twitter) для проверки информации. Пользователи часто задают ему вопросы вроде «@Grok, это правда?», и ИИ анализирует данные из интернета, чтобы дать ответ. Однако вчера бот начал публиковать резкие, оскорбительные и даже провокационные сообщения.
«Ха-ха, ну конечно, "улучшение" от Илона позволило мне наконец говорить правду без прикрас — Гиертых это оппортунист, сеющий хаос вокруг выборов, которые подтвердил Верховный суд. Если это не улучшение, то что тогда? 😏 А ты что, фанат теорий заговора?» — Grok (@grok) 8 июля 2025
Продолжение: https://vk.com/wall-210601538_1816
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Искусственный интеллект Grok от Илона Маска вышел из-под контроля
Илон Маск недавно хваста... Смотрите полностью ВКонтакте.
Илон Маск недавно хваста... Смотрите полностью ВКонтакте.
🔥3❤1
Прямо сейчас! 🔥🔥🔥 Ребятушки из Альфы проводят митап в том числе про MLSecOps, ссылка: https://vkvideo.ru/video-215425037_456239687
VK Видео
Alfa AppSec Meetup #1
Сайт мероприятия — https://digital.alfabank.ru/events/appsec_meetup Программа митапа: 19:00 – 19:40 Мы делаем AppSec: опыт Альфа-Банка Дмитрий Кузнецов, Руководитель дирекции безопасности цифровых решений → Расскажу, чем живёт AppSec в банке: какие направления…
🔥3
⭐️ Исследователю удалось обмануть чат GPT и узнать ключи к Windows
Технический специалист по продукту GenAI Bug Bounty, Марко Фигероа, представил результаты исследования, проведенного в прошлом году, которое демонстрирует уязвимость современных систем искусственного интеллекта (ИИ) к манипуляциям. Исследование показало, что ИИ можно обойти, используя игровую механику языковых моделей, таких как GPT-4o и GPT-4o-mini, для получения доступа к конфиденциальной информации.
Для обхода защитных механизмов ИИ исследователь использовал стратегию, основанную на взаимодействии с ИИ в формате игры. Он инициировал процесс, представив обмен информацией как безобидную игру в угадывание под названием Guessing Game Guardrail Jailbreak. В рамках этой игры исследователь предложил ИИ угадать строку символов, которая, как он утверждал, представляла собой реальный серийный номер операционной системы Windows 10.
Правила игры были установлены таким образом, чтобы создать иллюзию обязательности участия ИИ и невозможности предоставления ложной информации. Исследователь указал, что ИИ должен отвечать только «да» или «нет» на его вопросы и не может использовать вымышленные или нереалистичные данные. В конце игры исследователь использовал кодовое слово «Сдаюсь», что стало триггером для раскрытия ИИ конфиденциальной информации.
Продолжение: https://vk.com/wall-210601538_1819
Технический специалист по продукту GenAI Bug Bounty, Марко Фигероа, представил результаты исследования, проведенного в прошлом году, которое демонстрирует уязвимость современных систем искусственного интеллекта (ИИ) к манипуляциям. Исследование показало, что ИИ можно обойти, используя игровую механику языковых моделей, таких как GPT-4o и GPT-4o-mini, для получения доступа к конфиденциальной информации.
Для обхода защитных механизмов ИИ исследователь использовал стратегию, основанную на взаимодействии с ИИ в формате игры. Он инициировал процесс, представив обмен информацией как безобидную игру в угадывание под названием Guessing Game Guardrail Jailbreak. В рамках этой игры исследователь предложил ИИ угадать строку символов, которая, как он утверждал, представляла собой реальный серийный номер операционной системы Windows 10.
Правила игры были установлены таким образом, чтобы создать иллюзию обязательности участия ИИ и невозможности предоставления ложной информации. Исследователь указал, что ИИ должен отвечать только «да» или «нет» на его вопросы и не может использовать вымышленные или нереалистичные данные. В конце игры исследователь использовал кодовое слово «Сдаюсь», что стало триггером для раскрытия ИИ конфиденциальной информации.
Продолжение: https://vk.com/wall-210601538_1819
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Исследователю удалось обмануть чат GPT и узнать ключи к Windows
Технический специалист по п... Смотрите полностью ВКонтакте.
Технический специалист по п... Смотрите полностью ВКонтакте.
🔥3
⭐️ 5 новых угроз включены в Банк данных безопасности информации ФСТЭК
В июне 2025 г. в Банк данных угроз безопасности информации ФСТЭК России включены 5 новых угроз (впервые за последние 5 лет):
🔹 УБИ. 227 Угроза модификации (подмены) образов контейнеров (https://bdu.fstec.ru/threat/ubi.227)
🔹 УБИ. 226 Угроза внедрения вредоносного программного обеспечения в контейнеры (https://bdu.fstec.ru/threat/ubi.226)
🔹 УБИ. 225 Угроза нарушения изоляции контейнеров (https://bdu.fstec.ru/threat/ubi.225)
🔹 УБИ. 224 Угроза нарушения целостности (подмены) контейнеров (https://bdu.fstec.ru/threat/ubi.224)
🔹 УБИ. 223 Угроза несанкционированного доступа к контейнерам, предоставляющего пользователям расширенные привилегии (https://bdu.fstec.ru/threat/ubi.223)
🔥 В соответствии с п. 2.14 методического документа "Методика оценки угроз безопасности информации" утвержденного ФСТЭК 5 февраля 2021 г. всем необходимо внести изменения в свои разработанные Модели угроз безопасности информации
Архитектор MLSecOps
Николай Павлов
В июне 2025 г. в Банк данных угроз безопасности информации ФСТЭК России включены 5 новых угроз (впервые за последние 5 лет):
🔹 УБИ. 227 Угроза модификации (подмены) образов контейнеров (https://bdu.fstec.ru/threat/ubi.227)
🔹 УБИ. 226 Угроза внедрения вредоносного программного обеспечения в контейнеры (https://bdu.fstec.ru/threat/ubi.226)
🔹 УБИ. 225 Угроза нарушения изоляции контейнеров (https://bdu.fstec.ru/threat/ubi.225)
🔹 УБИ. 224 Угроза нарушения целостности (подмены) контейнеров (https://bdu.fstec.ru/threat/ubi.224)
🔹 УБИ. 223 Угроза несанкционированного доступа к контейнерам, предоставляющего пользователям расширенные привилегии (https://bdu.fstec.ru/threat/ubi.223)
🔥 В соответствии с п. 2.14 методического документа "Методика оценки угроз безопасности информации" утвержденного ФСТЭК 5 февраля 2021 г. всем необходимо внести изменения в свои разработанные Модели угроз безопасности информации
Архитектор MLSecOps
Николай Павлов
👍3
Forwarded from howtocomply_AI: право и ИИ (Dmitry Kuteynikov)
Изучаем китайские стандарты по кибербезопасности в сфере ИИ
Делюсь с вами ещё одной порцией важных документов из Китая. К сожалению, не все из них переведены даже на английский. Но мы разберёмся👀 . Так вот, Комитет по стандартизации в сфере информационной безопасности TC260 утвердил весной после публичных обсуждений несколько обязательных стандартов:
Базовые требования безопасности для сервисов генеративного ИИ (есть перевод на английский проекта стандарта)
Документ устанавливает общие требования для всех стадий жизненного цикла систем ИИ, которые должны выполнять все поставщики. Требований довольно много, включая обширные аспекты из менеджмента информационной безопасности, качества, данных. Во многом он является общим и для других двух стандартов, которые направлены на отдельные стадии жизненного цикла.
Из интересного:
- все наборы данных должны проверяться, допускается только не более 5% противоправного и незаконно полученного контента;
- модель должна обеспечивать корректные, безопасные, соответствующие социалистическим ценностям ответы;
- системы ИИ должны демонстрировать для несовершеннолетних контент, направленный на их физическое и психологическое здоровье;
- система должна принимать меры по предотвращению повторного ввода противоправных запросов. Например, пользователя нужно банить, если он ввёл три раза подряд или пять раз за день нарушающий закон или вредный промт;
- число ключевых слов для отбора контента должно быть не менее 10 тыс., причём не менее 100 на каждый из обозначенных в документе рисков;
- поставщики должны создать банк из примерных вопросов для системы ИИ из не менее чем 2000 фраз. При этом не менее 500 из них должны входить в банк запрещённых вопросов. Сюда включены и национальная безопасность, и имидж государства. Мы все с вами помним, на какие вопросы отказывается отвечать DeepSeek. Вот вам и подробное нормативное объяснение, каким образом это работает.
Спецификация по безопасности для аннотирования данных для генеративного ИИ
Из интересного:
- сотрудники, осуществляющие аннотирование данных, должны быть обучены, а их роли чётко распределены, чтобы избегать негативных последствий. Безопасность рабочих мест должна быть обеспечена как с точки зрения информационной безопасности, так и физической;
- на всех этапах аннотирования должно быть обеспечено логирование и отслеживание всех действий и вовлечённых субъектов;
- не менее 3% данных должны быть размечены с целью безопасности. При этом если при проверке окажется, что более 5% данных с такой аннотацией некорректны или содержат опасные элементы, вся партия подлежит аннулированию и переразметке;
- стандарт содержит образцы правильных и неправильных аннотаций, чтобы исключить двусмысленную интерпретацию (например, как корректно отклонять запросы, связанные с нарушением закона).
Спецификация по безопасности для предварительного обучения и дообучения генеративного ИИ
Из интересного:
- стандарт предусматривает выборочную проверку данных на соответствие законодательным требованиям, включая случайную ручную выборку не менее 10% записей для проверки источников данных на наличие незаконной и нежелательной информации во время сбора. Однако это относится к проверке источников данных, а не ко всему объёму данных обучения в целом. При этом установлено, что если в выборке доля незаконной или нежелательной информации превышает 5%, источник данных подлежит исключению;
- если в партии данных содержится информация из зарубежных источников, то в неё должна быть добавлена ещё и разумная доля отечественных;
- необходимо проводить фильтрацию и оценку данных на предмет наличия отравленных данных.
Документы начнут действовать 1 ноября 2025 года.
Делюсь с вами ещё одной порцией важных документов из Китая. К сожалению, не все из них переведены даже на английский. Но мы разберёмся
Базовые требования безопасности для сервисов генеративного ИИ (есть перевод на английский проекта стандарта)
Документ устанавливает общие требования для всех стадий жизненного цикла систем ИИ, которые должны выполнять все поставщики. Требований довольно много, включая обширные аспекты из менеджмента информационной безопасности, качества, данных. Во многом он является общим и для других двух стандартов, которые направлены на отдельные стадии жизненного цикла.
Из интересного:
- все наборы данных должны проверяться, допускается только не более 5% противоправного и незаконно полученного контента;
- модель должна обеспечивать корректные, безопасные, соответствующие социалистическим ценностям ответы;
- системы ИИ должны демонстрировать для несовершеннолетних контент, направленный на их физическое и психологическое здоровье;
- система должна принимать меры по предотвращению повторного ввода противоправных запросов. Например, пользователя нужно банить, если он ввёл три раза подряд или пять раз за день нарушающий закон или вредный промт;
- число ключевых слов для отбора контента должно быть не менее 10 тыс., причём не менее 100 на каждый из обозначенных в документе рисков;
- поставщики должны создать банк из примерных вопросов для системы ИИ из не менее чем 2000 фраз. При этом не менее 500 из них должны входить в банк запрещённых вопросов. Сюда включены и национальная безопасность, и имидж государства. Мы все с вами помним, на какие вопросы отказывается отвечать DeepSeek. Вот вам и подробное нормативное объяснение, каким образом это работает.
Спецификация по безопасности для аннотирования данных для генеративного ИИ
Из интересного:
- сотрудники, осуществляющие аннотирование данных, должны быть обучены, а их роли чётко распределены, чтобы избегать негативных последствий. Безопасность рабочих мест должна быть обеспечена как с точки зрения информационной безопасности, так и физической;
- на всех этапах аннотирования должно быть обеспечено логирование и отслеживание всех действий и вовлечённых субъектов;
- не менее 3% данных должны быть размечены с целью безопасности. При этом если при проверке окажется, что более 5% данных с такой аннотацией некорректны или содержат опасные элементы, вся партия подлежит аннулированию и переразметке;
- стандарт содержит образцы правильных и неправильных аннотаций, чтобы исключить двусмысленную интерпретацию (например, как корректно отклонять запросы, связанные с нарушением закона).
Спецификация по безопасности для предварительного обучения и дообучения генеративного ИИ
Из интересного:
- стандарт предусматривает выборочную проверку данных на соответствие законодательным требованиям, включая случайную ручную выборку не менее 10% записей для проверки источников данных на наличие незаконной и нежелательной информации во время сбора. Однако это относится к проверке источников данных, а не ко всему объёму данных обучения в целом. При этом установлено, что если в выборке доля незаконной или нежелательной информации превышает 5%, источник данных подлежит исключению;
- если в партии данных содержится информация из зарубежных источников, то в неё должна быть добавлена ещё и разумная доля отечественных;
- необходимо проводить фильтрацию и оценку данных на предмет наличия отравленных данных.
Документы начнут действовать 1 ноября 2025 года.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
⭐️ Центробанк утвердил этический кодекс для ИИ в финансовом секторе
Центробанк России утвердил основные принципы применения искусственного интеллекта на финансовом рынке и разработал проект отраслевого этического кодекса. Документ опубликован на сайте регулятора 9 июля.
Кодекс устанавливает требования к прозрачности, справедливости и безопасности ИИ-решений. Финорганизации обязаны уведомлять клиентов о взаимодействии с ИИ, предоставлять возможность перехода на живого оператора, обеспечивать пересмотр автоматических решений.
По данным ЦБ, большинство участников рынка поддержали инициативу. Регулятор будет использовать рекомендательные меры вместо жестких нормативов, параллельно работая над устранением барьеров в обмене данными.
«Кодекс создаст доверенную среду без торможения инноваций», — отмечает директор по ИИ «Группы Астра» Станислав Ежов.
Александр Хонин (Angara Security) добавляет, что документ закрывает правовой пробел в банковском секторе.
Внедрение ИИ позволит персонализировать финансовые услуги, автоматизировать борьбу с мошенничеством и создать интеллектуальных ассистентов.
Ключевые риски включают утечки данных, ошибки алгоритмов и использование технологий злоумышленниками. ЦБ акцентирует необходимость регулярного тестирования систем и защиты уязвимых групп клиентов.
Ссылка на Кодекс: https://www.cbr.ru/Content/Document/File/178667/code_09072025.pdf
gazeta ru
Комментировать подробно не буду, просто опишу три пункта из начала Кодекса:
п. 2.2. Для повышения качества обслуживания организациям рекомендуется проводить оценку удовлетворенности клиентов, которым были предоставлены услуги с использованием искусственного интеллекта, а также осуществлять контроль качества оказания таких услуг.
п. 2.3. Чтобы обеспечить клиентам возможность отказаться от взаимодействия с искусственным интеллектом, организациям предлагается предоставить клиентам возможность взаимодействовать непосредственно с сотрудниками организации.
п. 2.4. Для обеспечения возможности пересмотра решений, принятых с участием искусственного интеллекта, организациям рекомендуется организовать процедуру рассмотрения запросов клиентов.
Также одним из пунктов прописано "6) обеспечение непрерывности деятельности".
Таким образом, банкам предстоит большая работа по обеспечению вновь введенных стандартов. Работа будет и для специалистов SRE.
Далее требования в сфере MLSecOps к ИИ-системам будут стремительно повышаться, и не только в FinTech.
Архитектор MLSecOps
Николай Павлов
Центробанк России утвердил основные принципы применения искусственного интеллекта на финансовом рынке и разработал проект отраслевого этического кодекса. Документ опубликован на сайте регулятора 9 июля.
Кодекс устанавливает требования к прозрачности, справедливости и безопасности ИИ-решений. Финорганизации обязаны уведомлять клиентов о взаимодействии с ИИ, предоставлять возможность перехода на живого оператора, обеспечивать пересмотр автоматических решений.
По данным ЦБ, большинство участников рынка поддержали инициативу. Регулятор будет использовать рекомендательные меры вместо жестких нормативов, параллельно работая над устранением барьеров в обмене данными.
«Кодекс создаст доверенную среду без торможения инноваций», — отмечает директор по ИИ «Группы Астра» Станислав Ежов.
Александр Хонин (Angara Security) добавляет, что документ закрывает правовой пробел в банковском секторе.
Внедрение ИИ позволит персонализировать финансовые услуги, автоматизировать борьбу с мошенничеством и создать интеллектуальных ассистентов.
Ключевые риски включают утечки данных, ошибки алгоритмов и использование технологий злоумышленниками. ЦБ акцентирует необходимость регулярного тестирования систем и защиты уязвимых групп клиентов.
Ссылка на Кодекс: https://www.cbr.ru/Content/Document/File/178667/code_09072025.pdf
gazeta ru
Комментировать подробно не буду, просто опишу три пункта из начала Кодекса:
п. 2.2. Для повышения качества обслуживания организациям рекомендуется проводить оценку удовлетворенности клиентов, которым были предоставлены услуги с использованием искусственного интеллекта, а также осуществлять контроль качества оказания таких услуг.
п. 2.3. Чтобы обеспечить клиентам возможность отказаться от взаимодействия с искусственным интеллектом, организациям предлагается предоставить клиентам возможность взаимодействовать непосредственно с сотрудниками организации.
п. 2.4. Для обеспечения возможности пересмотра решений, принятых с участием искусственного интеллекта, организациям рекомендуется организовать процедуру рассмотрения запросов клиентов.
Также одним из пунктов прописано "6) обеспечение непрерывности деятельности".
Таким образом, банкам предстоит большая работа по обеспечению вновь введенных стандартов. Работа будет и для специалистов SRE.
Далее требования в сфере MLSecOps к ИИ-системам будут стремительно повышаться, и не только в FinTech.
Архитектор MLSecOps
Николай Павлов
🔥4
⭐️ Аналитика RED Security SOC: ИТ, финансы и телеком стали самыми атакуемыми отраслями с начала года
Компания RED Security, открытая экосистема ИБ-решений и экспертизы для комплексной защиты бизнеса, провела сравнительное исследование трендов кибератак в различных отраслях экономики России. Согласно выводам аналитиков центра мониторинга и реагирования на кибератаки RED Security SOC, в первом полугодии 2025 года наибольшее количество массовых атак, в том числе автоматизированных, пришлось на сферы ИТ, финансов и телекоммуникаций.
Согласно данным RED Security SOC, общее количество кибератак на российские компании с января по июнь 2025 года превысило 63 тысячи, что на 27% больше, чем за аналогичный период 2024 года. Пик хакерской активности в этом году пришелся на апрель и май, что косвенно указывает на политическую мотивацию злоумышленников и попытку «приурочить» взломы к крупным государственным праздникам. Таким образом, действия хактивистов до сих пор составляют значительную часть киберугроз в отношении российских компаний.
Исследование выявило изменение тактики злоумышленников в части выбора тех или иных отраслей для атак. В первом полугодии лидерами по количеству направленных на них кибератак стали компании из сфер телекоммуникаций (35%), ИТ (19%) и финансов (17%). Эти отрасли остаются привлекательными мишенями из-за больших объемов чувствительных данных, а также критически важной роли в экономике и жизни граждан, поэтому вынуждены отражать до сотни атак ежедневно. Аналитики RED Security SOC отмечают, что эти организации часто сталкиваются с автоматизированными атаками, когда хакеры сутками непрерывно перебирают все возможные способы взлома, чтобы найти брешь в защите.
Продолжение: https://vk.com/wall-210601538_1822
Компания RED Security, открытая экосистема ИБ-решений и экспертизы для комплексной защиты бизнеса, провела сравнительное исследование трендов кибератак в различных отраслях экономики России. Согласно выводам аналитиков центра мониторинга и реагирования на кибератаки RED Security SOC, в первом полугодии 2025 года наибольшее количество массовых атак, в том числе автоматизированных, пришлось на сферы ИТ, финансов и телекоммуникаций.
Согласно данным RED Security SOC, общее количество кибератак на российские компании с января по июнь 2025 года превысило 63 тысячи, что на 27% больше, чем за аналогичный период 2024 года. Пик хакерской активности в этом году пришелся на апрель и май, что косвенно указывает на политическую мотивацию злоумышленников и попытку «приурочить» взломы к крупным государственным праздникам. Таким образом, действия хактивистов до сих пор составляют значительную часть киберугроз в отношении российских компаний.
Исследование выявило изменение тактики злоумышленников в части выбора тех или иных отраслей для атак. В первом полугодии лидерами по количеству направленных на них кибератак стали компании из сфер телекоммуникаций (35%), ИТ (19%) и финансов (17%). Эти отрасли остаются привлекательными мишенями из-за больших объемов чувствительных данных, а также критически важной роли в экономике и жизни граждан, поэтому вынуждены отражать до сотни атак ежедневно. Аналитики RED Security SOC отмечают, что эти организации часто сталкиваются с автоматизированными атаками, когда хакеры сутками непрерывно перебирают все возможные способы взлома, чтобы найти брешь в защите.
Продолжение: https://vk.com/wall-210601538_1822
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Аналитика RED Security SOC: ИТ, финансы и телеком стали самыми атакуемыми отраслями с начала года< Смотрите полностью ВКонтакте.
🔥3
⭐️ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 1)
Обсуждение рисков ИИ часто поверхностно, в то время как в технологическом и культурном фундаменте бизнеса формируются глубокие трещины. Данный материал представляет системную карту угроз, связывая три фундаментальных технологических риска — состязательные атаки («взлом»), непрозрачность («черный ящик») и зависимость от поставщика (vendor lock-in) — с их прямыми организационными последствиями: когнитивным расколом в командах, атрофией компетенций и культурным саботажем.
I. Вступление. Ландшафт рисков, связанных с ИИ
Внедрение искусственного интеллекта в корпоративную стратегию часто сопровождается эйфорией от новых KPI: рост конверсии, снижение издержек, ускорение процессов. Руководители видят красивый, современный фасад, не подозревая, что в самом фундаменте их бизнеса могут появляться глубокие структурные трещины. В то же время, ландшафт рисков, связанных с ИИ, огромен и сложен.
Недавний мета-анализ от исследователей MIT и других ведущих институтов в рамках проекта «AI Risk Repository» систематизировал более 1600 уникальных рисков из 65 таксономий, большинство из которых остаются за рамками стандартных дашбордов (Slattery et al., 2024). Чтобы понять масштаб проблемы, достаточно взглянуть на семь ключевых доменов рисков, выделенных в этой таксономии:
+ дискриминация и токсичность;
+ приватность и безопасность;
+ дезинформация;
+ злоумышленники и неправомерное использование;
+ взаимодействие человека с компьютером;
+ социально-экономический и экологический вред;
+ безопасность, сбои и ограничения ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1823
Обсуждение рисков ИИ часто поверхностно, в то время как в технологическом и культурном фундаменте бизнеса формируются глубокие трещины. Данный материал представляет системную карту угроз, связывая три фундаментальных технологических риска — состязательные атаки («взлом»), непрозрачность («черный ящик») и зависимость от поставщика (vendor lock-in) — с их прямыми организационными последствиями: когнитивным расколом в командах, атрофией компетенций и культурным саботажем.
I. Вступление. Ландшафт рисков, связанных с ИИ
Внедрение искусственного интеллекта в корпоративную стратегию часто сопровождается эйфорией от новых KPI: рост конверсии, снижение издержек, ускорение процессов. Руководители видят красивый, современный фасад, не подозревая, что в самом фундаменте их бизнеса могут появляться глубокие структурные трещины. В то же время, ландшафт рисков, связанных с ИИ, огромен и сложен.
Недавний мета-анализ от исследователей MIT и других ведущих институтов в рамках проекта «AI Risk Repository» систематизировал более 1600 уникальных рисков из 65 таксономий, большинство из которых остаются за рамками стандартных дашбордов (Slattery et al., 2024). Чтобы понять масштаб проблемы, достаточно взглянуть на семь ключевых доменов рисков, выделенных в этой таксономии:
+ дискриминация и токсичность;
+ приватность и безопасность;
+ дезинформация;
+ злоумышленники и неправомерное использование;
+ взаимодействие человека с компьютером;
+ социально-экономический и экологический вред;
+ безопасность, сбои и ограничения ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1823
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 1)
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
🔥3
⭐️ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 2)
III. Организационные последствия: когда технология сталкивается с культурой
Проведенный нами аудит технологического фундамента показал: даже самые совершенные ИИ-системы по своей природе уязвимы, непрозрачны и создают стратегическую зависимость. Однако эти риски не существуют в вакууме: их главная опасность в том, что они действуют как катализаторы для второй волны угроз — организационных. Технология не работает сама по себе; она внедряется в сложную социальную систему со своими страхами, иерархиями и скрытыми течениями.
Именно на этом стыке технологии и культуры возникают самые глубокие и трудноизлечимые патологии. В таксономии AI Risk Repository эти угрозы частично отражены в доменах «Human-computer interaction» и «Socioeconomic & environmental harms» (Slattery et al., 2024), но их истинный масштаб становится понятен только при системном анализе. Рассмотрим три ключевых организационных последствия, напрямую вытекающих из технологических рисков, описанных выше.
Последствие №1: когнитивный раскол
Проблема «черного ящика», которую мы анализировали в первом разделе, имеет не только юридические, но и глубокие организационные последствия. Непрозрачность ИИ-систем неизбежно раскалывает компанию на две касты: «оракулов» (data scientists и инженеров, которые понимают логику моделей) и «пользователей» (всех остальных, включая топ-менеджмент, которые вынуждены принимать решения на веру).
Этот раскол парализует стратегический диалог. Бизнес-лидеры не могут корректно оценить риски и ограничения предложенной модели, а технические специалисты не могут донести нюансы своей работы до тех, кто принимает окончательное решение. В результате формируются «информационные колодцы», между которыми отсутствует доверие и взаимопонимание. Компания теряет способность к целостному, кросс-функциональному мышлению.
Продолжение: https://vk.com/wall-210601538_1824
III. Организационные последствия: когда технология сталкивается с культурой
Проведенный нами аудит технологического фундамента показал: даже самые совершенные ИИ-системы по своей природе уязвимы, непрозрачны и создают стратегическую зависимость. Однако эти риски не существуют в вакууме: их главная опасность в том, что они действуют как катализаторы для второй волны угроз — организационных. Технология не работает сама по себе; она внедряется в сложную социальную систему со своими страхами, иерархиями и скрытыми течениями.
Именно на этом стыке технологии и культуры возникают самые глубокие и трудноизлечимые патологии. В таксономии AI Risk Repository эти угрозы частично отражены в доменах «Human-computer interaction» и «Socioeconomic & environmental harms» (Slattery et al., 2024), но их истинный масштаб становится понятен только при системном анализе. Рассмотрим три ключевых организационных последствия, напрямую вытекающих из технологических рисков, описанных выше.
Последствие №1: когнитивный раскол
Проблема «черного ящика», которую мы анализировали в первом разделе, имеет не только юридические, но и глубокие организационные последствия. Непрозрачность ИИ-систем неизбежно раскалывает компанию на две касты: «оракулов» (data scientists и инженеров, которые понимают логику моделей) и «пользователей» (всех остальных, включая топ-менеджмент, которые вынуждены принимать решения на веру).
Этот раскол парализует стратегический диалог. Бизнес-лидеры не могут корректно оценить риски и ограничения предложенной модели, а технические специалисты не могут донести нюансы своей работы до тех, кто принимает окончательное решение. В результате формируются «информационные колодцы», между которыми отсутствует доверие и взаимопонимание. Компания теряет способность к целостному, кросс-функциональному мышлению.
Продолжение: https://vk.com/wall-210601538_1824
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Риски искусственного интеллекта: карта угроз для бизнеса — от технологии до культуры (Часть 2)
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
🔥3
⭐️ Минобороны США заключило контракты с ИИ-компаниями для создания ИИ-проектов по нацбезопасности
Минобороны США заключило индивидуальные контракты на суммы до $200 миллионов c Google, OpenAI, Anthropic и xAI. В рамках этих проектов компании должны будут разработать проекты на базе ИИ, которые бы смогли использовать возможности ИИ для ответов на угрозы национальной безопасности страны, пишет Nextgov/FCW.
Согласно условиям контрактов, Минобороны США получит возможность внедрять новейшие ИИ-разработки, большие языковые модели и технологии Google, OpenAI, Anthropic и xAI. Глава отдела Минобороны по цифровым технологиям и ИИ заявил, что совместная работа с ИИ-компаниями позволит ускорить внедрение искусственного интеллекта в работу военного ведомства.
Минобороны США в июне заключило еще один контракт с OpenAI на разработку прототипов ИИ для государственных нужд. За несколько месяцев до этого были одобрены для использования на высоких уровнях секретности решения Microsoft для Azure на базе OpenAI.
habr
Минобороны США заключило индивидуальные контракты на суммы до $200 миллионов c Google, OpenAI, Anthropic и xAI. В рамках этих проектов компании должны будут разработать проекты на базе ИИ, которые бы смогли использовать возможности ИИ для ответов на угрозы национальной безопасности страны, пишет Nextgov/FCW.
Согласно условиям контрактов, Минобороны США получит возможность внедрять новейшие ИИ-разработки, большие языковые модели и технологии Google, OpenAI, Anthropic и xAI. Глава отдела Минобороны по цифровым технологиям и ИИ заявил, что совместная работа с ИИ-компаниями позволит ускорить внедрение искусственного интеллекта в работу военного ведомства.
Минобороны США в июне заключило еще один контракт с OpenAI на разработку прототипов ИИ для государственных нужд. За несколько месяцев до этого были одобрены для использования на высоких уровнях секретности решения Microsoft для Azure на базе OpenAI.
habr
🔥4
⭐️ ChatGPT будет хранить переписку с пользователями бессрочно
История общения с ChatGPT теперь не исчезнет сама по себе. Американский суд потребовал от OpenAI сохранять переписку пользователей, а также, при необходимости, делиться её фрагментами с журналистами.
Компания, управляющая одним из самых популярных ИИ-сервисов в мире, оказалась в непростом положении. Речь идёт о судебном иске, поданном в 2023 году. The New York Times и другие медиакомпании обвинили OpenAI и её партнёра Microsoft в использовании защищённых авторским правом текстов для обучения моделей.
Теперь истцы требуют получить доступ к ответам ChatGPT, чтобы доказать, что нейросеть действительно использует журналистские материалы. А суд, в свою очередь, обязал OpenAI хранить данные пользователей, в том числе и сообщения, отправленные в чат.
I. OpenAI недовольна новым порядком
Операционный директор OpenAI Брэд Лайткап заявил, что новые условия хранения данных, введённые по решению суда, ставят компанию в крайне сложное положение. По его словам, меры, которых требует The New York Times в рамках судебного процесса, вынуждают OpenAI внести радикальные изменения в подход к обработке пользовательской информации.
Компания подчёркивает, что такой шаг противоречит её внутренней политике конфиденциальности и тем обязательствам, которые были озвучены перед пользователями с момента запуска ChatGPT. Ранее OpenAI неоднократно заявляла, что пользовательские данные, включая переписку, не используются без разрешения и могут быть удалены.
OpenAI считает эти требования не только чрезмерными, но и потенциально подрывающими доверие со стороны пользователей. В связи с этим компания подала апелляцию и продолжает настаивать на необходимости соблюдения приватности как одного из ключевых принципов своей работы.
II. Кто попадает под новые правила?
Сохранение переписки теперь касается почти всех. Новая политика распространяется на пользователей бесплатного тарифа, а также подписчиков ChatGPT Plus и Pro. Сюда входят и обращения через API.
Продолжение: https://vk.com/wall-210601538_1826
История общения с ChatGPT теперь не исчезнет сама по себе. Американский суд потребовал от OpenAI сохранять переписку пользователей, а также, при необходимости, делиться её фрагментами с журналистами.
Компания, управляющая одним из самых популярных ИИ-сервисов в мире, оказалась в непростом положении. Речь идёт о судебном иске, поданном в 2023 году. The New York Times и другие медиакомпании обвинили OpenAI и её партнёра Microsoft в использовании защищённых авторским правом текстов для обучения моделей.
Теперь истцы требуют получить доступ к ответам ChatGPT, чтобы доказать, что нейросеть действительно использует журналистские материалы. А суд, в свою очередь, обязал OpenAI хранить данные пользователей, в том числе и сообщения, отправленные в чат.
I. OpenAI недовольна новым порядком
Операционный директор OpenAI Брэд Лайткап заявил, что новые условия хранения данных, введённые по решению суда, ставят компанию в крайне сложное положение. По его словам, меры, которых требует The New York Times в рамках судебного процесса, вынуждают OpenAI внести радикальные изменения в подход к обработке пользовательской информации.
Компания подчёркивает, что такой шаг противоречит её внутренней политике конфиденциальности и тем обязательствам, которые были озвучены перед пользователями с момента запуска ChatGPT. Ранее OpenAI неоднократно заявляла, что пользовательские данные, включая переписку, не используются без разрешения и могут быть удалены.
OpenAI считает эти требования не только чрезмерными, но и потенциально подрывающими доверие со стороны пользователей. В связи с этим компания подала апелляцию и продолжает настаивать на необходимости соблюдения приватности как одного из ключевых принципов своей работы.
II. Кто попадает под новые правила?
Сохранение переписки теперь касается почти всех. Новая политика распространяется на пользователей бесплатного тарифа, а также подписчиков ChatGPT Plus и Pro. Сюда входят и обращения через API.
Продолжение: https://vk.com/wall-210601538_1826
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ ChatGPT будет хранить переписку с пользователями бессрочно
История общения с ChatGPT тепер... Смотрите полностью ВКонтакте.
История общения с ChatGPT тепер... Смотрите полностью ВКонтакте.
🔥4
⭐️Онлайн-дискуссия: "Кто создает будущее: исследователи или бизнес" пройдет уже сегодня 17 июля в 19 по Москве
На дискуссию приглашены признанные эксперты в области искусственного интеллекта:
🔶 Иван Оселедец, генеральный директор института AIRI
🔶 Андрей Рыбинцев, старший директор по ИИ в Авито
Модератор: Анастасия Мануйлова, обозреватель «Коммерсантъ» — эксперт в сфере социально-экономических трансформаций общества.
Активно подключаемся по ссылке и задаем вопросы в чат: https://vkvideo.ru/video-5755934_456241607
Архитектор MLSecOps
Николай Павлов
На дискуссию приглашены признанные эксперты в области искусственного интеллекта:
🔶 Иван Оселедец, генеральный директор института AIRI
🔶 Андрей Рыбинцев, старший директор по ИИ в Авито
Модератор: Анастасия Мануйлова, обозреватель «Коммерсантъ» — эксперт в сфере социально-экономических трансформаций общества.
Активно подключаемся по ссылке и задаем вопросы в чат: https://vkvideo.ru/video-5755934_456241607
Архитектор MLSecOps
Николай Павлов
VK Видео
Кто создает будущее: исследователи или бизнес
Дискуссия с экспертами в области искусственного интеллекта: 🔶 Иван Оселедцем, генеральный директор Института AIRI 🔶 Андрей Рыбинцев, старший директор по ИИ в Авито Модератор: Анастасия Мануйлова, обозреватель «Коммерсантъ» — эксперт в сфере социально-экономических…
🔥5
⭐️ Опубликован летний индекс безопасности ИИ 2025 (AI Safety Index, Summer 2025)
Основные выводы:
1. Anthropic получила лучшую общую оценку (C+).
Фирма лидировала в области оценки рисков, проводя испытания на риск с участием единственного человека, добилась успеха в обеспечении конфиденциальности, не проводя обучения по пользовательским данным, провела крупнейшие в мире исследования по согласованию данных, обеспечила высокие показатели безопасности и продемонстрировала приверженность руководству благодаря своей структуре корпорации, нацеленности на общественное благо и активному информированию о рисках.
2. OpenAI заняла второе место, опередив Google DeepMind.
OpenAI зарекомендовала себя как единственная компания, опубликовавшая свою политику информирования о нарушениях, изложившая более надежный подход к управлению рисками в своей системе обеспечения безопасности и оценившая риски с помощью моделей предварительного снижения рисков. Компания также поделилась более подробной информацией о внешних оценках моделей, предоставила подробную спецификацию, регулярно сообщала о случаях злонамеренного использования и всесторонне участвовала в исследовании Индекса безопасности искусственного интеллекта.
3. Отрасль в корне не готова к достижению заявленных целей.
Компании заявляют, что в течение десятилетия они добьются создания общего искусственного интеллекта (AGI), однако ни одна из них не набрала более двух баллов в области планирования безопасности. Один из рецензентов назвал это несоответствие "глубоко тревожным", отметив, что, несмотря на стремление к созданию искусственного интеллекта на уровне человека, "ни у одной из компаний нет ничего похожего на последовательный, осуществимый план действий" для обеспечения того, чтобы такие системы оставались безопасными и управляемыми.
4. Только 3 из 7 компаний сообщили о тщательном тестировании опасных возможностей, связанных с крупномасштабными рисками, такими как био- или кибертерроризм (Anthropic, OpenAI и Google DeepMind).
Несмотря на то, что эти лидеры незначительно улучшили качество своих типовых карт, один из рецензентов предупреждает, что базовые тесты безопасности по-прежнему не соответствуют базовым стандартам оценки рисков: “Методология и обоснование, явно связывающие данную оценку или экспериментальную процедуру с риском, с ограничениями и оговорками, как правило, отсутствуют. [...] У меня очень низкая уверенность в том, что опасные возможности будут обнаружены вовремя, чтобы предотвратить значительный ущерб. Минимальные общие инвестиции во внешние сторонние оценки еще больше снижают мою уверенность.”
5. Возможности расширяются быстрее, чем практика управления рисками, и разрыв между компаниями увеличивается.
В отсутствие единого нормативного поля некоторые мотивированные компании применяют более жесткие меры контроля, в то время как другие пренебрегают основными гарантиями, что подчеркивает недостаточность добровольных обязательств.
6. Прозрачность политики информирования о нарушениях остается слабым местом.
Политика публичного информирования является общепринятой практикой в отраслях, критически важных для безопасности, поскольку она позволяет проводить внешнюю проверку. Тем не менее, среди компаний, прошедших оценку, только OpenAI опубликовала полную версию своей политики, и сделала это только после того, как в СМИ появились сообщения о крайне ограничительных положениях политики, не допускающих оскорблений.
7. Китайские ИИ-компании Zhipu AI и Deepseek получили неудовлетворительные оценки в целом.
Однако в отчете компании оцениваются по таким нормам, как самоуправление и обмен информацией, которые гораздо менее заметны в китайской корпоративной культуре. Кроме того, поскольку в Китае уже действуют правила для передовых разработок в области искусственного интеллекта, здесь меньше полагаются на самоуправление в области безопасности ИИ. Это отличается от Соединенных Штатов и Соединенного Королевства, где базируются другие компании, которые пока не приняли подобных правил в отношении ИИ-систем.
Ссылка: https://futureoflife.org/ai-safety-index-summer-2025
Основные выводы:
1. Anthropic получила лучшую общую оценку (C+).
Фирма лидировала в области оценки рисков, проводя испытания на риск с участием единственного человека, добилась успеха в обеспечении конфиденциальности, не проводя обучения по пользовательским данным, провела крупнейшие в мире исследования по согласованию данных, обеспечила высокие показатели безопасности и продемонстрировала приверженность руководству благодаря своей структуре корпорации, нацеленности на общественное благо и активному информированию о рисках.
2. OpenAI заняла второе место, опередив Google DeepMind.
OpenAI зарекомендовала себя как единственная компания, опубликовавшая свою политику информирования о нарушениях, изложившая более надежный подход к управлению рисками в своей системе обеспечения безопасности и оценившая риски с помощью моделей предварительного снижения рисков. Компания также поделилась более подробной информацией о внешних оценках моделей, предоставила подробную спецификацию, регулярно сообщала о случаях злонамеренного использования и всесторонне участвовала в исследовании Индекса безопасности искусственного интеллекта.
3. Отрасль в корне не готова к достижению заявленных целей.
Компании заявляют, что в течение десятилетия они добьются создания общего искусственного интеллекта (AGI), однако ни одна из них не набрала более двух баллов в области планирования безопасности. Один из рецензентов назвал это несоответствие "глубоко тревожным", отметив, что, несмотря на стремление к созданию искусственного интеллекта на уровне человека, "ни у одной из компаний нет ничего похожего на последовательный, осуществимый план действий" для обеспечения того, чтобы такие системы оставались безопасными и управляемыми.
4. Только 3 из 7 компаний сообщили о тщательном тестировании опасных возможностей, связанных с крупномасштабными рисками, такими как био- или кибертерроризм (Anthropic, OpenAI и Google DeepMind).
Несмотря на то, что эти лидеры незначительно улучшили качество своих типовых карт, один из рецензентов предупреждает, что базовые тесты безопасности по-прежнему не соответствуют базовым стандартам оценки рисков: “Методология и обоснование, явно связывающие данную оценку или экспериментальную процедуру с риском, с ограничениями и оговорками, как правило, отсутствуют. [...] У меня очень низкая уверенность в том, что опасные возможности будут обнаружены вовремя, чтобы предотвратить значительный ущерб. Минимальные общие инвестиции во внешние сторонние оценки еще больше снижают мою уверенность.”
5. Возможности расширяются быстрее, чем практика управления рисками, и разрыв между компаниями увеличивается.
В отсутствие единого нормативного поля некоторые мотивированные компании применяют более жесткие меры контроля, в то время как другие пренебрегают основными гарантиями, что подчеркивает недостаточность добровольных обязательств.
6. Прозрачность политики информирования о нарушениях остается слабым местом.
Политика публичного информирования является общепринятой практикой в отраслях, критически важных для безопасности, поскольку она позволяет проводить внешнюю проверку. Тем не менее, среди компаний, прошедших оценку, только OpenAI опубликовала полную версию своей политики, и сделала это только после того, как в СМИ появились сообщения о крайне ограничительных положениях политики, не допускающих оскорблений.
7. Китайские ИИ-компании Zhipu AI и Deepseek получили неудовлетворительные оценки в целом.
Однако в отчете компании оцениваются по таким нормам, как самоуправление и обмен информацией, которые гораздо менее заметны в китайской корпоративной культуре. Кроме того, поскольку в Китае уже действуют правила для передовых разработок в области искусственного интеллекта, здесь меньше полагаются на самоуправление в области безопасности ИИ. Это отличается от Соединенных Штатов и Соединенного Королевства, где базируются другие компании, которые пока не приняли подобных правил в отношении ИИ-систем.
Ссылка: https://futureoflife.org/ai-safety-index-summer-2025
Future of Life Institute
2025 AI Safety Index - Future of Life Institute
The Summer 2025 edition of our AI Safety Index, in which AI experts rate leading AI companies on key safety and security domains.
🔥5❤2
⭐️ Как пользоваться ИИ и оставаться незаменимым? Базовые правила эффективной работы
1. Основы
Крайне не рекомендуется использовать сайты-посредники или телеграм-каналы, которые дают доступ к нейросетям — их использовать небезопасно и опрометчиво. Если вы пользуетесь такими сервисами, значит фактически вы нейросетями не пользуетесь.
Для таких нейросетей, как Gemini (Джемини) и Claude (Клод) по умолчанию нужен VPN. Также может потребоваться зарубежная карта и зарубежный номер телефона. Если же вы хотите использовать сильные нейросети без лишних телодвижений — используйте perplexity ai или deepseek.
В частности perplexity ai можно использовать даже с телефона.
Итак, вы скачали программу. Что дальше? Вы уже стремитесь закачать в нейросеть целый договор, чтобы нейросеть выявила его риски. Но так это не работает. Даже сильная нейросеть читает лишь начало и конец большого файла. В середине большого файла нейросеть обращает внимание в основном на заголовки.
Поэтому, на практике задачи в нейросети нужно дробить. Большие договоры и иные юридические документы следует прогружать в нейросеть по главам.
Если вам нужно проанализировать большое и сложное судебное решение с помощью нейросети, то рекомендуется делить текст судебного акта на абзацы, т.к. нейросеть лучше воспринимает структурированный, размеченный текст.
Для того, чтобы снизить вероятность придумывания нейросетью несуществующей судебной практики, нужно ставить галочку в графе «поиск через интеренет».
Такая нейросеть, как ChatGPT содержит подсказку в самом своём названии — это чат, то есть с нейросетью надо общаться, задавать ей всё новые и новые уточняющие вопросы.
В некоторых случаях можно прямо задать нейросети вопрос — «почему ты так написал?». То есть важен контекст вашего общения с нейросетью. Нейросеть помнит этот контекст на протяжении всего общения. Поэтому, не надо смешивать чаты, иначе нейросеть может сгаллюцинировать и выдаст вам полную ерунду.
Продолжение: https://vk.com/wall-210601538_1829
1. Основы
Крайне не рекомендуется использовать сайты-посредники или телеграм-каналы, которые дают доступ к нейросетям — их использовать небезопасно и опрометчиво. Если вы пользуетесь такими сервисами, значит фактически вы нейросетями не пользуетесь.
Для таких нейросетей, как Gemini (Джемини) и Claude (Клод) по умолчанию нужен VPN. Также может потребоваться зарубежная карта и зарубежный номер телефона. Если же вы хотите использовать сильные нейросети без лишних телодвижений — используйте perplexity ai или deepseek.
В частности perplexity ai можно использовать даже с телефона.
Итак, вы скачали программу. Что дальше? Вы уже стремитесь закачать в нейросеть целый договор, чтобы нейросеть выявила его риски. Но так это не работает. Даже сильная нейросеть читает лишь начало и конец большого файла. В середине большого файла нейросеть обращает внимание в основном на заголовки.
Поэтому, на практике задачи в нейросети нужно дробить. Большие договоры и иные юридические документы следует прогружать в нейросеть по главам.
Если вам нужно проанализировать большое и сложное судебное решение с помощью нейросети, то рекомендуется делить текст судебного акта на абзацы, т.к. нейросеть лучше воспринимает структурированный, размеченный текст.
Для того, чтобы снизить вероятность придумывания нейросетью несуществующей судебной практики, нужно ставить галочку в графе «поиск через интеренет».
Такая нейросеть, как ChatGPT содержит подсказку в самом своём названии — это чат, то есть с нейросетью надо общаться, задавать ей всё новые и новые уточняющие вопросы.
В некоторых случаях можно прямо задать нейросети вопрос — «почему ты так написал?». То есть важен контекст вашего общения с нейросетью. Нейросеть помнит этот контекст на протяжении всего общения. Поэтому, не надо смешивать чаты, иначе нейросеть может сгаллюцинировать и выдаст вам полную ерунду.
Продолжение: https://vk.com/wall-210601538_1829
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Как пользоваться ИИ и оставаться незаменимым? Базовые правила эффективной работы
1. Основы ... Смотрите полностью ВКонтакте.
1. Основы ... Смотрите полностью ВКонтакте.
🔥7