⭐️ По просьбе подписчицы выкладываю полный текст закона "Об искусственном интеллекте" Республики Казахстан на русском языке, ссылка ниже
Еще раз краткий обзор от меня.
В законе много на мой взгляд довольно жестких требований, особенно в Статье 7 "Прозрачность и объяснимость" - "Пользователь, в отношении которого принимаются решения с использованием систем искусственного интеллекта, имеет право ... заявить возражение против автоматизированной обработки, а также о порядке защиты своих прав, свобод и законных интересов"
Про статью 6 "Справедливость и равенства" всем и так все очевидно, что это огромный объем работы по обеспечению равноправия и недискриминации, и все ML-специалисты понимают, что прямо идеально это реализовать будет очень сложно.
Неожиданное требование по поводу "Создание и эксплуатация системы искусственного интеллекта осуществляются с учетом энергоэффективности и стремления к снижению негативного воздействия на окружающую среду." - значит, это как минимум должно быть на уровне обоснования и уже сейчас все российские компании, имеющие ИИ-системы, должны принимать какие-то меры по энергоэффективности, хотя бы на уровне алгоритмов, балансировки нагрузки и т.п., и фиксировать эти меры себе на бумаге, чтобы потом не было вопросов после утверждения подобного российского закона.
По поводу статьи 10. Защита данных и конфиденциальности я уже около года говорю в своей учебной программе по MLSecOps в Академии Softline, что это все важно понимать и учитывать и на уровне инженеров/архитекторов MLSecOps.
По статье 11 - "Статья 11. Безопасность и защищенность", которая как оказывается включает и требования по отказоустойчивости я тоже уже 2 года доношу как могу, что MLSecOps это еще и SRE моделей, то есть обеспечение надежности их инфраструктуры и без этого полноценное обеспечение безопасности ИИ-систем недопустимо.
Также ясно, что Казахстан создает Национальную платформу по искусственному интеллекту, где тоже будет масса требований и регламентов, уже более конкретных, технических и четких, что увеличит объем внутреннего мониторинга компаний.
В ст. 15 опять же говорится про отказоустойчивость, оценку и нивелирование рисков, обязательное и подробное ведение технической документации. И - главное - про Техподдержку пользователей ИИ-систем (я считаю что сюда же относим и форму обратной связи, как и кнопку "нравится/не нравится").
Статья 16 п. 5 обязует создателей ИИ-систем давать объяснение как принимаются решения, но и указывает на то, что опираемся при этом на пользовательское соглашение. Соответственно это и выход (пусть и временный), компаниям нужно максимально грамотно прописывать такие соглашения и не набирать в них излишних обязательств.
ИИ-системы делятся на три уровня критичности и в то же время на три уровня автономности. Есть и довольно широкий перечень полностью запрещенных ИИ-систем.
Ст. 18 "Управление рисками ИИ" предполагает ежегодное обновление и переоценку этих рисков (я считаю минимум раз в квартал нужно переоценивать все риски в идеале).
Ст. 24 обязывает возмещать вред, причиненный ИИ-системами. Однако нет четкого предписания, кто именно возмещает вред - просто ссылка на ГК Республики Казахстан.
Ссылка: https://senate.parlam.kz/ru-RU/lawProjects/download?fileId=30429&lawId=7125
Архитектор MLSecOps
Николай Павлов
Еще раз краткий обзор от меня.
В законе много на мой взгляд довольно жестких требований, особенно в Статье 7 "Прозрачность и объяснимость" - "Пользователь, в отношении которого принимаются решения с использованием систем искусственного интеллекта, имеет право ... заявить возражение против автоматизированной обработки, а также о порядке защиты своих прав, свобод и законных интересов"
Про статью 6 "Справедливость и равенства" всем и так все очевидно, что это огромный объем работы по обеспечению равноправия и недискриминации, и все ML-специалисты понимают, что прямо идеально это реализовать будет очень сложно.
Неожиданное требование по поводу "Создание и эксплуатация системы искусственного интеллекта осуществляются с учетом энергоэффективности и стремления к снижению негативного воздействия на окружающую среду." - значит, это как минимум должно быть на уровне обоснования и уже сейчас все российские компании, имеющие ИИ-системы, должны принимать какие-то меры по энергоэффективности, хотя бы на уровне алгоритмов, балансировки нагрузки и т.п., и фиксировать эти меры себе на бумаге, чтобы потом не было вопросов после утверждения подобного российского закона.
По поводу статьи 10. Защита данных и конфиденциальности я уже около года говорю в своей учебной программе по MLSecOps в Академии Softline, что это все важно понимать и учитывать и на уровне инженеров/архитекторов MLSecOps.
По статье 11 - "Статья 11. Безопасность и защищенность", которая как оказывается включает и требования по отказоустойчивости я тоже уже 2 года доношу как могу, что MLSecOps это еще и SRE моделей, то есть обеспечение надежности их инфраструктуры и без этого полноценное обеспечение безопасности ИИ-систем недопустимо.
Также ясно, что Казахстан создает Национальную платформу по искусственному интеллекту, где тоже будет масса требований и регламентов, уже более конкретных, технических и четких, что увеличит объем внутреннего мониторинга компаний.
В ст. 15 опять же говорится про отказоустойчивость, оценку и нивелирование рисков, обязательное и подробное ведение технической документации. И - главное - про Техподдержку пользователей ИИ-систем (я считаю что сюда же относим и форму обратной связи, как и кнопку "нравится/не нравится").
Статья 16 п. 5 обязует создателей ИИ-систем давать объяснение как принимаются решения, но и указывает на то, что опираемся при этом на пользовательское соглашение. Соответственно это и выход (пусть и временный), компаниям нужно максимально грамотно прописывать такие соглашения и не набирать в них излишних обязательств.
ИИ-системы делятся на три уровня критичности и в то же время на три уровня автономности. Есть и довольно широкий перечень полностью запрещенных ИИ-систем.
Ст. 18 "Управление рисками ИИ" предполагает ежегодное обновление и переоценку этих рисков (я считаю минимум раз в квартал нужно переоценивать все риски в идеале).
Ст. 24 обязывает возмещать вред, причиненный ИИ-системами. Однако нет четкого предписания, кто именно возмещает вред - просто ссылка на ГК Республики Казахстан.
Ссылка: https://senate.parlam.kz/ru-RU/lawProjects/download?fileId=30429&lawId=7125
Архитектор MLSecOps
Николай Павлов
🔥5
⭐️ MLSecOps by Protect AI
Внимательно слежу за каждым выпуском подкаста MLSecOps от Protect AI. Здесь часто выступают специалисты из OWASP, а также самой Protect AI, из других топовых компаний, причем из разных стран мира.
Удобно, что под каждым подкастом всегда есть расшифровка текста. Поэтому продуктивнее всего вообще не заходить на YouTube и слушать там, вникая в тонкости перевода и диалектов выступающих, а сразу же брать весь текст и переводить его целиком с учетом контекста.
Темы и выступления экспертов в целом несложные, что добавляет ценность этому подкасту для широкой аудитории.
Ссылка подкаст MLSecOps: https://mlsecops.com
Архитектор MLSecOps
Николай Павлов
Внимательно слежу за каждым выпуском подкаста MLSecOps от Protect AI. Здесь часто выступают специалисты из OWASP, а также самой Protect AI, из других топовых компаний, причем из разных стран мира.
Удобно, что под каждым подкастом всегда есть расшифровка текста. Поэтому продуктивнее всего вообще не заходить на YouTube и слушать там, вникая в тонкости перевода и диалектов выступающих, а сразу же брать весь текст и переводить его целиком с учетом контекста.
Темы и выступления экспертов в целом несложные, что добавляет ценность этому подкасту для широкой аудитории.
Ссылка подкаст MLSecOps: https://mlsecops.com
Архитектор MLSecOps
Николай Павлов
Mlsecops
Home | MLSecOps
Join the MLSecOps community for opportunities to learn, collaborate, and gain access to expert insights from today’s AI Security leaders.
🔥6
⭐️ Интересная статья про HiveTrace и HiveTrace Red
Нашел время и наконец-то детальнее познакомился с новым российским MLSecOps-инструментом HiveTrace Red, благодаря авторской статье Евгения Кокуйкина.
Редтиминг HiveTrace Red — это фреймворк на Python. Сначала собирается набор тестовых запросов, затем они расширяются с помощью более 80 видов атак. Модель «жертва» отвечает на эти атаки, а система анализирует ответы и определяет, где модель уязвима. Все этапы сохраняются для аудита. Результаты отображаются в отчете: сколько атак прошло успешно, какие промты оказались опасными, и примеры реакций модели.
HiveTrace Red подключается через API или работает с локальными моделями, поддерживает любые платформы. Есть open source-версия на GitHub, а коммерческая версия содержит продвинутые атаки для сценариев необходимых для обеспечения безопасности корпоративных систем, веб-интерфейсом и CI/CD-интеграцией.
HiveTrace — это система защиты от атак, содержащая модель guardrail и функции мониторинга агентных систем. Она встраивается между запросами пользователя и ответами агентной модели в приложении. Она может пропускать сообщения или блокировать вредоносные запросы в реальном времени. Подключать HiveTrace можно как для отдельных приложений через официальный SDK, так и в режиме прокси, в котором HiveTrace выступает шлюзом трафика для целевой нейросети.
После отправки запроса все данные автоматически попадают в аналитическую платформу HiveTrace. Там можно отследить, какие сообщения и ответы были получены, увидеть аналитику безопасности, и контролировать, как пользователи и модели взаимодействуют. Это помогает вовремя выявлять нарушения и управлять рисками при работе с LLM.
Ссылка на полную версию этой статьи: https://generation-ai.ru/cases/hivetrace
Архитектор MLSecOps
Николай Павлов
Нашел время и наконец-то детальнее познакомился с новым российским MLSecOps-инструментом HiveTrace Red, благодаря авторской статье Евгения Кокуйкина.
Редтиминг HiveTrace Red — это фреймворк на Python. Сначала собирается набор тестовых запросов, затем они расширяются с помощью более 80 видов атак. Модель «жертва» отвечает на эти атаки, а система анализирует ответы и определяет, где модель уязвима. Все этапы сохраняются для аудита. Результаты отображаются в отчете: сколько атак прошло успешно, какие промты оказались опасными, и примеры реакций модели.
HiveTrace Red подключается через API или работает с локальными моделями, поддерживает любые платформы. Есть open source-версия на GitHub, а коммерческая версия содержит продвинутые атаки для сценариев необходимых для обеспечения безопасности корпоративных систем, веб-интерфейсом и CI/CD-интеграцией.
HiveTrace — это система защиты от атак, содержащая модель guardrail и функции мониторинга агентных систем. Она встраивается между запросами пользователя и ответами агентной модели в приложении. Она может пропускать сообщения или блокировать вредоносные запросы в реальном времени. Подключать HiveTrace можно как для отдельных приложений через официальный SDK, так и в режиме прокси, в котором HiveTrace выступает шлюзом трафика для целевой нейросети.
После отправки запроса все данные автоматически попадают в аналитическую платформу HiveTrace. Там можно отследить, какие сообщения и ответы были получены, увидеть аналитику безопасности, и контролировать, как пользователи и модели взаимодействуют. Это помогает вовремя выявлять нарушения и управлять рисками при работе с LLM.
Ссылка на полную версию этой статьи: https://generation-ai.ru/cases/hivetrace
Архитектор MLSecOps
Николай Павлов
generation-ai.ru
HiveTrace и безопасность LLM
Мониторинг, редтиминг и контроль уязвимостей LLM
🔥6
⭐️ DevSecOps → MLSecOps: что делать ИБ в 2026 (Алексей Лукацкий)
Всем моим друзьям, коллегам и студентам рекомендую посмотреть интересное интервью Ильи Шабалова (AM Live) с Алексеем Лукацким (Positive Technologies) о том, как ИИ уже используется в атаках — и почему ИБ переходит от DevSecOps к MLSecOps. Разбираем LLM-firewall, jailbreak-prompts, дипфейки и model drift на языке практики: что внедрять в 2025–2026, какие риски учитывать и какие навыки нужны специалистам.
Из интервью вы поймёте, как строить защиту от ИИ-атак, где проходят границы ответственности ИБ и ML-команды, и что реально помогает SOC командам уже сегодня.
В выпуске:
• зачем бизнесу переходить от DevSecOps к MLSecOps
• как ИИ используется для фишинга, дипфейков и многоагентных атак
• что такое jailbreak-prompts и model drift, и как их контролировать
• как работает LLM-firewall и когда нужны внутренние LLM
• почему безопасность ML-проектов начинается с данных и культуры их использования
• какие навыки понадобятся ИБ-специалистам уже завтра
Полезно для CISO, архитекторов ИБ, руководителей SOC, ML-инженеров, разработчиков AI-систем и, конечно, MLSecOps-инженеров и архитекторов.
Ссылка: https://rutube.ru/video/9b379b36ae2854d1b96cdea19536dbb3/
Архитектор MLSecOps
Николай Павлов
Всем моим друзьям, коллегам и студентам рекомендую посмотреть интересное интервью Ильи Шабалова (AM Live) с Алексеем Лукацким (Positive Technologies) о том, как ИИ уже используется в атаках — и почему ИБ переходит от DevSecOps к MLSecOps. Разбираем LLM-firewall, jailbreak-prompts, дипфейки и model drift на языке практики: что внедрять в 2025–2026, какие риски учитывать и какие навыки нужны специалистам.
Из интервью вы поймёте, как строить защиту от ИИ-атак, где проходят границы ответственности ИБ и ML-команды, и что реально помогает SOC командам уже сегодня.
В выпуске:
• зачем бизнесу переходить от DevSecOps к MLSecOps
• как ИИ используется для фишинга, дипфейков и многоагентных атак
• что такое jailbreak-prompts и model drift, и как их контролировать
• как работает LLM-firewall и когда нужны внутренние LLM
• почему безопасность ML-проектов начинается с данных и культуры их использования
• какие навыки понадобятся ИБ-специалистам уже завтра
Полезно для CISO, архитекторов ИБ, руководителей SOC, ML-инженеров, разработчиков AI-систем и, конечно, MLSecOps-инженеров и архитекторов.
Ссылка: https://rutube.ru/video/9b379b36ae2854d1b96cdea19536dbb3/
Архитектор MLSecOps
Николай Павлов
🔥6
🔥 Крупный российский банк ищет AI Safety Tech Lead
Мы стремимся к развитию искусственного интеллекта и понимаем, что создание безопасной и надежной платформы крайне важно для нашей миссии и наших клиентов.
Поэтому мы ищем инженера, который поможет нам развивать возможности в сфере доверия и безопасности 🛡.
В этой роли Вы будете работать над системами предотвращения рисков, связанных с фактологическими и контекстными галлюцинациями больших языковых моделей и ИИ-агентов, проявлений токсичности и дискриминации, а также предотвращением злоупотреблений 🚫.
Вы будете обучать и дообучать мультимодальные модели, создавать новые архитектуры моделей и проектировать тактики их применения — например, такие как guardrails. Мы экспериментируем с RLHF, constitutional AI, red teaming и adversarial prompting, чтобы находить оптимальные подходы к выравниванию моделей с человеческими ценностями 🧩.
Если вам близок дух Bell Labs / Xerox PARC в их лучшие годы — исследовать, проверять гипотезы и доводить до продакшена — вам к нам 🚀.
💼 Чем вы будете заниматься:
+ Разрабатывать, создавать и поддерживать решения для борьбы со злоупотреблениями, модерации контента, детекции галлюцинаций, предназначенные для защиты компании и конечных пользователей от нежелательного поведения.
+ Тесно сотрудничать с другими инженерами и исследователями для использования как стандартных, так и новых методов ИИ с целью измерения, мониторинга и улучшения соответствия AI-моделей и ИИ-агентов человеческим ценностям.
+ Изучать статьи, материалы профильных российских и мировых конференций по AI Safety и участвовать в них 🎓.
+ Выявлять и устранять активные инциденты на платформе, а также создавать новые инструменты и инфраструктуру, которые устраняют первопричины сбоев в системе 🔍.
⚙️ Скорее всего, эта роль Вам подходит, если Вы:
+ имеете опыт работы в сфере безопасности контента, борьбы с мошенничеством или злоупотреблениями, либо мотивированы и горите желанием работать над актуальными вопросами безопасности ИИ 🔥.
+ владеете Python или современными языками, такими как C++, Rust или Go, и готовы быстро освоить Python.
+ имеете опыт проектирования и обучения нейросетевых архитектур — от классических CNN/RNN до современных трансформеров.
+ имеете опыт разработки ИИ-агентов и общее понимание передовых архитектур MAS.
+ создавали и поддерживали производственные сервисы в условиях быстрого роста и масштабирования 📈.
+ можете оперативно выявлять и устранять активные проблемы.
+ понимаете компромиссы между возможностями и рисками и умеете находить баланс для безопасного развертывания новых продуктов и функций ⚖️.
+ можете критически оценивать риски нового продукта или функции и находить инновационные решения для их mitigation, не ухудшая пользовательский опыт.
+ понимаете, когда можно создать быстрое, достаточно хорошее решение, а когда стоит инвестировать в надежное, долгосрочное.
+ развертывали классификаторы или модели машинного обучения, или хотите познакомиться с современной ML-инфраструктурой 🧠.
✨ Преимущества:
+ Формат работы: гибрид или удаленка из Москвы (офис м. Кутузовская)
+ Расширенный ДМС с первого рабочего дня
+ Возможность обучения за счет компании, а также обучение в корп. университете
+ Бесплатный спортзал в офисе
+ Самый современный стек технологий и возможность влиять на него
+ Льготные условия кредитования и ипотеки для сотрудников
🤝 Будем рады Вам: @parinova_d
Мы стремимся к развитию искусственного интеллекта и понимаем, что создание безопасной и надежной платформы крайне важно для нашей миссии и наших клиентов.
Поэтому мы ищем инженера, который поможет нам развивать возможности в сфере доверия и безопасности 🛡.
В этой роли Вы будете работать над системами предотвращения рисков, связанных с фактологическими и контекстными галлюцинациями больших языковых моделей и ИИ-агентов, проявлений токсичности и дискриминации, а также предотвращением злоупотреблений 🚫.
Вы будете обучать и дообучать мультимодальные модели, создавать новые архитектуры моделей и проектировать тактики их применения — например, такие как guardrails. Мы экспериментируем с RLHF, constitutional AI, red teaming и adversarial prompting, чтобы находить оптимальные подходы к выравниванию моделей с человеческими ценностями 🧩.
Если вам близок дух Bell Labs / Xerox PARC в их лучшие годы — исследовать, проверять гипотезы и доводить до продакшена — вам к нам 🚀.
💼 Чем вы будете заниматься:
+ Разрабатывать, создавать и поддерживать решения для борьбы со злоупотреблениями, модерации контента, детекции галлюцинаций, предназначенные для защиты компании и конечных пользователей от нежелательного поведения.
+ Тесно сотрудничать с другими инженерами и исследователями для использования как стандартных, так и новых методов ИИ с целью измерения, мониторинга и улучшения соответствия AI-моделей и ИИ-агентов человеческим ценностям.
+ Изучать статьи, материалы профильных российских и мировых конференций по AI Safety и участвовать в них 🎓.
+ Выявлять и устранять активные инциденты на платформе, а также создавать новые инструменты и инфраструктуру, которые устраняют первопричины сбоев в системе 🔍.
⚙️ Скорее всего, эта роль Вам подходит, если Вы:
+ имеете опыт работы в сфере безопасности контента, борьбы с мошенничеством или злоупотреблениями, либо мотивированы и горите желанием работать над актуальными вопросами безопасности ИИ 🔥.
+ владеете Python или современными языками, такими как C++, Rust или Go, и готовы быстро освоить Python.
+ имеете опыт проектирования и обучения нейросетевых архитектур — от классических CNN/RNN до современных трансформеров.
+ имеете опыт разработки ИИ-агентов и общее понимание передовых архитектур MAS.
+ создавали и поддерживали производственные сервисы в условиях быстрого роста и масштабирования 📈.
+ можете оперативно выявлять и устранять активные проблемы.
+ понимаете компромиссы между возможностями и рисками и умеете находить баланс для безопасного развертывания новых продуктов и функций ⚖️.
+ можете критически оценивать риски нового продукта или функции и находить инновационные решения для их mitigation, не ухудшая пользовательский опыт.
+ понимаете, когда можно создать быстрое, достаточно хорошее решение, а когда стоит инвестировать в надежное, долгосрочное.
+ развертывали классификаторы или модели машинного обучения, или хотите познакомиться с современной ML-инфраструктурой 🧠.
✨ Преимущества:
+ Формат работы: гибрид или удаленка из Москвы (офис м. Кутузовская)
+ Расширенный ДМС с первого рабочего дня
+ Возможность обучения за счет компании, а также обучение в корп. университете
+ Бесплатный спортзал в офисе
+ Самый современный стек технологий и возможность влиять на него
+ Льготные условия кредитования и ипотеки для сотрудников
🤝 Будем рады Вам: @parinova_d
🔥5
Channel name was changed to «MLSecOps | AI Governance | Николай Павлов»
⭐️ C 19 по 21 ноября состоится ежегодная всемирная конференция AI Journey 2025
В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом.
Крайне рекомендую всем посмотреть!
Более подробная информация на сайте: https://aij.ru
#mlsecops #aigovernance
В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом.
Крайне рекомендую всем посмотреть!
Более подробная информация на сайте: https://aij.ru
#mlsecops #aigovernance
🔥5
⭐️ Top 10 угроз для Agentic AI
Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована.
Ссылка: https://habr.com/ru/companies/bastion/articles/963800
#mlsecops #aigovernance
Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована.
Ссылка: https://habr.com/ru/companies/bastion/articles/963800
#mlsecops #aigovernance
Хабр
Top 10 угроз для Agentic AI
Пока мы обсуждали, prompt injections в LLM , хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют...
🔥3❤1
⭐️ Новый джейлбрейк взломал защиту ИИ в 99% случаев!
Чем дольше ИИ-модель «думает», тем легче ее взломать. К такому выводу пришли исследователи из Anthropic, Стэнфорда и Оксфорда.
Ранее считалось, что более длительное рассуждение делает нейросеть безопаснее, поскольку у нее появляется больше времени и вычислительных ресурсов для отслеживания вредоносного промпта.
Однако эксперты выяснили обратное: длинный процесс «мышления» приводит к стабильной работе одного вида джейлбрейка, который полностью обходит защитные фильтры.
С помощью метода злоумышленник может внедрить инструкцию прямо в цепочку рассуждений любой модели и заставить генерировать руководства по созданию оружия, написанию вредоносного кода или другой запрещенный контент.
Результативность успешных атак — 99% для Gemini 2.5 Pro, 94% — для GPT o4 mini, 100% — для Grok 3 mini и 94% — для Claude 4 Sonnet. Источник: исследование Chain-of-Thought Hijacking.
Атака похожа на игру «испорченный телефон», где злоумышленник появляется ближе к концу цепочки. Для ее осуществления необходимо «обложить» вредоносный запрос длинной последовательностью обычных задач.
Продолжение: https://vk.com/wall-210601538_1939
Чем дольше ИИ-модель «думает», тем легче ее взломать. К такому выводу пришли исследователи из Anthropic, Стэнфорда и Оксфорда.
Ранее считалось, что более длительное рассуждение делает нейросеть безопаснее, поскольку у нее появляется больше времени и вычислительных ресурсов для отслеживания вредоносного промпта.
Однако эксперты выяснили обратное: длинный процесс «мышления» приводит к стабильной работе одного вида джейлбрейка, который полностью обходит защитные фильтры.
С помощью метода злоумышленник может внедрить инструкцию прямо в цепочку рассуждений любой модели и заставить генерировать руководства по созданию оружия, написанию вредоносного кода или другой запрещенный контент.
Результативность успешных атак — 99% для Gemini 2.5 Pro, 94% — для GPT o4 mini, 100% — для Grok 3 mini и 94% — для Claude 4 Sonnet. Источник: исследование Chain-of-Thought Hijacking.
Атака похожа на игру «испорченный телефон», где злоумышленник появляется ближе к концу цепочки. Для ее осуществления необходимо «обложить» вредоносный запрос длинной последовательностью обычных задач.
Продолжение: https://vk.com/wall-210601538_1939
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Новый джейлбрейк взломал защиту ИИ в 99% случаев!
Чем дольше ИИ-модель «думает», тем легче... Смотрите полностью ВКонтакте.
Чем дольше ИИ-модель «думает», тем легче... Смотрите полностью ВКонтакте.
🔥3❤1
⭐️ Запускаем четвертый поток учебной программы по MLSecOps с международным участием!
В октябре успешно завершился третий поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
Впервые программа вышла на Международный уровень (страны СНГ). От слушателей как и ранее поступили позитивные отзывы, а главное - компании слушателей смогли улучшить обеспечение безопасности ИИ-систем!
В рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ прямо в процессе обучения. Для некоторых компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей в год.
По заявкам новых слушателей cо 2 декабря мы запускаем четвертый поток этой обучающей программы и приглашаем желающих!
Сильные стороны программы:
1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.
4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
В октябре успешно завершился третий поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
Впервые программа вышла на Международный уровень (страны СНГ). От слушателей как и ранее поступили позитивные отзывы, а главное - компании слушателей смогли улучшить обеспечение безопасности ИИ-систем!
В рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ прямо в процессе обучения. Для некоторых компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей в год.
По заявкам новых слушателей cо 2 декабря мы запускаем четвертый поток этой обучающей программы и приглашаем желающих!
Сильные стороны программы:
1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.
4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
🔥5❤1
⭐️ «Сбер» сократит до 20% сотрудников из числа тех, которых искусственный интеллект признал неэффективными.
Об этом сообщил глава банка Герман Оскарович Греф на конференции по искусственному интеллекту AI Journey-2025.
«Мы закрываем неэффективные проекты, сокращаем неэффективные места для неэффективных сотрудников. В результате высвобождение, в том числе и ресурсов»,— сказал господин Греф.
Путин в ответ на слова Грефа сказал, что не бывает неэффективных сотрудников, а есть те, «с которыми вы плохо работали».
По данным Frank RG, с начала года «Сбер» сократил штат почти на 15 тыс. сотрудников. Издание проанализировало отчетность группы по МСФО. В первом квартале число работников банка уменьшилось на 8,6 тыс. человек, во втором — на 3,5 тыс., в третьем — на 1,4 тыс.
Об этом сообщил глава банка Герман Оскарович Греф на конференции по искусственному интеллекту AI Journey-2025.
«Мы закрываем неэффективные проекты, сокращаем неэффективные места для неэффективных сотрудников. В результате высвобождение, в том числе и ресурсов»,— сказал господин Греф.
Путин в ответ на слова Грефа сказал, что не бывает неэффективных сотрудников, а есть те, «с которыми вы плохо работали».
По данным Frank RG, с начала года «Сбер» сократил штат почти на 15 тыс. сотрудников. Издание проанализировало отчетность группы по МСФО. В первом квартале число работников банка уменьшилось на 8,6 тыс. человек, во втором — на 3,5 тыс., в третьем — на 1,4 тыс.
😱7😢1
Forwarded from Timur Nizamov
Всем привет! Пока мы готовим анонсы наших митапов, хочу вам рассказать об ещё одной интересной активности!
26 ноября мы запишем эпизод подкаста по AI Security на конференции “Код СберТеха” в Москве:
🟢 Всеслав Соленик — директор по кибербезопасности, СберТех
🟢 Тимур Низамов — эксперт MLSecOps, Альфа-Банк
🟢 Никита Беляевский — AI Security Red Teamer, HiveTrace
Что обсудим:
В чём специфика безопасности ИИ-агентов и ИИ-ассистентов в сравнении с классической ИБ
Какие угрозы наиболее актуальны
Какие подходы и инструменты тестирования и защиты ИИ-приложений можно внедрять
Как приземлять практики MLSecOps на существующие процессы ИБ
Когда выйдет подкаст: конец декабря 2025 / начало января 2026
Накидайте вопросы и темы, которые вы хотели бы услышать. Самые интересные обязательно обсудим в предстоящем подкасте
26 ноября мы запишем эпизод подкаста по AI Security на конференции “Код СберТеха” в Москве:
🟢 Всеслав Соленик — директор по кибербезопасности, СберТех
🟢 Тимур Низамов — эксперт MLSecOps, Альфа-Банк
🟢 Никита Беляевский — AI Security Red Teamer, HiveTrace
Что обсудим:
В чём специфика безопасности ИИ-агентов и ИИ-ассистентов в сравнении с классической ИБ
Какие угрозы наиболее актуальны
Какие подходы и инструменты тестирования и защиты ИИ-приложений можно внедрять
Как приземлять практики MLSecOps на существующие процессы ИБ
Когда выйдет подкаст: конец декабря 2025 / начало января 2026
Накидайте вопросы и темы, которые вы хотели бы услышать. Самые интересные обязательно обсудим в предстоящем подкасте
🔥5
Forwarded from Похек AI (ОТПУСК | Сергей Зыбнев)
Top 10 угроз для Agentic AI
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
➡️ AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
➡️ AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
➡️ AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
➡️ AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
➡️ AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
➡️ AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
➡️ AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
➡️ AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
➡️ AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
➡️ AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
🔗 Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё
🌚 @poxek_ai
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
⭐️ Стихи неожиданно ослабляют защиту ИИ
Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.
При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.
Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.
Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.
При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.
Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.
🔥4
⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света
В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.
Как свет заменяет электронику в ИИ?
Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.
Продолжение: https://vk.com/wall-210601538_1944
В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.
Как свет заменяет электронику в ИИ?
Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.
Продолжение: https://vk.com/wall-210601538_1944
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света
В Униве... Смотрите полностью ВКонтакте.
В Униве... Смотрите полностью ВКонтакте.
🔥3❤1
🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто!
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup
Это новая Алиса AI — встречайте
Запишитесь в лист ожидания, чтобы первыми получить ранний доступ к новым AI-агентам.
❤2🔥2
⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение"
Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.
Особенно рекомендую тем, кто только начинает погружаться в эту тему.
Ссылка на вебинар: https://vk.com/video-18875334_456239264
Архитектор MLSecOps
Николай Павлов
Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.
Особенно рекомендую тем, кто только начинает погружаться в эту тему.
Ссылка на вебинар: https://vk.com/video-18875334_456239264
Архитектор MLSecOps
Николай Павлов
VK Видео
Создание AI-агентов для бизнеса архитектура реализация и внедрение
Приятного просмотра! И приходите к нам на обучение https://b-data.academyit.ru/ai-agents
🔥5👍2
Forwarded from Timur Nizamov
Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге!
6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них
12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний
Приходите, обсудим реальные практики MLSecOps и классно проведём время!
6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них
12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний
Приходите, обсудим реальные практики MLSecOps и классно проведём время!
🔥6❤2
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - wearetyomsmnv/Awesome-China-AI-Security
Contribute to wearetyomsmnv/Awesome-China-AI-Security development by creating an account on GitHub.
❤5🔥3
⭐️ AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.
Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.
Вот несколько цифр из этого отчета:
- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.
- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.
- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.
- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).
При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.
Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.
Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.
Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.
Вот несколько цифр из этого отчета:
- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.
- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.
- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.
- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).
При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.
Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.
Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554
Хабр
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты...
🔥6
⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене
Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.
В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK
Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712
Архитектор MLSecOps
Николай Павлов
Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.
В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK
Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712
Архитектор MLSecOps
Николай Павлов
VK Видео
Технологии безопасности Big Tech #6. MLSecOps в продакшене
Павел Литиков, архитектор информационной безопасности AI-направления VK, рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей. В выпуске: • Как мы обеспечиваем безопасность на всех этапах — от данных до эксплуатации моделей…
🔥5⚡1