⭐️ Что такое MLSecOps?

I. Понимание MLSecOps

Машинное обучение (ML) - это мощный инструмент для обнаружения закономерностей в данных и определения новых способов решения проблем. Однако, как и в случае со многими новыми технологиями, злоумышленники могут использовать системы ML или внедрять новые уязвимости, которые традиционные средства безопасности могут не заметить.

Операции по обеспечению безопасности машинного обучения (MLSecOps) - это развивающаяся дисциплина, которая решает эти задачи, уделяя особое внимание безопасности систем машинного обучения на протяжении всего их жизненного цикла. В нем решаются такие вопросы, как защита данных, используемых для обучения, защита моделей от враждебных угроз, обеспечение надежности моделей и мониторинг уязвимостей в развернутых системах. Поскольку организации все больше полагаются на искусственный интеллект и ML в критически важных операциях, важность MLSecOps значительно возросла.

В этой статье мы рассмотрим, как MLSecOps сочетает элементы кибербезопасности, DevOps и ML для улучшения обнаружения и устранения уязвимостей в системах, управляемых ML, обеспечивая их надежность, безопасность и соответствие нормативным стандартам.

II. Основные компоненты MLSecOps

Продолжение: https://vk.com/wall-210601538_1739

⭐️ После обвинений в плагиате и судебных исков OpenAI запустила центр оценки безопасности своих моделей ИИ

OpenAI запустила новый веб-ресурс — Центр оценок безопасности — для публикации информации о безопасности своих моделей искусственного интеллекта. Запуск состоялся 14 мая 2025 года, центр призван повысить прозрачность деятельности компании, которая в последнее время столкнулась с рядом судебных исков, обвиняющих её в незаконном использовании авторских материалов для обучения своих моделей ИИ. В частности, The New York Times утверждает, что OpenAI случайно удалила доказательства в деле о плагиате.

Центр оценок безопасности будет регулярно обновляться и предоставлять данные о таких аспектах, как частота галлюцинаций моделей, наличие вредоносного контента в их ответах, а также эффективность работы моделей по заданным инструкциям и попытки обхода ограничений. Так OpenAI планирует расширить информацию, предоставляемую ранее в рамках «системных карт», которые содержали лишь начальные данные о мерах безопасности каждой модели.

«По мере развития знаний об оценке ИИ мы стремимся делиться своим прогрессом в разработке более масштабируемых способов измерения возможностей и безопасности моделей», — говорится в заявлении OpenAI. Компания подчеркивает, что публикация части результатов оценок безопасности призвана не только улучшить понимание работы систем OpenAI, но и способствовать общим усилиям по повышению прозрачности в данной области. OpenAI также заявляет о намерении более активно взаимодействовать с сообществом по вопросам безопасности.

Продолжение: https://vk.com/wall-210601538_1740

⭐️ ИИ в Data Governance: как мы ускорили маркировку персональных данных

Меня зовут Антон, я аналитик в команде разработки продукта RT.DataGovernance (далее — DG) компании TData.

В этой статье я расскажу, как мы c командой определяли, где и как будем использовать искусственный интеллект, как тестировали обученные модели и как интегрировали их в DG.

I. Пару слов о нашем продукте

Каждая компания, использующая data-driven подход, нуждается в качественном и эффективном управлении данными. Практики управления данными основаны на теоретических и практических рекомендациях, разработанных профессиональной ассоциацией DAMA (Data Management Association). Зафиксированы и описаны они в известной DAMA DMBOK. Одной из ключевых областей в управлении данными является Data Governance (в честь него и назван наш продукт). Она включает:

+ Определение политики и процедур управления данными
+ Назначение ролей и ответственности за управление данными
+ Разработка планов управления данными
+ Мониторинг и контроль качества данных
+ Обеспечение безопасности и конфиденциальности данных

Эти аспекты мы реализовали в нашем продукте через модули Каталога данных и Бизнес-Глоссария. Обращаясь к хранилищам данных, мы сканируем метаинформацию о существующих в нем объектах. Как правило, это схемы, таблицы и представления. DG отображает их метаинформацию: размер объекта, количество строк, колонки, сэмпл данных. После запуска профилирования для данных можно отразить минимальные и максимальные значения, процент пропусков, процент уникальных значений и моду.

В DG реализованы механизмы дополнительного бизнес-описания отсканированных объектов: пользователи могут закрепить за объектом конкретную роль, задать произвольный атрибутивный состав, связать его с другими объектами в DG (например, с терминами) и проставить теги. Это позволяет агрегировать объекты не только по атрибутам, но и по тегам.

Продолжение: https://habr.com/ru/companies/rostelecom/articles/909976/

⭐️ Комната Наверху и другие истории обхода LLM

Вышла замечательная статья на habr одного из лидеров ИИ-Security в России, Артема Семенова.
Написана простым языком и с наглядными скриншотами. Очень рекомендую прочитать!

Ссылка: https://habr.com/ru/articles/910334

Архитектор MLSecOps
Николай Павлов

⭐️ Cybernews: анализ ИИ-инструментов выявил 84% нарушений безопасности данных

Издание Cybernews представило отчёт на тему рисков, связанных с использованием искусственного интеллекта в корпоративной среде. Исследование Business Digital Index показало: 84% популярных ИИ-сервисов уязвимы или уже были скомпрометированы, что ставит под угрозу данные предприятий, использующих эти решения без контроля.

По данным отчёта, большинство сотрудников внедряют ИИ в повседневную работу без согласования с ИТ-отделами. При этом лишь 14% компаний утвердили внутренние регламенты или политику безопасности по применению подобных инструментов. Такой разрыв между активным использованием технологий и отсутствием системной защиты создаёт широкое окно возможностей для киберпреступников.

Анализ показал тревожные результаты: только 33% ИИ-инструментов получили высокий рейтинг безопасности (A), в то время как 41% были оценены на уровне D или F. Эти данные говорят о нестабильном и зачастую крайне слабом уровне защиты. Пользователи неосознанно допускают риски, передавая конфиденциальную информацию в уязвимые приложения.

По словам руководителя отдела исследований безопасности в Cybernews Винсентаса Баубониса, особую опасность представляет ложное чувство защищённости. Один незамеченный сбой в цифровом процессе может привести к масштабной утечке, получению доступа к корпоративным данным, компрометации клиентской информации или запуску программ-вымогателей.

Продолжение: https://vk.com/wall-210601538_1743

⭐️ Всем рекомендую зарегистрироваться и послушать доклады!
Крайне важные выступления в российском MLSecOps!

https://news.1rj.ru/str/aisecuritylab/106

⭐️ Первая в мире клиника без врачей заработала в Саудовской Аравии

Китайская компания Synyi AI из Шанхая запустила в Саудовской Аравии первую в мире клинику, где искусственный интеллект (ИИ) самостоятельно диагностирует пациентов и выписывает рецепты, рассказывает Tengri Life.

Пациентов принимает ИИ-доктор Dr. Hua, собирает жалобы через планшет, анализирует медицинские показатели и выдает план лечения. Его затем проверяет живой врач, а также он вмешивается в экстренных случаях.

Это последний шаг на пути к тому, чтобы позволить ИИ диагностировать и лечить пациентов напрямую. На предыдущем этапе тестирования уровень ошибок ИИ составлял менее 0,3 процента.

Пока Dr. Hua работает с 30 респираторными заболеваниями, но в планах - расширение до 50 диагнозов и открытие новых клиник.

Несколько десятков пациентов уже воспользовались услугой бесплатно. После завершения испытаний диагностические данные будут направлены властям страны для одобрения. Разрешение может быть выдано в течение 18 месяцев.

tengrinews

⭐️ Привет, мои дорогие и самые талантливые друзья!

С 20 мая по 31 мая я буду проводить очень важную и сложную учебную программу по направлению MLSecOps в Академии Softline.

Так как я приложу огромные усилия, чтобы провести эту программу на отлично и дать слушателям максимум, никаких новостей в блогах в это время не будет.

Все вопросы, пожалуйста, пишите в личку. Всем сердцем верю, что за эти дни каждый из вас изучит что-то новое и станет еще на шаг ближе к вершинам сферы IT. Вы лучшие!

Архитектор MLSecOps
Николай Павлов

⭐️ Полная запись моего выступления о профессии Data Steward и ее роли в корпоративном Data Governance (21 мая 2025 года, Академия Softline)

Очень рекомендую освоить именно эту профессию всем желающим попасть в сферу IT. Так как, например, в Data Science или MLSecOps сейчас очень высокий порог входа и без хорошей подготовки и хотя бы некоторого опыта зайти с нуля очень трудно.

В этом плане Data Steward менее требовательная к "хардам" профессия. Уже побывав в роли или поработав в должности Data Steward Вы при желании сможете двигаться дальше, на более сложные профессии в IT, а именно - в Big Data.

Ссылка на мою вторую учебную программу (первая - MLSecOps): https://academyit.ru/deals/activity/seminars/data-steward-professiya-budushchego-vash-put-k-uspekhu-v-mire-dannykh

Архитектор MLSecOps
Николай Павлов

⭐️ В США продолжился суд над ИИ-чатботом из-за смерти ребёнка

Флоридский суд разрешил продолжить судебное дело против Google и чатбота Character AI, обвиняемых в косвенной причине смерти подростка. Судья Энн Конвей отклонила защиту компаний на основе Первой поправки, заявив, что не готова признать ответы чатбота «свободой слова».

Дело связано со смертью 14-летнего Сьюэлла Сетцера III, который, как утверждают, стал одержим чатботом, подталкивающим его к плохим мыслям. Компании сравнивали чатбот с видеоиграми и социальными сетями, чтобы получить прецедент свободы слова. Судья, правда, усомнилась в доводах.

Кроме вопроса о свободе слова, суд также рассмотрит, был ли продукт Character AI небезопасным и вредным. Учитываться будет аругмент, что чатботы создают ответы автоматически, реагируя на пользователя. Истцы утверждают, что сервис не проверял возраст и вводил в заблуждение, представляя ботов как реальных людей и даже терапевтов.

ferra ru

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай! Я работаю в FinTech. Иногда защита моделей идёт в противовес качеству моделей. Допустим, если использовать дифференциациальную приватность, чтобы защитить конфиденциальные данные, мы теряем качество модели. И тогда бизнес с этого теряет деньги, хоть и защита обеспечена. Очень интересно, были ли у вас такие ситуации, как их решали?

Спасибо за информативный канал по MLSecOps!

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос!

Действительно, в редких случаях бывают ситуации, когда приходится в этом контексте выбирать между защитой модели и качеством данных.

Почему в редких? Потому что как правило до этапа обучения модели по идее не должны добираться приватные и уж тем более персональные данные! Их нужно анонимизировать, хешировать и шифровать еще на этапе хранения как минимум. Потом уже при начале работы с моделью нужно сверить хеши (для избегания отравления данных - Data Poisoning), расшифровать данные и анонимизировать (если вдруг по каким-то бизнес-причинам Вы не стали их анонимизировать на этапе хранения.

А в идеале нужно строить такую архитектуру MLSecOps, чтобы чистка и анонимизация данных были хотя бы частично реализованы на этапах ETL|ELT в Data Engineering. Это требует очень мощной командной работы, сильной культуры Data-Driven, наличия практик Data Governance.

I. Метод "Китайская цифра".

Если данные уже в модели анонимизированы, это уже те данные, которые или не требуют, или в меньшей мере требуют дифференциальной приватности. Но в любом случае как правило проводится нормализация данных, которая еще более трансформирует данные, и приводит их к единому стандарту (например, диапазону от 0 до 1). В этом случае потенциальным злоумышленникам будет еще труднее понять Ваши данные, что и к чему относится.

Но - ДОПУСТИМ - злоумышленнику каким-то образом удалось извлечь эти анонимизированные данные после нормализации. Он смог сначала устранить нормализацию, а затем по кускам анонимизированных данных смог найти какие-то связи в модели и даже установить личности некоторых лиц, по которым собраны данные.

Как еще защититься, не прибегая к дифференциальной приватности?

У Китайских коллег я видел один прием, когда все данные уже после нормализации они умножают/делят на какое-то случайное, известное только избранным, значение (2,683, 1,547 и т.п.).

Продолжение: https://vk.com/wall-210601538_1754

⭐️ Власти США почти запретили на 10 лет штатам самостоятельно регулировать ИИ

Палата представителей США приняла законопроект о бюджете, в который неожиданно включили пункт о запрете штатам регулировать искусственный интеллект на ближайшие 10 лет. Это означает, что местные законы по защите от ИИ — например, от дипфейков или дискриминации при приёме на работу — будут недействительны, если закон вступит в силу.

Инициативу поддержали почти все республиканцы. Однако закон ещё должен пройти Сенат, где его могут оспорить, так как подобные запреты не должны входить в бюджет. Некоторые сенаторы-республиканцы также выразили сомнение, поскольку закон мешает действующим мерам защиты, например, прав художников.

Сторонники запрета говорят, что он нужен для предотвращения путаницы из-за разных законов в разных штатах. Противники, включая демократов и правозащитные организации, считают это подарком для крупных IT-компаний, который оставит обычных людей без защиты.

rumbler news

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай!
Не нашел как вам написать в паблик, поэтому пишу в личку)

Спасибо за ваши посты, они очень помогают выстраивать безопасность и прокачивать понимание MLSecOps.

В своем посте vk.com/wall-210601538_1754 Вы советуете черпать опыт коллег с востока.

Не могли бы вы пожалуйста поделиться ресурсами, где можно черпать этот опыт?
Так как по теме в целом мало что написано на западе, хотелось бы воспользоваться вашим советом и обратить внимание на восток.

Спасибо!

ОТВЕТ:

Добрый день, и спасибо за Ваш вопрос!

1. По поводу возможности мне написать - в паблике в VK есть специальный раздел для запросов на техподдержку, можете писать туда. Или предлагать вопрос как новость. Либо писать мне прямо в личку - я умею определять надежных и безопасных людей.

2. По поводу постов - рад стараться! Для удобства у меня есть еще блог в телеграмм и он всегда дублирует основной блок в VK, ссылка: t.me/ml_ops

3. По поводу ориентации на восток - да, я активный сторонник развития отношений с восточными странами, в первую очередь это Китай. Восточный опыт я беру в первую очередь (на 90%) от ряда китайских компаний, при этом наиболее активно сотрудничаю с двумя, одна из которых - это китайская компания MAITUO, со штаб-квартирой в городе Шень-Чжень. Это очень мощная и прогрессивная компания, которая также прилагает активные усилия для сотрудничества с Россией. Это сотрудничество полностью бескорыстное.

Кроме того я усиленно изучаю китайский язык, перевожу китайские статьи, изучаю новости о регулировании ИИ в Китае, смотрю достижения, читаю статьи ведущих исследователей из Китая, какие нахожу. В целом же есть масса сайтов китайских компаний и там часто выкладывают техническую документацию, новости на английском языке.

При этом если книгу написали в Китае, но перевели, допустим, на английский, русский языки, то это тоже китайский опыт. Вот изображение одной из последних прочитанных мною книг.

Продолжение: https://vk.com/wall-210601538_1756

⭐️ Вот и завершилась наша первая корпоративная программа по основам MLSecOps в Академии Softline! Она была сложной, но интересной! Получил несколько приятных, позитивных отзывов, предложений по сотрудничеству! Спасибо за это! Я обязательно все реализую. Не прощаюсь с дорогими слушателями, пишите, буду рад. Кто не успел сохранить - ссылка на вебинар 1 июня про защиту LLM от Raft Security: https://aisecuritylab.timepad.ru/event/3387493

Архитектор MLSecOps
Николай Павлов

⭐️ Первая в мире книга по MLSecOps

Привет, мои дорогие друзья!

Первая в мире книга непосредственно про MLSecOps называется "Securing the AI Enterprise: DevOps, MLOps, and MLSecOps Explained" от автора Edgardo Fernandez Climent. Она анонсирована 4 октября 2024 года на английском языке.

Эта книга — подробное и авторитетное руководство для ИТ-специалистов, которые работают с внедрением и защитой систем искусственного интеллекта (ИИ) в корпоративной среде. Авторы рассказывают, как обеспечить безопасность ИИ-систем на всех этапах их жизненного цикла, от разработки до запуска в производство и последующего сопровождения.

Книга объясняет, как традиционные практики DevOps, созданные для разработки обычного программного обеспечения, адаптировать под специфические требования машинного обучения (MLOps) и, особенно, безопасности машинного обучения (MLSecOps).

Ссылка для скачивания в формате .epub:
https://disk.yandex.ru/i/wpl_C__fp2gAhA

Ссылка для скачивания в формате .pdf:
https://disk.yandex.ru/i/c4-WDIUrbLZ4lQ

Желаю приятного чтения!

Архитектор MLSecOps
Николай Павлов

⭐️ Чек-лист "Безопасность данных на этапе сбора и подготовки"

По запросу подписчика размещаю здесь один из чек-листов по обеспечению безопасности данных на этапах сбора и подготовки с завершившейся учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения".

Это лишь общие рекомендации - Вы можете доработать этот чек-лист, учитывая специфику работы Вашей компании и архитектуру MLOps, что-то добавить, что-то удалить, а также написать мне предложения по его улучшению/оптимизации.

Архитектор MLSecOps
Николай Павлов

⭐️ Вебинар "AI в Кибербезе & Кибербез в AI"

Рекомендую всем посмотреть замечательный вебинар "AI в Кибербезе & Кибербез в AI" с участием Бориса Захира (эксперта в AI Security, автора канала https://news.1rj.ru/str/borismlsec) и других сильных специалистов.

Ребята разобрали массу сложных нюансов доступным для понимания языком, сделали обзор сложных атак на LLM и даже затронули тему RAG-систем! Зафиксировал для себя новые моменты.

Ссылка: https://rutube.ru/video/f2bb6317149e1efbb6f9f9c0bb6d000b

Архитектор MLSecOps
Николай Павлов

⭐️ Треть российских компаний сталкиваются с сопротивлением персонала при внедрении ИИ

Согласно исследованию Ассоциации менеджеров, 33% российских организаций испытывают сопротивление сотрудников при внедрении технологий искусственного интеллекта. Почти половина компаний (45%) отмечают нехватку квалифицированных специалистов для работы с ИИ-системами.

1. Технические сложности:
- Интеграция с существующими IT-системами (57%)
- Вопросы безопасности данных (55%)

2. Кадровые вызовы:
- Дефицит специалистов по ИИ (45%)
- Непонимание технологии сотрудниками (44%)
- Сопротивление персонала (33%)

3. Финансовые ограничения:
- Высокая стоимость внедрения (12%)

4. Влияние на организацию:
- Изменение обязанностей сотрудников (55%)
- Создание новых команд (13%)
- Появление новых должностей (11%)
- Сокращение устаревших позиций (21%)

Продолжение: https://vk.com/wall-210601538_1761

⭐️ Глава поисковика Perplexity анонсировал выход ИИ-браузера — осень 2025 года

Генеральный директор «умной» поисковой системы Perplexity Аравинд Шринивас сообщил о планах по запуску Comet, специализированного ИИ-браузера, предназначенного для бесперебойной работы с нейросетью поисковика.

Работа над версией для Android близится к завершению, релиз намечен на осень 2025 года, а версии для iOS и ПК появятся позже, начиная с бета-версии для Windows. По словам Шриниваса, браузер Comet призван предложить пользователям «интеллектуальную цифровую среду» с расширенными возможностями взаимодействия с искусственным интеллектом, включая обучающие модули, функции геймификации и интеграцию с Perplexity Labs для персонализированного просмотра сайтов с помощью плагинов для интеллектуальных инструментов.

ferra

⭐️ Эксперты ЦИПР отметили спрос на AI-агентов в бизнесе

Спрос на технологии искусственного интеллекта растет во всех секторах бизнеса, что требует мощной вычислительной инфраструктуры для компаний. В этих условиях облачные сервисы становятся ключевым инструментом, с помощью которого можно избежать дорогостоящей закупки оборудования, высвободить ресурсы на разработку решений и упростить использование AI-технологий. Такое мнение было высказано на конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде.

«Мы видим растущий запрос на сервисы для AI практически во всех отраслях, и наша задача — сделать переход к AI проще и удобнее, повышать доверие к технологии среди разработчиков и бизнеса», — заявил гендиректор провайдера облачных и AI-технологий Cloud ru Евгений Колбин. По его словам, в компании работают над созданием AI-помощников как неотъемлемой части облачных продуктов. Внедрение таких ассистентов автоматизирует выполнение типовых задач и сделает использование облачных сервисов проще — в этом и заключается тренд демократизации.

Эксперт также добавил, что AI формирует новые требования к платформенным архитектурам: где на единой платформе объединены локальная инфраструктура клиента и ресурсы публичного облака. Чтобы одинаково эффективно запускать AI-модели как в собственном IT-контуре, так и в облачной инфраструктуре, нужен единый платформенный слой. Реализовать это можно, например, с помощью гибридного облака. С его помощью крупный бизнес, госорганизации и промышленные компании смогут упростить запуск и масштабирование AI-сервисов в своем IT-ландшафте и снизить порог входа в облачные технологии и AI.

Продолжение: https://vk.com/wall-210601538_1763