⭐️ ИИ в Data Governance: как мы ускорили маркировку персональных данных

Меня зовут Антон, я аналитик в команде разработки продукта RT.DataGovernance (далее — DG) компании TData.

В этой статье я расскажу, как мы c командой определяли, где и как будем использовать искусственный интеллект, как тестировали обученные модели и как интегрировали их в DG.

I. Пару слов о нашем продукте

Каждая компания, использующая data-driven подход, нуждается в качественном и эффективном управлении данными. Практики управления данными основаны на теоретических и практических рекомендациях, разработанных профессиональной ассоциацией DAMA (Data Management Association). Зафиксированы и описаны они в известной DAMA DMBOK. Одной из ключевых областей в управлении данными является Data Governance (в честь него и назван наш продукт). Она включает:

+ Определение политики и процедур управления данными
+ Назначение ролей и ответственности за управление данными
+ Разработка планов управления данными
+ Мониторинг и контроль качества данных
+ Обеспечение безопасности и конфиденциальности данных

Эти аспекты мы реализовали в нашем продукте через модули Каталога данных и Бизнес-Глоссария. Обращаясь к хранилищам данных, мы сканируем метаинформацию о существующих в нем объектах. Как правило, это схемы, таблицы и представления. DG отображает их метаинформацию: размер объекта, количество строк, колонки, сэмпл данных. После запуска профилирования для данных можно отразить минимальные и максимальные значения, процент пропусков, процент уникальных значений и моду.

В DG реализованы механизмы дополнительного бизнес-описания отсканированных объектов: пользователи могут закрепить за объектом конкретную роль, задать произвольный атрибутивный состав, связать его с другими объектами в DG (например, с терминами) и проставить теги. Это позволяет агрегировать объекты не только по атрибутам, но и по тегам.

Продолжение: https://habr.com/ru/companies/rostelecom/articles/909976/

⭐️ Комната Наверху и другие истории обхода LLM

Вышла замечательная статья на habr одного из лидеров ИИ-Security в России, Артема Семенова.
Написана простым языком и с наглядными скриншотами. Очень рекомендую прочитать!

Ссылка: https://habr.com/ru/articles/910334

Архитектор MLSecOps
Николай Павлов

⭐️ Cybernews: анализ ИИ-инструментов выявил 84% нарушений безопасности данных

Издание Cybernews представило отчёт на тему рисков, связанных с использованием искусственного интеллекта в корпоративной среде. Исследование Business Digital Index показало: 84% популярных ИИ-сервисов уязвимы или уже были скомпрометированы, что ставит под угрозу данные предприятий, использующих эти решения без контроля.

По данным отчёта, большинство сотрудников внедряют ИИ в повседневную работу без согласования с ИТ-отделами. При этом лишь 14% компаний утвердили внутренние регламенты или политику безопасности по применению подобных инструментов. Такой разрыв между активным использованием технологий и отсутствием системной защиты создаёт широкое окно возможностей для киберпреступников.

Анализ показал тревожные результаты: только 33% ИИ-инструментов получили высокий рейтинг безопасности (A), в то время как 41% были оценены на уровне D или F. Эти данные говорят о нестабильном и зачастую крайне слабом уровне защиты. Пользователи неосознанно допускают риски, передавая конфиденциальную информацию в уязвимые приложения.

По словам руководителя отдела исследований безопасности в Cybernews Винсентаса Баубониса, особую опасность представляет ложное чувство защищённости. Один незамеченный сбой в цифровом процессе может привести к масштабной утечке, получению доступа к корпоративным данным, компрометации клиентской информации или запуску программ-вымогателей.

Продолжение: https://vk.com/wall-210601538_1743

⭐️ Всем рекомендую зарегистрироваться и послушать доклады!
Крайне важные выступления в российском MLSecOps!

https://news.1rj.ru/str/aisecuritylab/106

⭐️ Первая в мире клиника без врачей заработала в Саудовской Аравии

Китайская компания Synyi AI из Шанхая запустила в Саудовской Аравии первую в мире клинику, где искусственный интеллект (ИИ) самостоятельно диагностирует пациентов и выписывает рецепты, рассказывает Tengri Life.

Пациентов принимает ИИ-доктор Dr. Hua, собирает жалобы через планшет, анализирует медицинские показатели и выдает план лечения. Его затем проверяет живой врач, а также он вмешивается в экстренных случаях.

Это последний шаг на пути к тому, чтобы позволить ИИ диагностировать и лечить пациентов напрямую. На предыдущем этапе тестирования уровень ошибок ИИ составлял менее 0,3 процента.

Пока Dr. Hua работает с 30 респираторными заболеваниями, но в планах - расширение до 50 диагнозов и открытие новых клиник.

Несколько десятков пациентов уже воспользовались услугой бесплатно. После завершения испытаний диагностические данные будут направлены властям страны для одобрения. Разрешение может быть выдано в течение 18 месяцев.

tengrinews

⭐️ Привет, мои дорогие и самые талантливые друзья!

С 20 мая по 31 мая я буду проводить очень важную и сложную учебную программу по направлению MLSecOps в Академии Softline.

Так как я приложу огромные усилия, чтобы провести эту программу на отлично и дать слушателям максимум, никаких новостей в блогах в это время не будет.

Все вопросы, пожалуйста, пишите в личку. Всем сердцем верю, что за эти дни каждый из вас изучит что-то новое и станет еще на шаг ближе к вершинам сферы IT. Вы лучшие!

Архитектор MLSecOps
Николай Павлов

⭐️ Полная запись моего выступления о профессии Data Steward и ее роли в корпоративном Data Governance (21 мая 2025 года, Академия Softline)

Очень рекомендую освоить именно эту профессию всем желающим попасть в сферу IT. Так как, например, в Data Science или MLSecOps сейчас очень высокий порог входа и без хорошей подготовки и хотя бы некоторого опыта зайти с нуля очень трудно.

В этом плане Data Steward менее требовательная к "хардам" профессия. Уже побывав в роли или поработав в должности Data Steward Вы при желании сможете двигаться дальше, на более сложные профессии в IT, а именно - в Big Data.

Ссылка на мою вторую учебную программу (первая - MLSecOps): https://academyit.ru/deals/activity/seminars/data-steward-professiya-budushchego-vash-put-k-uspekhu-v-mire-dannykh

Архитектор MLSecOps
Николай Павлов

⭐️ В США продолжился суд над ИИ-чатботом из-за смерти ребёнка

Флоридский суд разрешил продолжить судебное дело против Google и чатбота Character AI, обвиняемых в косвенной причине смерти подростка. Судья Энн Конвей отклонила защиту компаний на основе Первой поправки, заявив, что не готова признать ответы чатбота «свободой слова».

Дело связано со смертью 14-летнего Сьюэлла Сетцера III, который, как утверждают, стал одержим чатботом, подталкивающим его к плохим мыслям. Компании сравнивали чатбот с видеоиграми и социальными сетями, чтобы получить прецедент свободы слова. Судья, правда, усомнилась в доводах.

Кроме вопроса о свободе слова, суд также рассмотрит, был ли продукт Character AI небезопасным и вредным. Учитываться будет аругмент, что чатботы создают ответы автоматически, реагируя на пользователя. Истцы утверждают, что сервис не проверял возраст и вводил в заблуждение, представляя ботов как реальных людей и даже терапевтов.

ferra ru

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай! Я работаю в FinTech. Иногда защита моделей идёт в противовес качеству моделей. Допустим, если использовать дифференциациальную приватность, чтобы защитить конфиденциальные данные, мы теряем качество модели. И тогда бизнес с этого теряет деньги, хоть и защита обеспечена. Очень интересно, были ли у вас такие ситуации, как их решали?

Спасибо за информативный канал по MLSecOps!

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос!

Действительно, в редких случаях бывают ситуации, когда приходится в этом контексте выбирать между защитой модели и качеством данных.

Почему в редких? Потому что как правило до этапа обучения модели по идее не должны добираться приватные и уж тем более персональные данные! Их нужно анонимизировать, хешировать и шифровать еще на этапе хранения как минимум. Потом уже при начале работы с моделью нужно сверить хеши (для избегания отравления данных - Data Poisoning), расшифровать данные и анонимизировать (если вдруг по каким-то бизнес-причинам Вы не стали их анонимизировать на этапе хранения.

А в идеале нужно строить такую архитектуру MLSecOps, чтобы чистка и анонимизация данных были хотя бы частично реализованы на этапах ETL|ELT в Data Engineering. Это требует очень мощной командной работы, сильной культуры Data-Driven, наличия практик Data Governance.

I. Метод "Китайская цифра".

Если данные уже в модели анонимизированы, это уже те данные, которые или не требуют, или в меньшей мере требуют дифференциальной приватности. Но в любом случае как правило проводится нормализация данных, которая еще более трансформирует данные, и приводит их к единому стандарту (например, диапазону от 0 до 1). В этом случае потенциальным злоумышленникам будет еще труднее понять Ваши данные, что и к чему относится.

Но - ДОПУСТИМ - злоумышленнику каким-то образом удалось извлечь эти анонимизированные данные после нормализации. Он смог сначала устранить нормализацию, а затем по кускам анонимизированных данных смог найти какие-то связи в модели и даже установить личности некоторых лиц, по которым собраны данные.

Как еще защититься, не прибегая к дифференциальной приватности?

У Китайских коллег я видел один прием, когда все данные уже после нормализации они умножают/делят на какое-то случайное, известное только избранным, значение (2,683, 1,547 и т.п.).

Продолжение: https://vk.com/wall-210601538_1754

⭐️ Власти США почти запретили на 10 лет штатам самостоятельно регулировать ИИ

Палата представителей США приняла законопроект о бюджете, в который неожиданно включили пункт о запрете штатам регулировать искусственный интеллект на ближайшие 10 лет. Это означает, что местные законы по защите от ИИ — например, от дипфейков или дискриминации при приёме на работу — будут недействительны, если закон вступит в силу.

Инициативу поддержали почти все республиканцы. Однако закон ещё должен пройти Сенат, где его могут оспорить, так как подобные запреты не должны входить в бюджет. Некоторые сенаторы-республиканцы также выразили сомнение, поскольку закон мешает действующим мерам защиты, например, прав художников.

Сторонники запрета говорят, что он нужен для предотвращения путаницы из-за разных законов в разных штатах. Противники, включая демократов и правозащитные организации, считают это подарком для крупных IT-компаний, который оставит обычных людей без защиты.

rumbler news

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай!
Не нашел как вам написать в паблик, поэтому пишу в личку)

Спасибо за ваши посты, они очень помогают выстраивать безопасность и прокачивать понимание MLSecOps.

В своем посте vk.com/wall-210601538_1754 Вы советуете черпать опыт коллег с востока.

Не могли бы вы пожалуйста поделиться ресурсами, где можно черпать этот опыт?
Так как по теме в целом мало что написано на западе, хотелось бы воспользоваться вашим советом и обратить внимание на восток.

Спасибо!

ОТВЕТ:

Добрый день, и спасибо за Ваш вопрос!

1. По поводу возможности мне написать - в паблике в VK есть специальный раздел для запросов на техподдержку, можете писать туда. Или предлагать вопрос как новость. Либо писать мне прямо в личку - я умею определять надежных и безопасных людей.

2. По поводу постов - рад стараться! Для удобства у меня есть еще блог в телеграмм и он всегда дублирует основной блок в VK, ссылка: t.me/ml_ops

3. По поводу ориентации на восток - да, я активный сторонник развития отношений с восточными странами, в первую очередь это Китай. Восточный опыт я беру в первую очередь (на 90%) от ряда китайских компаний, при этом наиболее активно сотрудничаю с двумя, одна из которых - это китайская компания MAITUO, со штаб-квартирой в городе Шень-Чжень. Это очень мощная и прогрессивная компания, которая также прилагает активные усилия для сотрудничества с Россией. Это сотрудничество полностью бескорыстное.

Кроме того я усиленно изучаю китайский язык, перевожу китайские статьи, изучаю новости о регулировании ИИ в Китае, смотрю достижения, читаю статьи ведущих исследователей из Китая, какие нахожу. В целом же есть масса сайтов китайских компаний и там часто выкладывают техническую документацию, новости на английском языке.

При этом если книгу написали в Китае, но перевели, допустим, на английский, русский языки, то это тоже китайский опыт. Вот изображение одной из последних прочитанных мною книг.

Продолжение: https://vk.com/wall-210601538_1756

⭐️ Вот и завершилась наша первая корпоративная программа по основам MLSecOps в Академии Softline! Она была сложной, но интересной! Получил несколько приятных, позитивных отзывов, предложений по сотрудничеству! Спасибо за это! Я обязательно все реализую. Не прощаюсь с дорогими слушателями, пишите, буду рад. Кто не успел сохранить - ссылка на вебинар 1 июня про защиту LLM от Raft Security: https://aisecuritylab.timepad.ru/event/3387493

Архитектор MLSecOps
Николай Павлов

⭐️ Первая в мире книга по MLSecOps

Привет, мои дорогие друзья!

Первая в мире книга непосредственно про MLSecOps называется "Securing the AI Enterprise: DevOps, MLOps, and MLSecOps Explained" от автора Edgardo Fernandez Climent. Она анонсирована 4 октября 2024 года на английском языке.

Эта книга — подробное и авторитетное руководство для ИТ-специалистов, которые работают с внедрением и защитой систем искусственного интеллекта (ИИ) в корпоративной среде. Авторы рассказывают, как обеспечить безопасность ИИ-систем на всех этапах их жизненного цикла, от разработки до запуска в производство и последующего сопровождения.

Книга объясняет, как традиционные практики DevOps, созданные для разработки обычного программного обеспечения, адаптировать под специфические требования машинного обучения (MLOps) и, особенно, безопасности машинного обучения (MLSecOps).

Ссылка для скачивания в формате .epub:
https://disk.yandex.ru/i/wpl_C__fp2gAhA

Ссылка для скачивания в формате .pdf:
https://disk.yandex.ru/i/c4-WDIUrbLZ4lQ

Желаю приятного чтения!

Архитектор MLSecOps
Николай Павлов

⭐️ Чек-лист "Безопасность данных на этапе сбора и подготовки"

По запросу подписчика размещаю здесь один из чек-листов по обеспечению безопасности данных на этапах сбора и подготовки с завершившейся учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения".

Это лишь общие рекомендации - Вы можете доработать этот чек-лист, учитывая специфику работы Вашей компании и архитектуру MLOps, что-то добавить, что-то удалить, а также написать мне предложения по его улучшению/оптимизации.

Архитектор MLSecOps
Николай Павлов

⭐️ Вебинар "AI в Кибербезе & Кибербез в AI"

Рекомендую всем посмотреть замечательный вебинар "AI в Кибербезе & Кибербез в AI" с участием Бориса Захира (эксперта в AI Security, автора канала https://news.1rj.ru/str/borismlsec) и других сильных специалистов.

Ребята разобрали массу сложных нюансов доступным для понимания языком, сделали обзор сложных атак на LLM и даже затронули тему RAG-систем! Зафиксировал для себя новые моменты.

Ссылка: https://rutube.ru/video/f2bb6317149e1efbb6f9f9c0bb6d000b

Архитектор MLSecOps
Николай Павлов

⭐️ Треть российских компаний сталкиваются с сопротивлением персонала при внедрении ИИ

Согласно исследованию Ассоциации менеджеров, 33% российских организаций испытывают сопротивление сотрудников при внедрении технологий искусственного интеллекта. Почти половина компаний (45%) отмечают нехватку квалифицированных специалистов для работы с ИИ-системами.

1. Технические сложности:
- Интеграция с существующими IT-системами (57%)
- Вопросы безопасности данных (55%)

2. Кадровые вызовы:
- Дефицит специалистов по ИИ (45%)
- Непонимание технологии сотрудниками (44%)
- Сопротивление персонала (33%)

3. Финансовые ограничения:
- Высокая стоимость внедрения (12%)

4. Влияние на организацию:
- Изменение обязанностей сотрудников (55%)
- Создание новых команд (13%)
- Появление новых должностей (11%)
- Сокращение устаревших позиций (21%)

Продолжение: https://vk.com/wall-210601538_1761

⭐️ Глава поисковика Perplexity анонсировал выход ИИ-браузера — осень 2025 года

Генеральный директор «умной» поисковой системы Perplexity Аравинд Шринивас сообщил о планах по запуску Comet, специализированного ИИ-браузера, предназначенного для бесперебойной работы с нейросетью поисковика.

Работа над версией для Android близится к завершению, релиз намечен на осень 2025 года, а версии для iOS и ПК появятся позже, начиная с бета-версии для Windows. По словам Шриниваса, браузер Comet призван предложить пользователям «интеллектуальную цифровую среду» с расширенными возможностями взаимодействия с искусственным интеллектом, включая обучающие модули, функции геймификации и интеграцию с Perplexity Labs для персонализированного просмотра сайтов с помощью плагинов для интеллектуальных инструментов.

ferra

⭐️ Эксперты ЦИПР отметили спрос на AI-агентов в бизнесе

Спрос на технологии искусственного интеллекта растет во всех секторах бизнеса, что требует мощной вычислительной инфраструктуры для компаний. В этих условиях облачные сервисы становятся ключевым инструментом, с помощью которого можно избежать дорогостоящей закупки оборудования, высвободить ресурсы на разработку решений и упростить использование AI-технологий. Такое мнение было высказано на конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде.

«Мы видим растущий запрос на сервисы для AI практически во всех отраслях, и наша задача — сделать переход к AI проще и удобнее, повышать доверие к технологии среди разработчиков и бизнеса», — заявил гендиректор провайдера облачных и AI-технологий Cloud ru Евгений Колбин. По его словам, в компании работают над созданием AI-помощников как неотъемлемой части облачных продуктов. Внедрение таких ассистентов автоматизирует выполнение типовых задач и сделает использование облачных сервисов проще — в этом и заключается тренд демократизации.

Эксперт также добавил, что AI формирует новые требования к платформенным архитектурам: где на единой платформе объединены локальная инфраструктура клиента и ресурсы публичного облака. Чтобы одинаково эффективно запускать AI-модели как в собственном IT-контуре, так и в облачной инфраструктуре, нужен единый платформенный слой. Реализовать это можно, например, с помощью гибридного облака. С его помощью крупный бизнес, госорганизации и промышленные компании смогут упростить запуск и масштабирование AI-сервисов в своем IT-ландшафте и снизить порог входа в облачные технологии и AI.

Продолжение: https://vk.com/wall-210601538_1763

⭐️ "Ведомости" отметили почти двукратный рост спроса на экспертов по IT-безопасности

В России за первые три месяца с начала 2025 года открыто 41 800 вакансий в сфере информационной безопасности, что составляет почти половину от количества всех вакансий в этой отрасли за 2024 год, когда их было 89 900.

Об этом сообщила директор по IT и кибербезопасности сервиса по поиску работы HeadHunter Татьяна Фомина на совместной сессии газеты "Ведомости" в рамках конференции "Цифровая индустрия промышленности России" (ЦИПР).

По словам эксперта, зарплаты в области информационной безопасности растут быстрее, чем в сфере IT в целом. Медианная зарплата увеличилась на 28% по сравнению с 2021 годом, достигнув 99,9 тысячи рублей. Для специалистов с опытом работы от шести лет средняя зарплата составляет 259,2 тысячи рублей, а для тех, кто работает от трех до шести лет — почти 159 тысяч рублей. Вместе с этим, Фомина добавила, что одной из главных проблем на рынке труда является несоответствие навыков соискателей требованиям работодателей.

Интерес к специалистам по информационной безопасности возрастает во всех сферах, согласился заместитель гендиректора сервиса "Работа.ру" Александр Ветерков. По его оценке, ежемесячный прирост новых вакансий для таких специалистов составляет 4-6% год к году. Собеседник издания предположил, что это может быть связано со вступлением в силу закона об оборотных штрафах для компаний за повторные утечки персональных данных.

Продолжение: https://vk.com/wall-210601538_1764

⭐️ В России начнут блокировать созданный ИИ мошеннический контент и ужесточат наказание за мошенничество с ИИ

Депутаты Государственной думы России готовят комплекс поправок в закон "Об информации", направленных на выявление и блокировку в интернете мошеннического контента, созданного с использованием искусственного интеллекта, в том числе дипфейков.

Инициатива предусматривает внесение изменений в рамках одного документа совместно с предложением о блокировке деструктивного контента до решения суда. Зампред комитета Госдумы по информационной политике, информационным технологиям и связи Андрей Свинцов отметил, что комплекс документов охватит все вопросы, связанные с регулированием искусственного интеллекта, включая маркировку и блокировку сгенерированного ИИ деструктивного контента.

Основатель Совета блогеров Валерия Рытвина сообщила, что для выявления мошеннических материалов будут привлекаться специализированные компании, занимающиеся системами защиты от киберугроз и хакерских атак. По ее словам, в России работают одни из лучших IT-специалистов, и успешная борьба с мошенничеством требует объединения усилий государства, экспертного сообщества и общественных инициатив.

При этом по данным itspeaker в России уже подготовлен новый пакет мер, направленный на противодействие кибермошенничеству с помощью ИИ. Документ включает в себя введение уголовной ответственности за мошеннические действия, кражу и вымогательство с применением технологий искусственного интеллекта.

Продолжение: https://vk.com/wall-210601538_1765