2. AI Governance задаёт этические и правовые рамки: принципы прозрачности, недискриминации, распределения ответственности. Вместе они формируют двойную защиту — техническую и нормативную.

В перспективе архитектура автономных ИИ-систем должна эволюционировать от просто отказоустойчивой к «антихрупкой» — способной не только выдерживать удары, но и укрепляться за счёт них. Это, на мой взгляд, предполагает самообучение на инцидентах, адаптацию к новым угрозам и коллективную устойчивость в сетях взаимодействующих агентов.

В заключение отмечу, что создание безопасных и отказоустойчивых автономных ИИ-систем — это не инженерная задача в узком смысле, а масштабный вызов, требующий системного мышления, междисциплинарного подхода и глубокой ответственности.

Архитектор MLSecOps
Николай Павлов

⭐️ В свободное время на каникулах провел серию встреч по безопасной работе с нейронными сетями с ребятами в детском лагере

Ежегодно интерес детей к этому важному направлению растёт. И крайне важно уже сегодня учить их самым современным и полезным цифровым навыкам. В этот раз удалось заинтересовать даже самых юных детей, 7-8 лет, что доказывает - в современных школах и детских лагерях прямо сейчас уже с первого класса можно и нужно запускать такие кружки, проводить целевые уроки, создавать технические лаборатории по формированию цифровых навыков!

Некоторые ребята особенно активно погружались в нейронные сети, проявляли искренний интерес, за что им отдельное спасибо!

Мне хочется верить, что в будущем каждый ребенок будет идти в ногу с ускоряющимся технологическим прогрессом и сможет выстоять в конкурентной борьбе. Будет заниматься полезным для людей и страны делом. Сможет передать полученные знания далее, другим поколениям.

До новых встреч!

Архитектор MLSecOps
Николай Павлов

⭐️ Новогодний эфир «Безопасность и интерпретируемость моделей»

На новогоднем онлайн-эфире о безопасности и интерпретируемости моделей машинного обучения обсудим ключевые тренды AI Security 2025 года, различия между safety и security, практику применения guardrails, steering и RLHF, а также роль интерпретируемости в защите моделей. Формат живого обсуждения с ответами на вопросы участников.

Топовые спикеры:

🔥 Сабрина Садиех – Исследователь в области XAI, магистрантка ВШЭ, автор канала Data Blog

🔥 Евгений Кокуйкин – Руководитель AI Security Lab Talent Hub, CEO HiveTrace

Темы:

+ Безопасность моделей. Какие подходы и методы стали ключевыми в 2025 году и какие тренды будут определять развитие дальше.
+ Различие safety и security. Почему эти понятия важно разделять на практике.
+ Guardrails, steering и RLHF. Плюсы, минусы и границы применимости методов.
+ Роль интерпретируемости в задачах безопасности моделей.

В формате живого обсуждения мы также ответим на вопросы участников.

Когда: 8 января, 14:00 по Москве.

Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3751600

Очень рекомендую всем подключиться и принять участие!

Архитектор MLSecOps
Николай Павлов

🎄 Дорогие коллеги и друзья!
Сердечно поздравляю вас с Рождеством Христовым! 🙏

В эпоху ИИ оставайтесь теми, кто хранит разум, совесть и надежду, непрерывно обучается, гарантируя безопасность, отказоустойчивость и служение высоких технологий на благо людям и России!
Желаю вам и вашим близким счастья, мира, веры в лучшее, вдохновения в работе и огромных сил, чтобы строить будущее.

С праздником!✨

Архитектор MLSecOps
Николай Павлов

Эфир начинается! Ссылка на подключение: https://us06web.zoom.us/j/84061449320?pwd=q9oLPX9i4NNTRhHeOKCXIJYUAwC3ta.1

Привет, друзья! А вот и наш вчерашний эфир. ☺️

На нём было всё — от конструктивного обсуждения, до случайных вольных художников. Последних пришлось вырезать, ибо свастика, элементы биологии и правописание глаголов в нецензурном контексте — не тема эфира. Зато как было весело в онлайне!

Прошлись по всем темам:

1. Безопасность моделей: какие подходы и методы стали ключевыми в 2025 году и какие тренды будут определять развитие дальше.

2. Safety vs Security: почему эти понятия важно чётко различать на практике.

3. Guardrails, steering и RLHF: сильные стороны, ограничения и границы применимости.

4. Роль интерпретируемости в задачах безопасности моделей.

+ обсудили, как же весело делать рисерч, узнали некоторые детали о разметке данных, обсудили тему необходимости интерпретиуремости и подумали, есть ли в ней прибыль.

Спасибо слушателям за вопросы и комментарии!
Надеюсь, встретимся ещё неоднократно!

Ваш,
Дата-автор! 🤗

⭐️ 2026 назвали годом настоящей монетизации искусственного интеллекта. AI Governance в топе

Мировой рынок искусственного интеллекта стоит на пороге качественного сдвига. Если предыдущие годы были посвящены шумихе, фундаментальным прорывам и пилотным запускам, то 2026-й, по единодушному мнению экспертов, станет временем, когда ИИ начнёт приносить реальные деньги в масштабах всей экономики. Как отмечает аналитик Дэн Айвз, человечество вступает в «год монетизации ИИ», когда построенная инфраструктура начнёт активно использоваться как предприятиями, так и конечными потребителями, генерируя измеримый финансовый поток.

Этот прогноз основан на наблюдаемом ускорении бизнеса, связанного с ИИ, и ожидании, что ИТ-директора и руководители компаний в ближайшее время перейдут от этапа определения возможностей к этапу их широкого и глубокого внедрения. Западные аналитики подчёркивают, что текущий рост — это не признак «пузыря», а лишь самые ранние стадии долгосрочной технологической революции, которая будет разворачиваться в течение всего следующего десятилетия.

Подтверждением этой тенденции служат и глобальные прогнозы расходов. Согласно данным, в 2026 году мировые инвестиции в искусственный интеллект впервые в истории превысят отметку в 2 триллиона долларов. Этот рост будет обеспечен не только транснациональными технологическими корпорациями, но и гораздо более широким кругом предприятий из различных отраслей, которые начнут массово интегрировать ИИ в свою основную инфраструктуру — от смартфонов и персональных компьютеров до корпоративных систем и производственных линий.

Однако скорость этого перехода будет неравномерной и будет зависеть от региональных экономических условий, регуляторной среды и, что критически важно, от доступа к квалифицированным кадрам. Это объясняется тем, что не каждая компания сможет или захочет проводить масштабную и дорогостоящую модернизацию одинаковыми темпами, что создаст новый ландшафт конкурентных преимуществ.

Продолжение: https://vk.com/wall-210601538_1970

⭐️ RT.DataGovernance

С утра в понедельник я продолжаю погружение в технологии по управлению большими данными. И на очереди RT.DataGovernance от компании TData, важный инструмент, позволяющий улучшать качество процессов MLSecOps и AI Governance.

RT.DataGovernance - это инструмент, предназначенный для:
+ документирования данных
+ совместной работы с данными
+ повышения их прозрачности и доступности для бизнеса
+ обеспечения согласованной работы бизнес-подразделений и ИТ-специалистов

Включает в себя:

1. Каталог данных - модуль для сбора и хранения метаданных, который предоставляет информацию о имеющихся данных в компании, их актуальности и доступности.

2. Бизнес-глоссарий - инструмент для согласования и утверждения терминологии компании, единый «источник правды» для бизнес-терминов.

3. Реестр отчетов - каталог инфосервисов, реализованных в корпоративных хранилищах компании. Содержит информацию об атрибутном составе, ссылках на отчет\заявках на доступ, инструментах визуализации, глубине доступности и другой немаловажной пользовательской информации.

4. Реестр универсальных объектов - это модуль, позволяющий пользователям проектировать реестры для управления данными, задавать им необходимую аналитику, настраивать связи, процессы согласования, отображать сквозные связи с остальными элементами.

5. Бизнес-портал - портал для бизнес-пользователей, который позволяет оперативно искать и анализировать данные компании. Портал служит единой точкой входа для изучения данных и обучения работы с данными.
Является проводником в развитии data driven культуры компании.

6. Data Lineage - модуль, содержащий информацию о потоке данных в хранилище от источника до средства визуализации.

7. Data Quality - решение, которое позволяет на уровне настраиваемых бизнес-правил проводить анализ качества данных, обеспечивает реализацию типовых и сложных проверок, формирование и рассылку отчетов об ошибках в данных, визуализацию результатов проверок на дашбордах.

Преимущества RT.DataGovernance:

+ Программный продукт внесен в единый реестр отечественного ПО Минцифры России (реестровая запись №6751 от 09.06.2020)

+ Решение основных проблем в рабочих процессах сотрудников по управлению данными

+ Интуитивно понятный интерфейс удобен для технических специалистов и для бизнес-пользователей

+ Успешное внедрение инструмента в территориально распределённой компании численностью более 100 тысяч человек

+ Автоматизация процессов работы с помощью ИИ

+ Гибкая настройка под задачи клиента при внедрении системы управления данными

Более подробная информация здесь: https://tdata.tech/products/datagovernance

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Цифровые тренды 2026: как AI, гипер-автоматизация и новые CRM изменят бизнес в России

Январь 2026 года окончательно стер границу между «футурологией» и бизнес-реальностью. То, что еще вчера казалось экспериментами техногигантов - генеративный ИИ в отделе продаж, гипер-автоматизация рутины и предиктивная аналитика - сегодня становится гигиеническим минимумом для выживания на рынке. Российский бизнес, работающий в условиях кадрового голода и жесткой конкуренции, больше не может позволить себе роскошь игнорировать цифровую трансформацию.

Если 2025 год был годом «пилотов» и тестов, то 2026-й - это год масштабирования и внедрения. Компании, которые продолжат вести клиентов в Excel или использовать CRM как простую записную книжку, рискуют безнадежно отстать от конкурентов, вооруженных нейросетями и роботами.

1. Эра AI-агентов и цифровых ассистентов

Если 2024-2025 годы прошли под знаком экспериментов с ChatGPT, то 2026 год знаменует переход к Agentic AI (Агентному ИИ). По данным аналитиков Gartner и McKinsey, бизнес больше не нуждается в чат-ботах, которые просто "болтают". Рынку нужны автономные AI-агенты, способные не просто генерировать текст, а совершать действия: планировать встречи, запускать бизнес-процессы и управлять сделками.

В российских реалиях флагманом этого тренда стал Битрикс24 CoPilot. Это уже не просто текстовый помощник, а полноценный цифровой сотрудник, встроенный в ядро CRM. В отличие от разрозненных нейросетей, он работает внутри вашего безопасного контура и имеет доступ к контексту бизнеса.

Что умеет AI-ассистент в 2026 году:

+ Автоматическое заполнение CRM (Call-to-Card). CoPilot слушает запись звонка менеджера, транскрибирует её в текст, выделяет ключевые договоренности (бюджет, сроки, боли) и сам разносит данные по полям карточки сделки. Менеджер экономит до 40 минут в день на рутине.

+ AI-скоринг и предиктивная аналитика. Нейросеть анализирует историю коммуникации и присваивает лиду балл «вероятности покупки». Система сама подскажет РОПу: «Этот клиент "перегрет", срочно звоните, а этот - просто мониторит рынок».

+ Генерация саммари (Meeting Notes). После часового зума с командой AI формирует краткое резюме: о чем договорились, кто ответственный и какие дедлайны. Протокол встречи готов через 5 секунд после её окончания. Инвестиция в AI сегодня - это не погоня за модой, а единственный способ масштабировать продажи без линейного роста штата. В 2026 году побеждает не тот, у кого больше менеджеров, а тот, чьи менеджеры усилены нейросетями.

Продолжение: https://vk.com/wall-210601538_1972

⭐️ Когда примут закон об ИИ в России: регулирование, безопасность и доверенный ИИ

Привет, мои дорогие и самые талантливые друзья!
С ужасом для себя обнаружил, что 27 декабря пропустил крайне важный и очень классный вебинар на AM Live по направлениям MLSecOps и AI Governance с Дмитрием Служенкиным — секретарём Консорциума исследований безопасности технологий искусственного интеллекта про регулирование ИИ в России. Исправляюсь. Спикер говорит очень доступным, понятным языком и вебинар рекомендован для всех без исключения!

На этом вебинаре обсуждают, когда появится закон об искусственном интеллекте, что такое доверенный ИИ и зачем государству нужны правила для алгоритмов.

Разбирают, почему безопасность ИИ начинается не с чат-ботов, а с данных, архитектуры, контроля и ответственности, и какие требования могут появиться для применения ИИ в госсистемах, КИИ и бизнесе.

Обсуждаются и ключевые риски искусственного интеллекта:
— галлюцинации ИИ и проблему «чёрного ящика»
— объяснимость моделей (XAI) и контроль принятия решений
— подходы к защите: модель-цензор, DLP, защита информации
— как ИИ меняет кибербезопасность и снижает порог входа для атак

Отдельно поговорили о том, как устроено регулирование ИИ в мире (ЕС, США, Китай) и чем отличается российская модель — от этических кодексов и стандартов до возможной сертификации и требований для критически важных систем.

Ссылка на вебинар: https://vkvideo.ru/video-21732035_456241688

Дружно откладываем все дела. Запускаем видео. Внимательно смотрим. Фиксируем себе новые и важные моменты.

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Судные дни рынка труда: Большая аналитика 2025/26. Парадоксы выживания

С утра прочитал интересную статью про тренды рынка труда. Даю краткий обзор и рекомендую к ознакомлению.

Рынок труда в России сегодня переживает кризис, когда количество вакансий упало на 31%, резюме выросло на 34%, а индекс конкуренции или hh-индекс достиг 8,1 (тогда как норма 4-5). При этом компании жалуются на дефицит кадров (50%), но 35% заморозили найм и 38% сокращают штат, фокусируясь на "волшебных единорогах", то есть сеньорах за умеренную з/п.
При этом в целом на рынке продолжается спрос на синие воротнички (это курьеры, водители, заводчане). Также есть спрос на продажников, но тех, кто реально может продавать и приносить денежку.

Интересно, что пишут и про работников 45+ лет, что они надежнее молодого поколения с позиций добросовестности, исполнительности, в чем уверены 64% работодателей.
​
При этом соискатели массово прибегают к фроду и овер-имплоюменту, а работодатели — к гостингу и черным спискам.

Топ-навыки: коммуникация (78%), качество работы (65%), решение проблем (64%) для линейных работников, стратегическое мышление (76%) и управление (68%) для топов.

В 2026 году будет сделан фокус на эффективность, удержание кадров, работу с ИИ и, конечно, гибридный формат.
​
В статье рассматривают и западный опыт. В США наступило "Великое Замедление" (очень похожу на "Эпоху Великого Замещения" - совпадение?), тотальные сокращения в IT + визу практически не получить. В Европе средний поиск работы уже 6 месяцев, сильная стагнация в Германии (главном "локомотиве" ЕС). А на Ближнем Востоке, наоборот бум. Потому что есть денежки и потому что не создают "нейронку ради нейронки". В Азия протекционизм своих специалистов, мощный спрос на инженеров, специалистов по большим данным.
​
Советы по выживанию из статьи:
1. Освойте ИИ для рутины, потому что 56% компаний уже это активно используют.
​2. Развивайте и продавайте свои soft skills (эмпатия, коммуникация, коучинг и активное погружение в бизнес - да-да, это тоже soft).
​3. Расширяйте экспертизу под дефицитные направления, например, в производство, e-com, здравоохранение.
​4. Развивайте личный бренд и нетворкинг.

Ссылка по полную версию: https://habr.com/ru/articles/983824

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Минпромторг РФ поручил госкорпорациям тотально автоматизировать производство и создавать "темные фабрики"

Министерство промышленности и торговли Российской Федерации выступило с поручением к государственным корпорациям разработать стратегический план, направленный на перевод предприятий на режим почти полностью автоматизированного производства. Это нововведение предполагает минимальное участие человека и нацелено на усиление технологической независимости страны, а также на улучшение показателей производительности труда. Данную информацию раскрыл глава министерства Антон Алиханов.

Министр отметил, что автоматизация является ключевым аспектом в стратегии повышения эффективности. Согласно его словам, у каждой государственной корпорации существуют планы на этом направлении, и внедрение автоматизированных процессов становится одним из главных приоритетов. Антон Алиханов также сообщил, что Объединенная авиастроительная корпорация (ОАК), являясь частью Ростеха, уже завершает первую фазу роботизации на заводе в городе Рудневе. Завершение второй фазы ожидается в 2027 году.

Министр подчеркнул, что это приведёт к практически полному переходу завода на так называемое "темное производство". Однако, он не стал уточнять, какие именно государственные корпорации были адресатами данного поручения.

Сергей Чемезов, генеральный директор Ростеха, подтвердил изданию, что в корпорации активно ведется работа по максимальной роботизации производственных процессов. На текущий момент на предприятии "Камаз" реализовано высоко роботизированное производство, где основная работа выполняется машинами, а операторы лишь контролируют процесс. Чемезов также упомянул, что поручение от Минпромторга поступало в адрес Ростеха ранее.

Ведомости

🔥 Интерес к направлению "Безопасность ИИ" вырос от 841 поисковых запроса в январе 2024 года до рекордных 9278 запросов в декабре 2025 года по данным Яндекс Статистики. То есть более чем в 11 раз менее чем за 2 года. Таким образом, направление MLSecOps крайне перспективно и продолжает уверенно расти с возможным ускорением. Эта статистика сделала мой день. Надеюсь и Ваш тоже, мои дорогие друзья. Скриншот прилагаю.

Архитектор MLSecOps & AI Governance
Николай Павлов

⭐️ MLSecOps: защита машинного обучения от разработки до промышленной эксплуатации

Модели машинного обучения переместились из исследовательских блокнотов в критичные бизнес-процессы. Системы принимают кредитные решения, управляют автономным транспортом, фильтруют контент, обнаруживают мошенничество. Уязвимость модели превращается из академического курьёза в операционный риск с измеримыми финансовыми последствиями.

MLSecOps расширяет принципы DevSecOps на специфику машинного обучения. Модели обучаются на данных, качество которых определяет результат. Атаки направлены не на эксплуатацию уязвимостей в коде, а на манипуляцию обучающими данными или входными признаками. Жизненный цикл модели включает этапы, отсутствующие в обычной разработке: сбор данных, конструирование признаков, обучение, проверка качества, мониторинг деградации.

Безопасность систем на основе машинного обучения требует понимания того, как модели принимают решения, где возникают смещения, какие атаки возможны на каждом этапе. Классические средства защиты приложений необходимы, но недостаточны. Противоборствующие примеры проходят через все традиционные контроли, эксплуатируя свойства самой модели, а не инфраструктуры.

Специфические угрозы системам машинного обучения

Отравление данных атакует процесс обучения через внедрение вредоносных примеров в обучающую выборку. Система распознавания спама обучается на письмах, часть которых размечена атакующим. Модель учится классифицировать определённый тип вредоносных писем как легитимные. Обнаружить отравление сложно — метрики точности на тестовой выборке могут оставаться высокими, деградация проявляется только на специфических входах.

Инверсия модели извлекает информацию об обучающих данных через анализ предсказаний. Атакующий делает множество запросов к модели, анализирует ответы, реконструирует характеристики данных, на которых модель обучалась. Лица людей из приватного набора данных восстанавливаются через запросы к интерфейсу распознавания лиц. Медицинские записи реконструируются из модели предсказания диагнозов.

Ссылка на полную версию: https://dzen.ru/a/aWtzhccb3EOli4b2?ysclid=mkjokv5vgj366701766

⭐️ Академия АйТи FabricaONE.AI (акционер - ГК Softline) объявляет о запуске четвертого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение четвёртого потока начнется 27 января 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.

Важно, что с 2026 года в этой программе будет сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Anthropic признала уязвимость Claude Cowork и переложила риски на пользователей

Компания Anthropic, представившая на этой неделе в качестве предварительной версии для исследований новый режим ИИ-помощника Claude под названием Claude Cowork, продолжает игнорировать уязвимость продукта к атакам промпт-инъекций (Prompt Injection), о которой хорошо осведомлена.

Для запуска атаки пользователю достаточно подключить Cowork к локальной папке, содержащей конфиденциальную информацию, загрузить документ со скрытой промпт-инъекцией, и, когда Cowork проанализирует эти файлы, сработает внедрённая подсказка, ведущая к созданию вредоносного контента, несанкционированному доступу к личным данным или нарушению установленных ограничений.

Данная уязвимость существует в самом Claude, о чём компания PromptArmor, специализирующаяся на обнаружении уязвимостей в ИИ, предупредила Anthropic ещё в октябре прошлого года. Тогда Anthropic в итоге признала, что атаку промпт-инъекцией можно использовать для того, чтобы обманом заставить её API эксфильтровать данные, поэтому пользователям следует быть осторожными с тем, какие источники они подключают к ИИ-боту.

Вместе с тем, когда исследователи спросили, собирается ли Anthropic предпринять какие-либо действия — например, внедрить проверки API, чтобы убедиться, что конфиденциальные файлы пользователя не передаются на другой аккаунт через API, — компания попросту не ответила.

Anthropic утверждает, что разработала сложные средства защиты от промпт-инъекций, однако безопасность агентов — то есть задача обеспечения безопасности реальных действий Claude — «по-прежнему является активной областью развития в отрасли».

«Эти риски не новы для Cowork, но, возможно, вы впервые используете более продвинутый инструмент, выходящий за рамки простого диалога», — сообщила компания, отмечая, что Cowork имеет гораздо более широкий круг пользователей, чем анонсированные ранее инструменты.

В связи с этим Anthropic призвала пользователей избегать подключения Cowork к конфиденциальным документам, ограничивать использование расширения Chrome доверенными сайтами и отслеживать «подозрительные действия, которые могут указывать на промпт-инъекцию».

Продолжение: https://vk.com/wall-210601538_1982

⭐️ Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита

Привет, мои дорогие коллеги и друзья!
С утра получил удовольствие от прочтения статьи от Нетологии по поводу возможных угроз от ИИ.

Что важно - автор пишет очень доступным языком, поэтому статья рекомендована к прочтению всем.
Что также важно - угрозы приведены статистически самые актуальные, особенно для физических лиц - это и дипфейки, и взломы ассистентов.

Радует и то, что автор разнесла промпт-инъекции и джейлбрейки в разные угрозы. Круто, что масса схем представлена и визуализаций. Статья явно долго и качественно прорабатывалась.

Отдельная благодарность про то, что не забыли мой любимый Data Poisoning, характерную угрозу для обучающих (и дообучающих!) данных всех типов ИИ-систем. Эта угроза входит почти во все современные фреймворки и от нее мы защищаем ИИ-системы обязательно всегда. В общем, радует, когда появляется такой контент, доступный для широкой массы.

Классные выводы даны в конце статьи про регуляторику и прогнозы на будущее. Но их я приводить не буду, с тихой надеждой, что вы, мои талантливые друзья и эффективные коллеги, найдете минут десять Вашего ценного времени ознакомиться с оригиналом, ссылка:

https://habr.com/ru/companies/netologyru/articles/987026

Архитектор MLSecOps и AI Governance
Николай Павлов

🔥 Фреймворк Swordfish: SAIMM

Мои талантливые друзья, по рекомендации одного из слушателей нашей учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости ИИ-систем" (за что ему спасибо!), внимательно изучил свежий фреймворк Swordfish: SAIMM от компании Swordfish версия 1.0, ноябрь 2025. Фреймворк замечательный, очень грамотный и удивительным образом сочетается с моим подходом по обеспечению MLSecOps. Радует, что в MLSecOps ребята из Swordfish закладывают обеспечение отказоустойчивости и также отмечают необходимость внедрения AI Governance (как минимум на уровне ведения реестра активов ИИ-систем и глоссария терминов ИИ). Одним из первых шагов обеспечения безопасности ИИ-систем рекомендуется создание и утверждение политик, регламентов и инструкций о чём я тоже говорил на всех потоках учебной программы.

Ссылка на страницу компании, где можно подать заявку на получение фреймворка (там можно ввести данные и получите доступ): https://swordfish-security.ru/saimm

Очень рекомендую изучить этот подход (работа по доменам), на мой взгляд это наиболее верный подход к построению и развитию MLSecOps.

Архитектор MLSecOps и AI Governance
Николай Павлов