⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504

⭐️ Вакансия AI Architect в крупную FinTech-компанию

Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.

Обязанности:

+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.

Требования:

+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).

Условия:

+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.

Контакт для отклика: @aveirochka

Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году

Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.

Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.

Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.

Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.

Продолжение: https://vk.com/wall-210601538_1952

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F

⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫

⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

Продолжение: https://vk.com/wall-210601538_1954

⭐️ ФСТЭК впервые выделила технологию искусственного интеллекта в качестве рисков для информационной безопасности

Соответствующие изменения в декабре 2025 г. уже внесены в банк данных угроз (БДУ).

В перечне ФСТЭК появились ИИ, ИТ-уязвимости в котором потенциально могут быть задействованы при кибератаках. Среди них — модели машинного обучения (ML), наборы обучающих данных (датаcеты), Retrieval Augmented Generation (RAG) т.е. подход, при котором ответ генерируется из информации от внешних источников и Low-Rank Adaptation (LoRA)-адаптеры т.е. подход, адаптирующий большие модели данных к конкретным задачам. Также в разделе описаны векторы возможных кибератак, например эксплуатация ИТ-уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций ИИ-агентов, а также DoS-атаки т.е. кибератака, при которой используется одно устройство, направленные на исчерпание квоты запросов.

В сентябре 2025 г. первый заместитель директора ФСТЭК Виталий Лютиков анонсировал появление стандарта по безопасной разработке ИИ-систем в дополнение к стандарту по безопасной разработке программного обеспечения (ПО). По его словам, этот стандарт должен был быть готов до конца 2025 г. Опубликованный перечень киберугроз — это документ, на котором и будет основываться стандарт, объяснял Лютиков.

Продолжение: https://vk.com/wall-210601538_1955

🔥 MLSec vs MLSecOps: КТО ЗАЩИЩАЕТ МОДЕЛЬ, А КТО — ИНФРАСТРУКТУРУ

В прошлом посте мы разбирали, кто такой AI Security Engineer и зачем он нужен бизнесу, но если вы строите свои модели (ML), одного "универсального солдата" вам не хватит.
В зрелых компаниях (BigTech, FinTech) это минимум три специальности. Сегодня разбираем две главные: MLSec и MLSecOps.

Почему это важно:
Модель может быть математически безопасной, но если её доставили в прод через скомпрометированный CI/CD — она уже оружие против вас. И наоборот: защищённая инфраструктура не спасёт от атаки, когда модель обманывают "шумом" на картинке.

🧠 MLSec (Machine Learning Security) — защита алгоритмов
Это математик-параноик. Он рассматривает модель не как софт, а как функцию, которую можно "хакнуть" через входные данные.
С чем он борется:
🔻 Evasion Attacks (атаки уклонения) — злоумышленник добавляет невидимый шум на фото, и автопилот видит знак "80" вместо "Стоп".
🔻 Model Extraction (кража модели) — через серию запросов хакер восстанавливает архитектуру и параметры вашей модели (привет, конкурентам)
🔻 Data Poisoning (отравление данных) — незаметная порча обучающей выборке. Модель работает отлично, пока не увидит специальный триггер-ключ.

Реальность: MLSec — это уровень PhD (кандидата наук). Это дорого и сложно. Если вы не OpenAI или банк, скорее всего, вы не наймете такого человека в штат.

⚙️ MLSecOps (ML Security Operations) — защищает инфраструктуру
Это инженер по автоматизации на стероидах. Его не волнует математика модели. Его задача — гарантировать, что модель собрана из чистого кода, подписана и доставлена без подмены.

С чем он борется:
🔻 Supply Chain атаки (атаки на цепочку поставок) — популярные библиотеки для машинного обучения могут содержать вредоносный код. Сканирование зависимостей — базовая гигиена
🔻 Model Drift как индикатор атаки — если точность модели внезапно упала, это не всегда "плохие данные". Возможно, кто-то целенаправленно отравил входной поток
🔻 Подмена модели в проде — без криптографической подписи злоумышленник может заменить вашу модель на свою прямо в облачной инфраструктуре

Философия: "Shift Left for ML" — безопасность начинается на этапе сбора данных, а не перед релизом. MLSecOps автоматизирует проверки в CI/CD (Непрерывная доставка/Непрерывное развертывание): если модель не прошла проверку (например, не подписана или содержит уязвимые зависимости) — она не попадёт в прод.

Реальность: MLSecOps нужен всем, кто деплоит модели. Даже если у вас простой ML-сервис.

🤝Как они работают вместе
Этап дизайна:
MLSec советует архитектуру модели, устойчивую к атакам через искажённые данные.

Этап обучения:
MLSecOps настраивает автоматику: проверка данных на отравление, сканирование файлов модели, криптографическая подпись.

Этап эксплуатации:
MLSec проводит adversarial testing — подаёт модели искажённые данные, чтобы проверить её устойчивость к математическим атакам.
MLSecOps мониторит аномалии. Если что-то не так — автоматический откат на безопасную версию.

Главное правило: Эти специалисты не могут работать изолированно. Модель без безопасного конвейера — это бомба с часовым механизмом. Конвейер без защиты самой модели — это сейф с гранатой внутри.

📚 База знаний (Must Know):
📕 MITRE ATLAS — матрица реальных тактик атак на ИИ.
📕 OWASP ML Security Top 10 — главные риски классического ML.
📕 NIST AI RMF — золотой стандарт управления рисками ИИ (стандарт США, де-факто мировой).

В 2025 году защита ИИ — это не "поставить антивирус". Это математика + процессы + инфраструктура. Защита одного без другого — иллюзия.

https://vk.com/ai_hack_lab

🔥 Очень интересный видеообзор новых возможностей одной из ведущих российских платформ управления большими данными от компании TData

Разумеется, без грамотного управления большими данными (Data Governance) качественный MLSecOps невозможен. Поэтому я в свободные минуты активно изучаю и такие решения, развиваю сотрудничество с лидерами российского рынка (в том числе и с компанией TData). Лично мне эта компания давно нравится за открытость, высокую экспертизу и клиентоориентированность. Ребята четко видят тренды и развивают их. А также уверенно внедряют ИИ в свои решения.

Поставил себе цель больше погрузиться в их продукты в 2026 году, интегрировать решения от TData в нашу учебную программу с международным участием по подготовке Data Steward.

Ссылка на видео: https://rutube.ru/video/696ce699153fd91a4af9442dc6790d84

Всем желающим узнать больше про эту платформу рекомендую еще один видеообзор по ссылке: https://rutube.ru/video/246cf81ed991f99efd92392e4b649986

Архитектор MLSecOps
Николай Павлов

⭐️ Обсуждение безопасности ИИ с Сергеем Зыбневым

Сегодня в Москве мне удалось пересечься с Сергеем Зыбневым (на фото он справа), основателем каналов @poxek и @poxek_ai, одним из ведущих специалистов компании "Бастион" и автором множества статей на тему обеспечения безопасности ИИ и информационной безопасности в целом.

На встрече мы обсудили с ним темы актуальности непрерывного обучения на фоне стремительно меняющегося ландшафта ИИ-систем и ИИ-угроз, обозначили проблемы экспоненциального роста кибератак и поступательного усложнения ИИ-систем. Также мы затронули квантовое шифрование и пост-квантовую безопасность ИИ-систем. При этом Сергей дал мне ряд ценных советов по дальнейшему развитию в направлении MLSecOps.

Ещё поговорили про современные компании в сфере кибербеза, обсудили передовые технологии и ценные активности отдельных специалистов в AI Sequrity и AI Safety. Несколько раз возвращались к теме AI Governance и его компонентов.

Очень радует, что в свои 22 года Сергей прекрасно понимает архитектуру, разработку, информационную безопасность, машинное обучение и ряд других направлений IT, принимает участие в передовых российских разработках, часто выступает на ведущих конференциях. Это один из ведущих национальных экспертов по безопасности ИИ, который постоянно, ежедневно обучается, хорошо владеет нормативно-правовой базой и вносит активный вклад в развитие российского MLSecOps.

Благодарю его за продуктивную встречу и желаю дальнейших успехов!

Архитектор MLSecOps
Николай Павлов

https://vk.com/wall-210601538_1958

⭐️ MLSecOps — на пути к доверенному искусственному интеллекту

С утра изучил новую статью Академии Selectel про MLSecOps.

В начале статьи автор (Андрей Давид, руководитель продуктов клиентской безопасности) подчёркивает, что машинное обучение всё чаще применяется в критических системах — от обнаружения угроз до автономного транспорта и медицины, где ошибки моделей могут привести к серьёзным рискам. Поэтому нужны специализированные практики уже за пределами традиционного DevSecOps. Даются ценные и свежие статистические данные, важные результаты исследований.
​
Далее нам предлагается определение MLSecOps — это инженерная дисциплина, интегрирующая принципы информационной безопасности в MLOps для создания доверенных ML-систем с контролем данных, моделей и инфраструктуры. Автор делает фокус на уникальных артефактах ML: датасетах, весах моделей, процессах обучения и мониторинге, показывая, что угрозы вроде отравления данных или состязательных атак требуют отслеживаемости.
​
Отдельное внимание уделяется применению ML в кибербезопасности. Машинное обучение усиливает обнаружение угроз, анализ трафика и автоматизацию реагирования, но само становится мишенью: от кражи моделей до backdoor-атак и дрейфа данных. Приводятся примеры evasion-атак на дорожные знаки и подчёркивается необходимость защиты GPU-серверов, CI/CD-пайплайнов и хранилищ, со ссылкой на случаи утечек десятков тысяч незащищённых моделей.
​
Ключевые угрозы и практики, выделенные в статье:

1. Data Poisoning и Model Extraction. То есть злоумышленники отравляют данные или копируют модели. Как защиты предлагаются валидация источников, версионирование и, конечно, контроль доступов.
​
2. Adversarial Attacks. Незаметные искажения входов. Меры защиты — тестирование устойчивости и мониторинг уверенности модели.
​
3. Инфраструктура. Здесь стандартно разграничение ролей, secure by design и моделирование угроз по OpenSSF.

Лично меня особенно порадовало, что в статье подтвердилось мое видение на атаки membership inference и model inversion (на тему которых было сломано немало копий), а именно: "В реальных атаках такие методы пока встречаются редко и чаще рассматриваются как исследовательские, однако их нужно учитывать при моделировании угроз безопасности."
​
В конечном счете автор призывает начинать с фундамента: стандартизации среды, аудита инструментов и гранулярных прав, чтобы ML в кибербезопасности было не только мощным, но и надёжным.

Обязательно читаем, погружаемся, обдумываем. Ссылка на полную версию: https://selectel.ru/blog/mlsecops

Архитектор MLSecOps
Николай Павлов

⭐️ Дорогие друзья, коллеги, подписчики!

Вот и завершается 2025 год, очень динамичный, сложный, незабываемый! Для всех нас он стал вызовом, в основном, потому, что мы стремительно менялись, адаптировались, создавали новые процессы и технологии.

Мы входим в 2026 год - и он будет еще более динамичным, технологичным, потребует всех возможных ресурсов, максимальной энергии и предельной дисциплины для победы.

В течение этого года я продолжал учиться по 3-4 часа в день, делился некоторыми знаниями в блогах. Параллельно запустил и улучшил ряд IT-проектов, разработал серию небольших технологических решений. Все это оказалось востребованным, все усилия окупились в разы.

Уверен, каждый из вас также продолжает идти к поставленным целям, непрерывно учиться, работать над собой. Желаю вам реализации новых проектов, технологий, автоматизаций. Веры в себя, веры в айтишку, автоматизацию, роботизацию и инженерию.

И, конечно, желаю здоровья крепкого, поддержки ваших идей со стороны родных и близких, радости в каждом прожитом дне, преданности своим идеям и мечтам.

Спасибо за все ваши вопросы, советы и лайки! Мы вместе идем на самую вершину MLSecOps, мы обязательно пройдем этот путь до конца! Вы лучшие, самые талантливые, остаюсь на связи...

...с теплом и верой в каждого,
ваш Архитектор MLSecOps
Николай Павлов

⭐️ Российские учёные представили новый прототип квантового компьютера

Российские исследователи сделали значительный шаг в развитии отечественных квантовых технологий. Специалисты Госкорпорации «Росатом» совместно с Московским государственным университетом имени М. В. Ломоносова представили прототип трёхзонного квантового компьютера, рассчитанного на 72 кубита. Одним из ключевых достижений нового устройства стала высокая точность выполнения двухкубитных операций — на уровне 94%.

Это уже третий российский прототип квантового компьютера, преодолевающий отметку в 70 кубитов. Квантовые системы, использующие кубиты, способные находиться в состоянии суперпозиции, обещают качественно увеличить вычислительные возможности при решении особо сложных задач. Однако с ростом числа кубитов традиционно увеличиваются и ошибки в вычислениях, поэтому показатель точности операций является критически важным.

Особенностью нового прототипа стала его трёхзонная архитектура. В устройстве зоны вычислений, долговременного хранения данных и считывания информации разделены и выполняют специализированные функции. Такое инженерное решение повышает стабильность хрупких квантовых состояний и позволяет корректировать логические ошибки. На текущем этапе активны две зоны — вычислений и хранения, а зона считывания будет подключена в следующей версии устройства.

Продолжение: https://vk.com/wall-210601538_1961

⭐️ 10 интересных фактов о квантовых технологиях

Факт 1. Кубит одновременно равен 0 и 1
В отличие от обычного бита (0 или 1), квантовый бит — кубит — может находиться в состоянии суперпозиции, то есть быть и 0, и 1 одновременно. Благодаря этому квантовый компьютер с 50 кубитами может обрабатывать больше вариантов, чем атомов в известной Вселенной!

Факт 2. Запутанность - связанность частиц на огромных расстояниях
Две запутанные частицы связаны так, что изменение состояния одной мгновенно влияет на другую, даже если они на противоположных концах Земли. Эйнштейн называл это «жутким действием на расстоянии».

Факт 3. Квантовые компьютеры не взламывают всё подряд
Они не заменяют обычные компьютеры, а решают очень специфические задачи: моделирование молекул, оптимизация логистики, взлом некоторых типов шифрования (например, RSA) — но не все.

Факт 4. Россия строит квантовый интернет
В рамках нацпроекта «Цифровая экономика» Россия разрабатывает квантовую связь — сеть, в которой данные передаются с помощью фотонов и защищены на физическом уровне от прослушивания.

Факт 5. Квантовые часы максимально точные
Самые точные квантовые часы (оптические атомные) за 15 миллиардов лет отстанут меньше чем на одну секунду. Это помогает уточнить GPS, проверить теорию относительности и даже находить подземные залежи полезных ископаемых.

Продолжение: https://vk.com/wall-210601538_1962

⭐️ AI Governance в 2026 году

AI Governance — это набор методов, принципов, правил и практик, которые помогают компаниям эффективно и ответственно управлять созданием, развитием и использованием системами искусственного интеллекта (ИИ-системами).
Долгосрочная цель AI Governance — обеспечить безопасность, этичность и экономическую пользу ИИ-систем, охватив все возможные процессы компании ИИ-автоматизацией.

Основные принципы AI Governance:

1. Прозрачность. Обеспечение прозрачности процессов принятия решений и выдачи результатов ИИ.

2. Ответственность. Установление того, кто или что (например, компания) несёт ответственность за результаты, которые выдаёт ИИ.

3. Справедливость. Гарантия того, что ИИ не дискриминирует никакие группы по характеристикам чувствительных данных.

4. Соответствие законодательству. Соблюдение законов и нормативных актов, связанных с защитой данных и этическими стандартами ИИ.

5. Эффективность. ИИ должен внедряться не "ради ИИ", а для достижения измеримых бизнес-результатов с учётом получения окупаемости в установленный период времени.

Основные задачи AI Governance:

1. Стратегическое выравнивание целей и технологий. ИИ-проекты должны решать конкретные бизнес-задачи, а их цели согласованы с общими целями компании.

2. Управление рисками. Необходимо заранее учитывать риски — от неточностей и сбоев до регуляторных ограничений и этических аспектов.

3. Контроль качества данных. AI Governance предполагает активную работу с данными, в том числе проверку на bias (систематические смещения), обеспечение конфиденциальности и соответствие законам о данных.

4. Активное вовлечение людей. ИИ не должен работать в вакууме — важно определить, где нужен человеческий контроль.

5. Обеспечение соответствия нормативно-правовому регулированию. ИИ-системы должны соответствовать не только действующему законодательству, но требованиям отрасли, а также внутренним регламентам компании и при необходимости требованиям контрагентов (если это закреплено в договорных отношениях).

Продолжение: https://vk.com/wall-210601538_1963

⭐️ Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем.

При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

Важно учитывать, что работа над безопасной системой начинается ещё на этапе планирования. Здесь необходимо чётко определить критичность реализуемых системой функций, уровень допустимой автономности, границы ответственности ИИ и человека, а также формализовать требования к надёжности, объяснимости и этической приемлемости. Важно провести оценку потенциального воздействия ИИ (т.н. AI Impact assessment), аналогичную оценке защиты персональных данных, чтобы выявить риски до начала разработки. Эти риски также следует оценить, как минимум экспертно, с расчётом их потенциального ущерба.

На этапе проектирования закладываются архитектурные принципы отказоустойчивости. Система должна быть модульной: восприятие, планирование, принятие решений и исполнение технологически разделяются, изолируются и защищаются. Каждый компонент должен иметь резервирование или rollback-механизм — например, при потере уверенности в решении ИИ передаёт управление человеку или переходит в упрощённый, но безопасный режим работы (либо на более раннюю версию). Использование цифровых двойников и симуляций, если это возможно, позволяет заранее протестировать поведение системы в экстремальных условиях, включая отказы оборудования и кибератаки.

Особое внимание уделяется защите данных и моделей. Обучающие данные должны быть верифицированы, сбалансированы и защищены от отравления. При этом проверка на отравление, безусловно, остается. Модели обучаются с учётом робастности — например, на основе синтетических данных или через доменную рандомизацию, чтобы сохранять устойчивость к искажённым или нестандартным входным сигналам. Все версии моделей и данных подписываются, версионируются и хранятся в защищённых репозиториях.

В процессе эксплуатации безопасность обеспечивается непрерывным мониторингом. Система отслеживает смещение данных, задержки инференса, аномалии в поведении и целостность исполняемого окружения. При обнаружении отклонений она должна иметь возможность динамически переключаться на резервную модель, снижать уровень автономности или инициировать аварийную остановку. При этом, стандартно, запускаются алертинги.

После развёртывания начинается этап аудита. Он включает как автоматизированную проверку соответствия нормативным требованиям (например, российским национальным ГОСТам по безопасности и отказоустойчивости ИИ), так и ручной разбор инцидентов. Важно, чтобы из каждого сбоя извлекался урок (т.н. postmortem): корневые причины должны быть проанализированы, а выводы строго интегрированы в цикл разработки для улучшения будущих версий.

Ключевые роли в обеспечении безопасности автономных ИИ-агентов и киберфизических ИИ-систем играют интеграция MLSecOps и AI Governance.

1. MLSecOps отвечает за техническую гигиену: сканирование моделей на уязвимости, управление жизненным циклом, защиту CI/CD-конвейеров.