⭐️ AI security на практике: атаки и базовые подходы к защите

Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.

Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.

При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.

Вот несколько цифр из этого отчета:

- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.

- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.

- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.

- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).

При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.

Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.

Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554

⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене

Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.

В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK

Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712

Архитектор MLSecOps
Николай Павлов

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ

Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.

За нарушение требований могут последовать штрафы:

- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.

Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.

Продолжение: https://vk.com/wall-210601538_1949

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504

⭐️ Вакансия AI Architect в крупную FinTech-компанию

Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.

Обязанности:

+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.

Требования:

+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).

Условия:

+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.

Контакт для отклика: @aveirochka

Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году

Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.

Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.

Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.

Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.

Продолжение: https://vk.com/wall-210601538_1952

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F

⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫

⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

Продолжение: https://vk.com/wall-210601538_1954

⭐️ ФСТЭК впервые выделила технологию искусственного интеллекта в качестве рисков для информационной безопасности

Соответствующие изменения в декабре 2025 г. уже внесены в банк данных угроз (БДУ).

В перечне ФСТЭК появились ИИ, ИТ-уязвимости в котором потенциально могут быть задействованы при кибератаках. Среди них — модели машинного обучения (ML), наборы обучающих данных (датаcеты), Retrieval Augmented Generation (RAG) т.е. подход, при котором ответ генерируется из информации от внешних источников и Low-Rank Adaptation (LoRA)-адаптеры т.е. подход, адаптирующий большие модели данных к конкретным задачам. Также в разделе описаны векторы возможных кибератак, например эксплуатация ИТ-уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций ИИ-агентов, а также DoS-атаки т.е. кибератака, при которой используется одно устройство, направленные на исчерпание квоты запросов.

В сентябре 2025 г. первый заместитель директора ФСТЭК Виталий Лютиков анонсировал появление стандарта по безопасной разработке ИИ-систем в дополнение к стандарту по безопасной разработке программного обеспечения (ПО). По его словам, этот стандарт должен был быть готов до конца 2025 г. Опубликованный перечень киберугроз — это документ, на котором и будет основываться стандарт, объяснял Лютиков.

Продолжение: https://vk.com/wall-210601538_1955

🔥 MLSec vs MLSecOps: КТО ЗАЩИЩАЕТ МОДЕЛЬ, А КТО — ИНФРАСТРУКТУРУ

В прошлом посте мы разбирали, кто такой AI Security Engineer и зачем он нужен бизнесу, но если вы строите свои модели (ML), одного "универсального солдата" вам не хватит.
В зрелых компаниях (BigTech, FinTech) это минимум три специальности. Сегодня разбираем две главные: MLSec и MLSecOps.

Почему это важно:
Модель может быть математически безопасной, но если её доставили в прод через скомпрометированный CI/CD — она уже оружие против вас. И наоборот: защищённая инфраструктура не спасёт от атаки, когда модель обманывают "шумом" на картинке.

🧠 MLSec (Machine Learning Security) — защита алгоритмов
Это математик-параноик. Он рассматривает модель не как софт, а как функцию, которую можно "хакнуть" через входные данные.
С чем он борется:
🔻 Evasion Attacks (атаки уклонения) — злоумышленник добавляет невидимый шум на фото, и автопилот видит знак "80" вместо "Стоп".
🔻 Model Extraction (кража модели) — через серию запросов хакер восстанавливает архитектуру и параметры вашей модели (привет, конкурентам)
🔻 Data Poisoning (отравление данных) — незаметная порча обучающей выборке. Модель работает отлично, пока не увидит специальный триггер-ключ.

Реальность: MLSec — это уровень PhD (кандидата наук). Это дорого и сложно. Если вы не OpenAI или банк, скорее всего, вы не наймете такого человека в штат.

⚙️ MLSecOps (ML Security Operations) — защищает инфраструктуру
Это инженер по автоматизации на стероидах. Его не волнует математика модели. Его задача — гарантировать, что модель собрана из чистого кода, подписана и доставлена без подмены.

С чем он борется:
🔻 Supply Chain атаки (атаки на цепочку поставок) — популярные библиотеки для машинного обучения могут содержать вредоносный код. Сканирование зависимостей — базовая гигиена
🔻 Model Drift как индикатор атаки — если точность модели внезапно упала, это не всегда "плохие данные". Возможно, кто-то целенаправленно отравил входной поток
🔻 Подмена модели в проде — без криптографической подписи злоумышленник может заменить вашу модель на свою прямо в облачной инфраструктуре

Философия: "Shift Left for ML" — безопасность начинается на этапе сбора данных, а не перед релизом. MLSecOps автоматизирует проверки в CI/CD (Непрерывная доставка/Непрерывное развертывание): если модель не прошла проверку (например, не подписана или содержит уязвимые зависимости) — она не попадёт в прод.

Реальность: MLSecOps нужен всем, кто деплоит модели. Даже если у вас простой ML-сервис.

🤝Как они работают вместе
Этап дизайна:
MLSec советует архитектуру модели, устойчивую к атакам через искажённые данные.

Этап обучения:
MLSecOps настраивает автоматику: проверка данных на отравление, сканирование файлов модели, криптографическая подпись.

Этап эксплуатации:
MLSec проводит adversarial testing — подаёт модели искажённые данные, чтобы проверить её устойчивость к математическим атакам.
MLSecOps мониторит аномалии. Если что-то не так — автоматический откат на безопасную версию.

Главное правило: Эти специалисты не могут работать изолированно. Модель без безопасного конвейера — это бомба с часовым механизмом. Конвейер без защиты самой модели — это сейф с гранатой внутри.

📚 База знаний (Must Know):
📕 MITRE ATLAS — матрица реальных тактик атак на ИИ.
📕 OWASP ML Security Top 10 — главные риски классического ML.
📕 NIST AI RMF — золотой стандарт управления рисками ИИ (стандарт США, де-факто мировой).

В 2025 году защита ИИ — это не "поставить антивирус". Это математика + процессы + инфраструктура. Защита одного без другого — иллюзия.

https://vk.com/ai_hack_lab

🔥 Очень интересный видеообзор новых возможностей одной из ведущих российских платформ управления большими данными от компании TData

Разумеется, без грамотного управления большими данными (Data Governance) качественный MLSecOps невозможен. Поэтому я в свободные минуты активно изучаю и такие решения, развиваю сотрудничество с лидерами российского рынка (в том числе и с компанией TData). Лично мне эта компания давно нравится за открытость, высокую экспертизу и клиентоориентированность. Ребята четко видят тренды и развивают их. А также уверенно внедряют ИИ в свои решения.

Поставил себе цель больше погрузиться в их продукты в 2026 году, интегрировать решения от TData в нашу учебную программу с международным участием по подготовке Data Steward.

Ссылка на видео: https://rutube.ru/video/696ce699153fd91a4af9442dc6790d84

Всем желающим узнать больше про эту платформу рекомендую еще один видеообзор по ссылке: https://rutube.ru/video/246cf81ed991f99efd92392e4b649986

Архитектор MLSecOps
Николай Павлов

⭐️ Обсуждение безопасности ИИ с Сергеем Зыбневым

Сегодня в Москве мне удалось пересечься с Сергеем Зыбневым (на фото он справа), основателем каналов @poxek и @poxek_ai, одним из ведущих специалистов компании "Бастион" и автором множества статей на тему обеспечения безопасности ИИ и информационной безопасности в целом.

На встрече мы обсудили с ним темы актуальности непрерывного обучения на фоне стремительно меняющегося ландшафта ИИ-систем и ИИ-угроз, обозначили проблемы экспоненциального роста кибератак и поступательного усложнения ИИ-систем. Также мы затронули квантовое шифрование и пост-квантовую безопасность ИИ-систем. При этом Сергей дал мне ряд ценных советов по дальнейшему развитию в направлении MLSecOps.

Ещё поговорили про современные компании в сфере кибербеза, обсудили передовые технологии и ценные активности отдельных специалистов в AI Sequrity и AI Safety. Несколько раз возвращались к теме AI Governance и его компонентов.

Очень радует, что в свои 22 года Сергей прекрасно понимает архитектуру, разработку, информационную безопасность, машинное обучение и ряд других направлений IT, принимает участие в передовых российских разработках, часто выступает на ведущих конференциях. Это один из ведущих национальных экспертов по безопасности ИИ, который постоянно, ежедневно обучается, хорошо владеет нормативно-правовой базой и вносит активный вклад в развитие российского MLSecOps.

Благодарю его за продуктивную встречу и желаю дальнейших успехов!

Архитектор MLSecOps
Николай Павлов

https://vk.com/wall-210601538_1958

⭐️ MLSecOps — на пути к доверенному искусственному интеллекту

С утра изучил новую статью Академии Selectel про MLSecOps.

В начале статьи автор (Андрей Давид, руководитель продуктов клиентской безопасности) подчёркивает, что машинное обучение всё чаще применяется в критических системах — от обнаружения угроз до автономного транспорта и медицины, где ошибки моделей могут привести к серьёзным рискам. Поэтому нужны специализированные практики уже за пределами традиционного DevSecOps. Даются ценные и свежие статистические данные, важные результаты исследований.
​
Далее нам предлагается определение MLSecOps — это инженерная дисциплина, интегрирующая принципы информационной безопасности в MLOps для создания доверенных ML-систем с контролем данных, моделей и инфраструктуры. Автор делает фокус на уникальных артефактах ML: датасетах, весах моделей, процессах обучения и мониторинге, показывая, что угрозы вроде отравления данных или состязательных атак требуют отслеживаемости.
​
Отдельное внимание уделяется применению ML в кибербезопасности. Машинное обучение усиливает обнаружение угроз, анализ трафика и автоматизацию реагирования, но само становится мишенью: от кражи моделей до backdoor-атак и дрейфа данных. Приводятся примеры evasion-атак на дорожные знаки и подчёркивается необходимость защиты GPU-серверов, CI/CD-пайплайнов и хранилищ, со ссылкой на случаи утечек десятков тысяч незащищённых моделей.
​
Ключевые угрозы и практики, выделенные в статье:

1. Data Poisoning и Model Extraction. То есть злоумышленники отравляют данные или копируют модели. Как защиты предлагаются валидация источников, версионирование и, конечно, контроль доступов.
​
2. Adversarial Attacks. Незаметные искажения входов. Меры защиты — тестирование устойчивости и мониторинг уверенности модели.
​
3. Инфраструктура. Здесь стандартно разграничение ролей, secure by design и моделирование угроз по OpenSSF.

Лично меня особенно порадовало, что в статье подтвердилось мое видение на атаки membership inference и model inversion (на тему которых было сломано немало копий), а именно: "В реальных атаках такие методы пока встречаются редко и чаще рассматриваются как исследовательские, однако их нужно учитывать при моделировании угроз безопасности."
​
В конечном счете автор призывает начинать с фундамента: стандартизации среды, аудита инструментов и гранулярных прав, чтобы ML в кибербезопасности было не только мощным, но и надёжным.

Обязательно читаем, погружаемся, обдумываем. Ссылка на полную версию: https://selectel.ru/blog/mlsecops

Архитектор MLSecOps
Николай Павлов

⭐️ Дорогие друзья, коллеги, подписчики!

Вот и завершается 2025 год, очень динамичный, сложный, незабываемый! Для всех нас он стал вызовом, в основном, потому, что мы стремительно менялись, адаптировались, создавали новые процессы и технологии.

Мы входим в 2026 год - и он будет еще более динамичным, технологичным, потребует всех возможных ресурсов, максимальной энергии и предельной дисциплины для победы.

В течение этого года я продолжал учиться по 3-4 часа в день, делился некоторыми знаниями в блогах. Параллельно запустил и улучшил ряд IT-проектов, разработал серию небольших технологических решений. Все это оказалось востребованным, все усилия окупились в разы.

Уверен, каждый из вас также продолжает идти к поставленным целям, непрерывно учиться, работать над собой. Желаю вам реализации новых проектов, технологий, автоматизаций. Веры в себя, веры в айтишку, автоматизацию, роботизацию и инженерию.

И, конечно, желаю здоровья крепкого, поддержки ваших идей со стороны родных и близких, радости в каждом прожитом дне, преданности своим идеям и мечтам.

Спасибо за все ваши вопросы, советы и лайки! Мы вместе идем на самую вершину MLSecOps, мы обязательно пройдем этот путь до конца! Вы лучшие, самые талантливые, остаюсь на связи...

...с теплом и верой в каждого,
ваш Архитектор MLSecOps
Николай Павлов