⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене

Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.

В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK

Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712

Архитектор MLSecOps
Николай Павлов

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ

Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.

За нарушение требований могут последовать штрафы:

- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.

Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.

Продолжение: https://vk.com/wall-210601538_1949

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504

⭐️ Вакансия AI Architect в крупную FinTech-компанию

Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.

Обязанности:

+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.

Требования:

+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).

Условия:

+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.

Контакт для отклика: @aveirochka

Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году

Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.

Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.

Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.

Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.

Продолжение: https://vk.com/wall-210601538_1952

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F

⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫

⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

Продолжение: https://vk.com/wall-210601538_1954

⭐️ ФСТЭК впервые выделила технологию искусственного интеллекта в качестве рисков для информационной безопасности

Соответствующие изменения в декабре 2025 г. уже внесены в банк данных угроз (БДУ).

В перечне ФСТЭК появились ИИ, ИТ-уязвимости в котором потенциально могут быть задействованы при кибератаках. Среди них — модели машинного обучения (ML), наборы обучающих данных (датаcеты), Retrieval Augmented Generation (RAG) т.е. подход, при котором ответ генерируется из информации от внешних источников и Low-Rank Adaptation (LoRA)-адаптеры т.е. подход, адаптирующий большие модели данных к конкретным задачам. Также в разделе описаны векторы возможных кибератак, например эксплуатация ИТ-уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций ИИ-агентов, а также DoS-атаки т.е. кибератака, при которой используется одно устройство, направленные на исчерпание квоты запросов.

В сентябре 2025 г. первый заместитель директора ФСТЭК Виталий Лютиков анонсировал появление стандарта по безопасной разработке ИИ-систем в дополнение к стандарту по безопасной разработке программного обеспечения (ПО). По его словам, этот стандарт должен был быть готов до конца 2025 г. Опубликованный перечень киберугроз — это документ, на котором и будет основываться стандарт, объяснял Лютиков.

Продолжение: https://vk.com/wall-210601538_1955

🔥 MLSec vs MLSecOps: КТО ЗАЩИЩАЕТ МОДЕЛЬ, А КТО — ИНФРАСТРУКТУРУ

В прошлом посте мы разбирали, кто такой AI Security Engineer и зачем он нужен бизнесу, но если вы строите свои модели (ML), одного "универсального солдата" вам не хватит.
В зрелых компаниях (BigTech, FinTech) это минимум три специальности. Сегодня разбираем две главные: MLSec и MLSecOps.

Почему это важно:
Модель может быть математически безопасной, но если её доставили в прод через скомпрометированный CI/CD — она уже оружие против вас. И наоборот: защищённая инфраструктура не спасёт от атаки, когда модель обманывают "шумом" на картинке.

🧠 MLSec (Machine Learning Security) — защита алгоритмов
Это математик-параноик. Он рассматривает модель не как софт, а как функцию, которую можно "хакнуть" через входные данные.
С чем он борется:
🔻 Evasion Attacks (атаки уклонения) — злоумышленник добавляет невидимый шум на фото, и автопилот видит знак "80" вместо "Стоп".
🔻 Model Extraction (кража модели) — через серию запросов хакер восстанавливает архитектуру и параметры вашей модели (привет, конкурентам)
🔻 Data Poisoning (отравление данных) — незаметная порча обучающей выборке. Модель работает отлично, пока не увидит специальный триггер-ключ.

Реальность: MLSec — это уровень PhD (кандидата наук). Это дорого и сложно. Если вы не OpenAI или банк, скорее всего, вы не наймете такого человека в штат.

⚙️ MLSecOps (ML Security Operations) — защищает инфраструктуру
Это инженер по автоматизации на стероидах. Его не волнует математика модели. Его задача — гарантировать, что модель собрана из чистого кода, подписана и доставлена без подмены.

С чем он борется:
🔻 Supply Chain атаки (атаки на цепочку поставок) — популярные библиотеки для машинного обучения могут содержать вредоносный код. Сканирование зависимостей — базовая гигиена
🔻 Model Drift как индикатор атаки — если точность модели внезапно упала, это не всегда "плохие данные". Возможно, кто-то целенаправленно отравил входной поток
🔻 Подмена модели в проде — без криптографической подписи злоумышленник может заменить вашу модель на свою прямо в облачной инфраструктуре

Философия: "Shift Left for ML" — безопасность начинается на этапе сбора данных, а не перед релизом. MLSecOps автоматизирует проверки в CI/CD (Непрерывная доставка/Непрерывное развертывание): если модель не прошла проверку (например, не подписана или содержит уязвимые зависимости) — она не попадёт в прод.

Реальность: MLSecOps нужен всем, кто деплоит модели. Даже если у вас простой ML-сервис.

🤝Как они работают вместе
Этап дизайна:
MLSec советует архитектуру модели, устойчивую к атакам через искажённые данные.

Этап обучения:
MLSecOps настраивает автоматику: проверка данных на отравление, сканирование файлов модели, криптографическая подпись.

Этап эксплуатации:
MLSec проводит adversarial testing — подаёт модели искажённые данные, чтобы проверить её устойчивость к математическим атакам.
MLSecOps мониторит аномалии. Если что-то не так — автоматический откат на безопасную версию.

Главное правило: Эти специалисты не могут работать изолированно. Модель без безопасного конвейера — это бомба с часовым механизмом. Конвейер без защиты самой модели — это сейф с гранатой внутри.

📚 База знаний (Must Know):
📕 MITRE ATLAS — матрица реальных тактик атак на ИИ.
📕 OWASP ML Security Top 10 — главные риски классического ML.
📕 NIST AI RMF — золотой стандарт управления рисками ИИ (стандарт США, де-факто мировой).

В 2025 году защита ИИ — это не "поставить антивирус". Это математика + процессы + инфраструктура. Защита одного без другого — иллюзия.

https://vk.com/ai_hack_lab

🔥 Очень интересный видеообзор новых возможностей одной из ведущих российских платформ управления большими данными от компании TData

Разумеется, без грамотного управления большими данными (Data Governance) качественный MLSecOps невозможен. Поэтому я в свободные минуты активно изучаю и такие решения, развиваю сотрудничество с лидерами российского рынка (в том числе и с компанией TData). Лично мне эта компания давно нравится за открытость, высокую экспертизу и клиентоориентированность. Ребята четко видят тренды и развивают их. А также уверенно внедряют ИИ в свои решения.

Поставил себе цель больше погрузиться в их продукты в 2026 году, интегрировать решения от TData в нашу учебную программу с международным участием по подготовке Data Steward.

Ссылка на видео: https://rutube.ru/video/696ce699153fd91a4af9442dc6790d84

Всем желающим узнать больше про эту платформу рекомендую еще один видеообзор по ссылке: https://rutube.ru/video/246cf81ed991f99efd92392e4b649986

Архитектор MLSecOps
Николай Павлов

⭐️ Обсуждение безопасности ИИ с Сергеем Зыбневым

Сегодня в Москве мне удалось пересечься с Сергеем Зыбневым (на фото он справа), основателем каналов @poxek и @poxek_ai, одним из ведущих специалистов компании "Бастион" и автором множества статей на тему обеспечения безопасности ИИ и информационной безопасности в целом.

На встрече мы обсудили с ним темы актуальности непрерывного обучения на фоне стремительно меняющегося ландшафта ИИ-систем и ИИ-угроз, обозначили проблемы экспоненциального роста кибератак и поступательного усложнения ИИ-систем. Также мы затронули квантовое шифрование и пост-квантовую безопасность ИИ-систем. При этом Сергей дал мне ряд ценных советов по дальнейшему развитию в направлении MLSecOps.

Ещё поговорили про современные компании в сфере кибербеза, обсудили передовые технологии и ценные активности отдельных специалистов в AI Sequrity и AI Safety. Несколько раз возвращались к теме AI Governance и его компонентов.

Очень радует, что в свои 22 года Сергей прекрасно понимает архитектуру, разработку, информационную безопасность, машинное обучение и ряд других направлений IT, принимает участие в передовых российских разработках, часто выступает на ведущих конференциях. Это один из ведущих национальных экспертов по безопасности ИИ, который постоянно, ежедневно обучается, хорошо владеет нормативно-правовой базой и вносит активный вклад в развитие российского MLSecOps.

Благодарю его за продуктивную встречу и желаю дальнейших успехов!

Архитектор MLSecOps
Николай Павлов

https://vk.com/wall-210601538_1958

⭐️ MLSecOps — на пути к доверенному искусственному интеллекту

С утра изучил новую статью Академии Selectel про MLSecOps.

В начале статьи автор (Андрей Давид, руководитель продуктов клиентской безопасности) подчёркивает, что машинное обучение всё чаще применяется в критических системах — от обнаружения угроз до автономного транспорта и медицины, где ошибки моделей могут привести к серьёзным рискам. Поэтому нужны специализированные практики уже за пределами традиционного DevSecOps. Даются ценные и свежие статистические данные, важные результаты исследований.
​
Далее нам предлагается определение MLSecOps — это инженерная дисциплина, интегрирующая принципы информационной безопасности в MLOps для создания доверенных ML-систем с контролем данных, моделей и инфраструктуры. Автор делает фокус на уникальных артефактах ML: датасетах, весах моделей, процессах обучения и мониторинге, показывая, что угрозы вроде отравления данных или состязательных атак требуют отслеживаемости.
​
Отдельное внимание уделяется применению ML в кибербезопасности. Машинное обучение усиливает обнаружение угроз, анализ трафика и автоматизацию реагирования, но само становится мишенью: от кражи моделей до backdoor-атак и дрейфа данных. Приводятся примеры evasion-атак на дорожные знаки и подчёркивается необходимость защиты GPU-серверов, CI/CD-пайплайнов и хранилищ, со ссылкой на случаи утечек десятков тысяч незащищённых моделей.
​
Ключевые угрозы и практики, выделенные в статье:

1. Data Poisoning и Model Extraction. То есть злоумышленники отравляют данные или копируют модели. Как защиты предлагаются валидация источников, версионирование и, конечно, контроль доступов.
​
2. Adversarial Attacks. Незаметные искажения входов. Меры защиты — тестирование устойчивости и мониторинг уверенности модели.
​
3. Инфраструктура. Здесь стандартно разграничение ролей, secure by design и моделирование угроз по OpenSSF.

Лично меня особенно порадовало, что в статье подтвердилось мое видение на атаки membership inference и model inversion (на тему которых было сломано немало копий), а именно: "В реальных атаках такие методы пока встречаются редко и чаще рассматриваются как исследовательские, однако их нужно учитывать при моделировании угроз безопасности."
​
В конечном счете автор призывает начинать с фундамента: стандартизации среды, аудита инструментов и гранулярных прав, чтобы ML в кибербезопасности было не только мощным, но и надёжным.

Обязательно читаем, погружаемся, обдумываем. Ссылка на полную версию: https://selectel.ru/blog/mlsecops

Архитектор MLSecOps
Николай Павлов

⭐️ Дорогие друзья, коллеги, подписчики!

Вот и завершается 2025 год, очень динамичный, сложный, незабываемый! Для всех нас он стал вызовом, в основном, потому, что мы стремительно менялись, адаптировались, создавали новые процессы и технологии.

Мы входим в 2026 год - и он будет еще более динамичным, технологичным, потребует всех возможных ресурсов, максимальной энергии и предельной дисциплины для победы.

В течение этого года я продолжал учиться по 3-4 часа в день, делился некоторыми знаниями в блогах. Параллельно запустил и улучшил ряд IT-проектов, разработал серию небольших технологических решений. Все это оказалось востребованным, все усилия окупились в разы.

Уверен, каждый из вас также продолжает идти к поставленным целям, непрерывно учиться, работать над собой. Желаю вам реализации новых проектов, технологий, автоматизаций. Веры в себя, веры в айтишку, автоматизацию, роботизацию и инженерию.

И, конечно, желаю здоровья крепкого, поддержки ваших идей со стороны родных и близких, радости в каждом прожитом дне, преданности своим идеям и мечтам.

Спасибо за все ваши вопросы, советы и лайки! Мы вместе идем на самую вершину MLSecOps, мы обязательно пройдем этот путь до конца! Вы лучшие, самые талантливые, остаюсь на связи...

...с теплом и верой в каждого,
ваш Архитектор MLSecOps
Николай Павлов

⭐️ Российские учёные представили новый прототип квантового компьютера

Российские исследователи сделали значительный шаг в развитии отечественных квантовых технологий. Специалисты Госкорпорации «Росатом» совместно с Московским государственным университетом имени М. В. Ломоносова представили прототип трёхзонного квантового компьютера, рассчитанного на 72 кубита. Одним из ключевых достижений нового устройства стала высокая точность выполнения двухкубитных операций — на уровне 94%.

Это уже третий российский прототип квантового компьютера, преодолевающий отметку в 70 кубитов. Квантовые системы, использующие кубиты, способные находиться в состоянии суперпозиции, обещают качественно увеличить вычислительные возможности при решении особо сложных задач. Однако с ростом числа кубитов традиционно увеличиваются и ошибки в вычислениях, поэтому показатель точности операций является критически важным.

Особенностью нового прототипа стала его трёхзонная архитектура. В устройстве зоны вычислений, долговременного хранения данных и считывания информации разделены и выполняют специализированные функции. Такое инженерное решение повышает стабильность хрупких квантовых состояний и позволяет корректировать логические ошибки. На текущем этапе активны две зоны — вычислений и хранения, а зона считывания будет подключена в следующей версии устройства.

Продолжение: https://vk.com/wall-210601538_1961

⭐️ 10 интересных фактов о квантовых технологиях

Факт 1. Кубит одновременно равен 0 и 1
В отличие от обычного бита (0 или 1), квантовый бит — кубит — может находиться в состоянии суперпозиции, то есть быть и 0, и 1 одновременно. Благодаря этому квантовый компьютер с 50 кубитами может обрабатывать больше вариантов, чем атомов в известной Вселенной!

Факт 2. Запутанность - связанность частиц на огромных расстояниях
Две запутанные частицы связаны так, что изменение состояния одной мгновенно влияет на другую, даже если они на противоположных концах Земли. Эйнштейн называл это «жутким действием на расстоянии».

Факт 3. Квантовые компьютеры не взламывают всё подряд
Они не заменяют обычные компьютеры, а решают очень специфические задачи: моделирование молекул, оптимизация логистики, взлом некоторых типов шифрования (например, RSA) — но не все.

Факт 4. Россия строит квантовый интернет
В рамках нацпроекта «Цифровая экономика» Россия разрабатывает квантовую связь — сеть, в которой данные передаются с помощью фотонов и защищены на физическом уровне от прослушивания.

Факт 5. Квантовые часы максимально точные
Самые точные квантовые часы (оптические атомные) за 15 миллиардов лет отстанут меньше чем на одну секунду. Это помогает уточнить GPS, проверить теорию относительности и даже находить подземные залежи полезных ископаемых.

Продолжение: https://vk.com/wall-210601538_1962