⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

Продолжение: https://vk.com/wall-210601538_1954

⭐️ ФСТЭК впервые выделила технологию искусственного интеллекта в качестве рисков для информационной безопасности

Соответствующие изменения в декабре 2025 г. уже внесены в банк данных угроз (БДУ).

В перечне ФСТЭК появились ИИ, ИТ-уязвимости в котором потенциально могут быть задействованы при кибератаках. Среди них — модели машинного обучения (ML), наборы обучающих данных (датаcеты), Retrieval Augmented Generation (RAG) т.е. подход, при котором ответ генерируется из информации от внешних источников и Low-Rank Adaptation (LoRA)-адаптеры т.е. подход, адаптирующий большие модели данных к конкретным задачам. Также в разделе описаны векторы возможных кибератак, например эксплуатация ИТ-уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций ИИ-агентов, а также DoS-атаки т.е. кибератака, при которой используется одно устройство, направленные на исчерпание квоты запросов.

В сентябре 2025 г. первый заместитель директора ФСТЭК Виталий Лютиков анонсировал появление стандарта по безопасной разработке ИИ-систем в дополнение к стандарту по безопасной разработке программного обеспечения (ПО). По его словам, этот стандарт должен был быть готов до конца 2025 г. Опубликованный перечень киберугроз — это документ, на котором и будет основываться стандарт, объяснял Лютиков.

Продолжение: https://vk.com/wall-210601538_1955

🔥 MLSec vs MLSecOps: КТО ЗАЩИЩАЕТ МОДЕЛЬ, А КТО — ИНФРАСТРУКТУРУ

В прошлом посте мы разбирали, кто такой AI Security Engineer и зачем он нужен бизнесу, но если вы строите свои модели (ML), одного "универсального солдата" вам не хватит.
В зрелых компаниях (BigTech, FinTech) это минимум три специальности. Сегодня разбираем две главные: MLSec и MLSecOps.

Почему это важно:
Модель может быть математически безопасной, но если её доставили в прод через скомпрометированный CI/CD — она уже оружие против вас. И наоборот: защищённая инфраструктура не спасёт от атаки, когда модель обманывают "шумом" на картинке.

🧠 MLSec (Machine Learning Security) — защита алгоритмов
Это математик-параноик. Он рассматривает модель не как софт, а как функцию, которую можно "хакнуть" через входные данные.
С чем он борется:
🔻 Evasion Attacks (атаки уклонения) — злоумышленник добавляет невидимый шум на фото, и автопилот видит знак "80" вместо "Стоп".
🔻 Model Extraction (кража модели) — через серию запросов хакер восстанавливает архитектуру и параметры вашей модели (привет, конкурентам)
🔻 Data Poisoning (отравление данных) — незаметная порча обучающей выборке. Модель работает отлично, пока не увидит специальный триггер-ключ.

Реальность: MLSec — это уровень PhD (кандидата наук). Это дорого и сложно. Если вы не OpenAI или банк, скорее всего, вы не наймете такого человека в штат.

⚙️ MLSecOps (ML Security Operations) — защищает инфраструктуру
Это инженер по автоматизации на стероидах. Его не волнует математика модели. Его задача — гарантировать, что модель собрана из чистого кода, подписана и доставлена без подмены.

С чем он борется:
🔻 Supply Chain атаки (атаки на цепочку поставок) — популярные библиотеки для машинного обучения могут содержать вредоносный код. Сканирование зависимостей — базовая гигиена
🔻 Model Drift как индикатор атаки — если точность модели внезапно упала, это не всегда "плохие данные". Возможно, кто-то целенаправленно отравил входной поток
🔻 Подмена модели в проде — без криптографической подписи злоумышленник может заменить вашу модель на свою прямо в облачной инфраструктуре

Философия: "Shift Left for ML" — безопасность начинается на этапе сбора данных, а не перед релизом. MLSecOps автоматизирует проверки в CI/CD (Непрерывная доставка/Непрерывное развертывание): если модель не прошла проверку (например, не подписана или содержит уязвимые зависимости) — она не попадёт в прод.

Реальность: MLSecOps нужен всем, кто деплоит модели. Даже если у вас простой ML-сервис.

🤝Как они работают вместе
Этап дизайна:
MLSec советует архитектуру модели, устойчивую к атакам через искажённые данные.

Этап обучения:
MLSecOps настраивает автоматику: проверка данных на отравление, сканирование файлов модели, криптографическая подпись.

Этап эксплуатации:
MLSec проводит adversarial testing — подаёт модели искажённые данные, чтобы проверить её устойчивость к математическим атакам.
MLSecOps мониторит аномалии. Если что-то не так — автоматический откат на безопасную версию.

Главное правило: Эти специалисты не могут работать изолированно. Модель без безопасного конвейера — это бомба с часовым механизмом. Конвейер без защиты самой модели — это сейф с гранатой внутри.

📚 База знаний (Must Know):
📕 MITRE ATLAS — матрица реальных тактик атак на ИИ.
📕 OWASP ML Security Top 10 — главные риски классического ML.
📕 NIST AI RMF — золотой стандарт управления рисками ИИ (стандарт США, де-факто мировой).

В 2025 году защита ИИ — это не "поставить антивирус". Это математика + процессы + инфраструктура. Защита одного без другого — иллюзия.

https://vk.com/ai_hack_lab

🔥 Очень интересный видеообзор новых возможностей одной из ведущих российских платформ управления большими данными от компании TData

Разумеется, без грамотного управления большими данными (Data Governance) качественный MLSecOps невозможен. Поэтому я в свободные минуты активно изучаю и такие решения, развиваю сотрудничество с лидерами российского рынка (в том числе и с компанией TData). Лично мне эта компания давно нравится за открытость, высокую экспертизу и клиентоориентированность. Ребята четко видят тренды и развивают их. А также уверенно внедряют ИИ в свои решения.

Поставил себе цель больше погрузиться в их продукты в 2026 году, интегрировать решения от TData в нашу учебную программу с международным участием по подготовке Data Steward.

Ссылка на видео: https://rutube.ru/video/696ce699153fd91a4af9442dc6790d84

Всем желающим узнать больше про эту платформу рекомендую еще один видеообзор по ссылке: https://rutube.ru/video/246cf81ed991f99efd92392e4b649986

Архитектор MLSecOps
Николай Павлов

⭐️ Обсуждение безопасности ИИ с Сергеем Зыбневым

Сегодня в Москве мне удалось пересечься с Сергеем Зыбневым (на фото он справа), основателем каналов @poxek и @poxek_ai, одним из ведущих специалистов компании "Бастион" и автором множества статей на тему обеспечения безопасности ИИ и информационной безопасности в целом.

На встрече мы обсудили с ним темы актуальности непрерывного обучения на фоне стремительно меняющегося ландшафта ИИ-систем и ИИ-угроз, обозначили проблемы экспоненциального роста кибератак и поступательного усложнения ИИ-систем. Также мы затронули квантовое шифрование и пост-квантовую безопасность ИИ-систем. При этом Сергей дал мне ряд ценных советов по дальнейшему развитию в направлении MLSecOps.

Ещё поговорили про современные компании в сфере кибербеза, обсудили передовые технологии и ценные активности отдельных специалистов в AI Sequrity и AI Safety. Несколько раз возвращались к теме AI Governance и его компонентов.

Очень радует, что в свои 22 года Сергей прекрасно понимает архитектуру, разработку, информационную безопасность, машинное обучение и ряд других направлений IT, принимает участие в передовых российских разработках, часто выступает на ведущих конференциях. Это один из ведущих национальных экспертов по безопасности ИИ, который постоянно, ежедневно обучается, хорошо владеет нормативно-правовой базой и вносит активный вклад в развитие российского MLSecOps.

Благодарю его за продуктивную встречу и желаю дальнейших успехов!

Архитектор MLSecOps
Николай Павлов

https://vk.com/wall-210601538_1958

⭐️ MLSecOps — на пути к доверенному искусственному интеллекту

С утра изучил новую статью Академии Selectel про MLSecOps.

В начале статьи автор (Андрей Давид, руководитель продуктов клиентской безопасности) подчёркивает, что машинное обучение всё чаще применяется в критических системах — от обнаружения угроз до автономного транспорта и медицины, где ошибки моделей могут привести к серьёзным рискам. Поэтому нужны специализированные практики уже за пределами традиционного DevSecOps. Даются ценные и свежие статистические данные, важные результаты исследований.
​
Далее нам предлагается определение MLSecOps — это инженерная дисциплина, интегрирующая принципы информационной безопасности в MLOps для создания доверенных ML-систем с контролем данных, моделей и инфраструктуры. Автор делает фокус на уникальных артефактах ML: датасетах, весах моделей, процессах обучения и мониторинге, показывая, что угрозы вроде отравления данных или состязательных атак требуют отслеживаемости.
​
Отдельное внимание уделяется применению ML в кибербезопасности. Машинное обучение усиливает обнаружение угроз, анализ трафика и автоматизацию реагирования, но само становится мишенью: от кражи моделей до backdoor-атак и дрейфа данных. Приводятся примеры evasion-атак на дорожные знаки и подчёркивается необходимость защиты GPU-серверов, CI/CD-пайплайнов и хранилищ, со ссылкой на случаи утечек десятков тысяч незащищённых моделей.
​
Ключевые угрозы и практики, выделенные в статье:

1. Data Poisoning и Model Extraction. То есть злоумышленники отравляют данные или копируют модели. Как защиты предлагаются валидация источников, версионирование и, конечно, контроль доступов.
​
2. Adversarial Attacks. Незаметные искажения входов. Меры защиты — тестирование устойчивости и мониторинг уверенности модели.
​
3. Инфраструктура. Здесь стандартно разграничение ролей, secure by design и моделирование угроз по OpenSSF.

Лично меня особенно порадовало, что в статье подтвердилось мое видение на атаки membership inference и model inversion (на тему которых было сломано немало копий), а именно: "В реальных атаках такие методы пока встречаются редко и чаще рассматриваются как исследовательские, однако их нужно учитывать при моделировании угроз безопасности."
​
В конечном счете автор призывает начинать с фундамента: стандартизации среды, аудита инструментов и гранулярных прав, чтобы ML в кибербезопасности было не только мощным, но и надёжным.

Обязательно читаем, погружаемся, обдумываем. Ссылка на полную версию: https://selectel.ru/blog/mlsecops

Архитектор MLSecOps
Николай Павлов

⭐️ Дорогие друзья, коллеги, подписчики!

Вот и завершается 2025 год, очень динамичный, сложный, незабываемый! Для всех нас он стал вызовом, в основном, потому, что мы стремительно менялись, адаптировались, создавали новые процессы и технологии.

Мы входим в 2026 год - и он будет еще более динамичным, технологичным, потребует всех возможных ресурсов, максимальной энергии и предельной дисциплины для победы.

В течение этого года я продолжал учиться по 3-4 часа в день, делился некоторыми знаниями в блогах. Параллельно запустил и улучшил ряд IT-проектов, разработал серию небольших технологических решений. Все это оказалось востребованным, все усилия окупились в разы.

Уверен, каждый из вас также продолжает идти к поставленным целям, непрерывно учиться, работать над собой. Желаю вам реализации новых проектов, технологий, автоматизаций. Веры в себя, веры в айтишку, автоматизацию, роботизацию и инженерию.

И, конечно, желаю здоровья крепкого, поддержки ваших идей со стороны родных и близких, радости в каждом прожитом дне, преданности своим идеям и мечтам.

Спасибо за все ваши вопросы, советы и лайки! Мы вместе идем на самую вершину MLSecOps, мы обязательно пройдем этот путь до конца! Вы лучшие, самые талантливые, остаюсь на связи...

...с теплом и верой в каждого,
ваш Архитектор MLSecOps
Николай Павлов

⭐️ Российские учёные представили новый прототип квантового компьютера

Российские исследователи сделали значительный шаг в развитии отечественных квантовых технологий. Специалисты Госкорпорации «Росатом» совместно с Московским государственным университетом имени М. В. Ломоносова представили прототип трёхзонного квантового компьютера, рассчитанного на 72 кубита. Одним из ключевых достижений нового устройства стала высокая точность выполнения двухкубитных операций — на уровне 94%.

Это уже третий российский прототип квантового компьютера, преодолевающий отметку в 70 кубитов. Квантовые системы, использующие кубиты, способные находиться в состоянии суперпозиции, обещают качественно увеличить вычислительные возможности при решении особо сложных задач. Однако с ростом числа кубитов традиционно увеличиваются и ошибки в вычислениях, поэтому показатель точности операций является критически важным.

Особенностью нового прототипа стала его трёхзонная архитектура. В устройстве зоны вычислений, долговременного хранения данных и считывания информации разделены и выполняют специализированные функции. Такое инженерное решение повышает стабильность хрупких квантовых состояний и позволяет корректировать логические ошибки. На текущем этапе активны две зоны — вычислений и хранения, а зона считывания будет подключена в следующей версии устройства.

Продолжение: https://vk.com/wall-210601538_1961

⭐️ 10 интересных фактов о квантовых технологиях

Факт 1. Кубит одновременно равен 0 и 1
В отличие от обычного бита (0 или 1), квантовый бит — кубит — может находиться в состоянии суперпозиции, то есть быть и 0, и 1 одновременно. Благодаря этому квантовый компьютер с 50 кубитами может обрабатывать больше вариантов, чем атомов в известной Вселенной!

Факт 2. Запутанность - связанность частиц на огромных расстояниях
Две запутанные частицы связаны так, что изменение состояния одной мгновенно влияет на другую, даже если они на противоположных концах Земли. Эйнштейн называл это «жутким действием на расстоянии».

Факт 3. Квантовые компьютеры не взламывают всё подряд
Они не заменяют обычные компьютеры, а решают очень специфические задачи: моделирование молекул, оптимизация логистики, взлом некоторых типов шифрования (например, RSA) — но не все.

Факт 4. Россия строит квантовый интернет
В рамках нацпроекта «Цифровая экономика» Россия разрабатывает квантовую связь — сеть, в которой данные передаются с помощью фотонов и защищены на физическом уровне от прослушивания.

Факт 5. Квантовые часы максимально точные
Самые точные квантовые часы (оптические атомные) за 15 миллиардов лет отстанут меньше чем на одну секунду. Это помогает уточнить GPS, проверить теорию относительности и даже находить подземные залежи полезных ископаемых.

Продолжение: https://vk.com/wall-210601538_1962

⭐️ AI Governance в 2026 году

AI Governance — это набор методов, принципов, правил и практик, которые помогают компаниям эффективно и ответственно управлять созданием, развитием и использованием системами искусственного интеллекта (ИИ-системами).
Долгосрочная цель AI Governance — обеспечить безопасность, этичность и экономическую пользу ИИ-систем, охватив все возможные процессы компании ИИ-автоматизацией.

Основные принципы AI Governance:

1. Прозрачность. Обеспечение прозрачности процессов принятия решений и выдачи результатов ИИ.

2. Ответственность. Установление того, кто или что (например, компания) несёт ответственность за результаты, которые выдаёт ИИ.

3. Справедливость. Гарантия того, что ИИ не дискриминирует никакие группы по характеристикам чувствительных данных.

4. Соответствие законодательству. Соблюдение законов и нормативных актов, связанных с защитой данных и этическими стандартами ИИ.

5. Эффективность. ИИ должен внедряться не "ради ИИ", а для достижения измеримых бизнес-результатов с учётом получения окупаемости в установленный период времени.

Основные задачи AI Governance:

1. Стратегическое выравнивание целей и технологий. ИИ-проекты должны решать конкретные бизнес-задачи, а их цели согласованы с общими целями компании.

2. Управление рисками. Необходимо заранее учитывать риски — от неточностей и сбоев до регуляторных ограничений и этических аспектов.

3. Контроль качества данных. AI Governance предполагает активную работу с данными, в том числе проверку на bias (систематические смещения), обеспечение конфиденциальности и соответствие законам о данных.

4. Активное вовлечение людей. ИИ не должен работать в вакууме — важно определить, где нужен человеческий контроль.

5. Обеспечение соответствия нормативно-правовому регулированию. ИИ-системы должны соответствовать не только действующему законодательству, но требованиям отрасли, а также внутренним регламентам компании и при необходимости требованиям контрагентов (если это закреплено в договорных отношениях).

Продолжение: https://vk.com/wall-210601538_1963

⭐️ Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем.

При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

Важно учитывать, что работа над безопасной системой начинается ещё на этапе планирования. Здесь необходимо чётко определить критичность реализуемых системой функций, уровень допустимой автономности, границы ответственности ИИ и человека, а также формализовать требования к надёжности, объяснимости и этической приемлемости. Важно провести оценку потенциального воздействия ИИ (т.н. AI Impact assessment), аналогичную оценке защиты персональных данных, чтобы выявить риски до начала разработки. Эти риски также следует оценить, как минимум экспертно, с расчётом их потенциального ущерба.

На этапе проектирования закладываются архитектурные принципы отказоустойчивости. Система должна быть модульной: восприятие, планирование, принятие решений и исполнение технологически разделяются, изолируются и защищаются. Каждый компонент должен иметь резервирование или rollback-механизм — например, при потере уверенности в решении ИИ передаёт управление человеку или переходит в упрощённый, но безопасный режим работы (либо на более раннюю версию). Использование цифровых двойников и симуляций, если это возможно, позволяет заранее протестировать поведение системы в экстремальных условиях, включая отказы оборудования и кибератаки.

Особое внимание уделяется защите данных и моделей. Обучающие данные должны быть верифицированы, сбалансированы и защищены от отравления. При этом проверка на отравление, безусловно, остается. Модели обучаются с учётом робастности — например, на основе синтетических данных или через доменную рандомизацию, чтобы сохранять устойчивость к искажённым или нестандартным входным сигналам. Все версии моделей и данных подписываются, версионируются и хранятся в защищённых репозиториях.

В процессе эксплуатации безопасность обеспечивается непрерывным мониторингом. Система отслеживает смещение данных, задержки инференса, аномалии в поведении и целостность исполняемого окружения. При обнаружении отклонений она должна иметь возможность динамически переключаться на резервную модель, снижать уровень автономности или инициировать аварийную остановку. При этом, стандартно, запускаются алертинги.

После развёртывания начинается этап аудита. Он включает как автоматизированную проверку соответствия нормативным требованиям (например, российским национальным ГОСТам по безопасности и отказоустойчивости ИИ), так и ручной разбор инцидентов. Важно, чтобы из каждого сбоя извлекался урок (т.н. postmortem): корневые причины должны быть проанализированы, а выводы строго интегрированы в цикл разработки для улучшения будущих версий.

Ключевые роли в обеспечении безопасности автономных ИИ-агентов и киберфизических ИИ-систем играют интеграция MLSecOps и AI Governance.

1. MLSecOps отвечает за техническую гигиену: сканирование моделей на уязвимости, управление жизненным циклом, защиту CI/CD-конвейеров.

2. AI Governance задаёт этические и правовые рамки: принципы прозрачности, недискриминации, распределения ответственности. Вместе они формируют двойную защиту — техническую и нормативную.

В перспективе архитектура автономных ИИ-систем должна эволюционировать от просто отказоустойчивой к «антихрупкой» — способной не только выдерживать удары, но и укрепляться за счёт них. Это, на мой взгляд, предполагает самообучение на инцидентах, адаптацию к новым угрозам и коллективную устойчивость в сетях взаимодействующих агентов.

В заключение отмечу, что создание безопасных и отказоустойчивых автономных ИИ-систем — это не инженерная задача в узком смысле, а масштабный вызов, требующий системного мышления, междисциплинарного подхода и глубокой ответственности.

Архитектор MLSecOps
Николай Павлов

⭐️ В свободное время на каникулах провел серию встреч по безопасной работе с нейронными сетями с ребятами в детском лагере

Ежегодно интерес детей к этому важному направлению растёт. И крайне важно уже сегодня учить их самым современным и полезным цифровым навыкам. В этот раз удалось заинтересовать даже самых юных детей, 7-8 лет, что доказывает - в современных школах и детских лагерях прямо сейчас уже с первого класса можно и нужно запускать такие кружки, проводить целевые уроки, создавать технические лаборатории по формированию цифровых навыков!

Некоторые ребята особенно активно погружались в нейронные сети, проявляли искренний интерес, за что им отдельное спасибо!

Мне хочется верить, что в будущем каждый ребенок будет идти в ногу с ускоряющимся технологическим прогрессом и сможет выстоять в конкурентной борьбе. Будет заниматься полезным для людей и страны делом. Сможет передать полученные знания далее, другим поколениям.

До новых встреч!

Архитектор MLSecOps
Николай Павлов

⭐️ Новогодний эфир «Безопасность и интерпретируемость моделей»

На новогоднем онлайн-эфире о безопасности и интерпретируемости моделей машинного обучения обсудим ключевые тренды AI Security 2025 года, различия между safety и security, практику применения guardrails, steering и RLHF, а также роль интерпретируемости в защите моделей. Формат живого обсуждения с ответами на вопросы участников.

Топовые спикеры:

🔥 Сабрина Садиех – Исследователь в области XAI, магистрантка ВШЭ, автор канала Data Blog

🔥 Евгений Кокуйкин – Руководитель AI Security Lab Talent Hub, CEO HiveTrace

Темы:

+ Безопасность моделей. Какие подходы и методы стали ключевыми в 2025 году и какие тренды будут определять развитие дальше.
+ Различие safety и security. Почему эти понятия важно разделять на практике.
+ Guardrails, steering и RLHF. Плюсы, минусы и границы применимости методов.
+ Роль интерпретируемости в задачах безопасности моделей.

В формате живого обсуждения мы также ответим на вопросы участников.

Когда: 8 января, 14:00 по Москве.

Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3751600

Очень рекомендую всем подключиться и принять участие!

Архитектор MLSecOps
Николай Павлов

🎄 Дорогие коллеги и друзья!
Сердечно поздравляю вас с Рождеством Христовым! 🙏

В эпоху ИИ оставайтесь теми, кто хранит разум, совесть и надежду, непрерывно обучается, гарантируя безопасность, отказоустойчивость и служение высоких технологий на благо людям и России!
Желаю вам и вашим близким счастья, мира, веры в лучшее, вдохновения в работе и огромных сил, чтобы строить будущее.

С праздником!✨

Архитектор MLSecOps
Николай Павлов

Эфир начинается! Ссылка на подключение: https://us06web.zoom.us/j/84061449320?pwd=q9oLPX9i4NNTRhHeOKCXIJYUAwC3ta.1

Привет, друзья! А вот и наш вчерашний эфир. ☺️

На нём было всё — от конструктивного обсуждения, до случайных вольных художников. Последних пришлось вырезать, ибо свастика, элементы биологии и правописание глаголов в нецензурном контексте — не тема эфира. Зато как было весело в онлайне!

Прошлись по всем темам:

1. Безопасность моделей: какие подходы и методы стали ключевыми в 2025 году и какие тренды будут определять развитие дальше.

2. Safety vs Security: почему эти понятия важно чётко различать на практике.

3. Guardrails, steering и RLHF: сильные стороны, ограничения и границы применимости.

4. Роль интерпретируемости в задачах безопасности моделей.

+ обсудили, как же весело делать рисерч, узнали некоторые детали о разметке данных, обсудили тему необходимости интерпретиуремости и подумали, есть ли в ней прибыль.

Спасибо слушателям за вопросы и комментарии!
Надеюсь, встретимся ещё неоднократно!

Ваш,
Дата-автор! 🤗

⭐️ 2026 назвали годом настоящей монетизации искусственного интеллекта. AI Governance в топе

Мировой рынок искусственного интеллекта стоит на пороге качественного сдвига. Если предыдущие годы были посвящены шумихе, фундаментальным прорывам и пилотным запускам, то 2026-й, по единодушному мнению экспертов, станет временем, когда ИИ начнёт приносить реальные деньги в масштабах всей экономики. Как отмечает аналитик Дэн Айвз, человечество вступает в «год монетизации ИИ», когда построенная инфраструктура начнёт активно использоваться как предприятиями, так и конечными потребителями, генерируя измеримый финансовый поток.

Этот прогноз основан на наблюдаемом ускорении бизнеса, связанного с ИИ, и ожидании, что ИТ-директора и руководители компаний в ближайшее время перейдут от этапа определения возможностей к этапу их широкого и глубокого внедрения. Западные аналитики подчёркивают, что текущий рост — это не признак «пузыря», а лишь самые ранние стадии долгосрочной технологической революции, которая будет разворачиваться в течение всего следующего десятилетия.

Подтверждением этой тенденции служат и глобальные прогнозы расходов. Согласно данным, в 2026 году мировые инвестиции в искусственный интеллект впервые в истории превысят отметку в 2 триллиона долларов. Этот рост будет обеспечен не только транснациональными технологическими корпорациями, но и гораздо более широким кругом предприятий из различных отраслей, которые начнут массово интегрировать ИИ в свою основную инфраструктуру — от смартфонов и персональных компьютеров до корпоративных систем и производственных линий.

Однако скорость этого перехода будет неравномерной и будет зависеть от региональных экономических условий, регуляторной среды и, что критически важно, от доступа к квалифицированным кадрам. Это объясняется тем, что не каждая компания сможет или захочет проводить масштабную и дорогостоящую модернизацию одинаковыми темпами, что создаст новый ландшафт конкурентных преимуществ.

Продолжение: https://vk.com/wall-210601538_1970