⭐️ Опасное приложение: веб-ресурсы для работы с ИИ оказались уязвимыми

Сразу несколько платформ для общения с искусственным интеллектом оказались уязвимы для мошенников, предупредили в компаниях по кибербезопасности. В результате переписка пользователей приложений с нейросетями может оказаться доступной, а в веб-страницу способен внедриться вирус. Раньше такой тренд выявлялся только в программном обеспечении, которое писалось с помощью ИИ, но сейчас увеличилось число приложений, созданных при помощи искусственного интеллекта, — соответственно, нерешенные проблемы перекочевали и туда.

В III квартале 2025 года зафиксирован резкий прирост уязвимостей в AI-сервисах — веб-приложениях на базе искусственного интеллекта, при этом ранее подобных случаев не фиксировалось. Об этом рассказали в центре расследования киберугроз Solar 4RAYS, ГК «Солар».

— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и получение доступа к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.

Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступы к перепискам пользователей с нейросетью.

Продолжение: https://vk.com/wall-210601538_1923

Во вторник, 28 октября, проведём вебинар, где расскажем о новых функциях HiveTrace и редтиминг фреймворке HiveTrace Red.

Откроет встречу наш гость Роман Куцев с обзором бенчмарков агентных систем. Летом Роман помог переработать соответствующий раздел в гайде OWASP, а сейчас активно тестирует агентный браузер Comet.

Приходите, подключайтесь к дискуссии. Ссылка на регистрацию.

⭐️ Минцифры РФ хочет повысить требования к ПАКам, работающим с ИИ

Минцифры России сформулировало новые требования к программно-аппаратным комплексам, предназначенным для работы с ИИ. Продукты, соответствующие этим нормам, смогут претендовать на внесение в реестр отечественного софта. Разработанный в министерстве проект постановления правительства бы направлен на согласование в Минпромторг, а также производителям ПАКов — для обсуждения.

Представитель Минцифры пояснил: специальные требования подготовлены с учетом нужд отрасли и направлены на поддержку российских разработчиков и вендоров технически сложных решений в сфере ИИ.

Согласно проекту постановления, производители ИИ-комплексов должны иметь собственные дата-центры в России мощностью не менее 10 МВт и обеспечивать производительность не ниже 100 петафлопс в формате FP4, оптимальном для работы с большими языковыми моделями. В состав оборудования должны входить сетевые адаптеры на 800 Гбит/с или выше с поддержкой прямого доступа к ресурсам через RDMA.

Требования к программному обеспечению: хранение не менее 1 эксабайта данных, возможность обучения моделей на 1000 GPU. Дополнительных льгот для производителей таких ПАКов документ не предусматривает, однако, попав в реестр Минцифры (существующий, новый создаваться не будет), они смогут рассчитывать на господдержку и преференции при госзакупках.

Продолжение: https://vk.com/wall-210601538_1925

⭐️ MLSecOps engineer

Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.

Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.

В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!

Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!

Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности

Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность

От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.

Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)

Ждём тебя в крутой команде профессионалов УЦСБ!

Ссылка на вакансию на HeadHunter: https://hh.ru/vacancy/126805201

Архитектор MLSecOps
Николай Павлов

⭐️ Опубликована окончательная версия нового ГОСТ Р «Искусственный интеллект в критической информационной инфраструктуре. Общие положения» разработанного ФСТЭК

Уверен, именно он ляжет в основу нового закона о безопасности ИИ-систем, разработку которого ранее анонсировал В.В. Володин. Рад, что тоже внес свою лепту в создание этого стратегически важного регламента.

Стандарт охватывает применение систем искусственного интеллекта в критически важных отраслях:​

1. Энергетика и топливно-энергетический комплекс
2. Транспорт (воздушный, железнодорожный, морской, автомобильный)
3. Финансы и банковская сфера
4. Здравоохранение
5. Связь и телекоммуникации
6. Оборонная, ракетно-космическая промышленность
7. Атомная энергия
8. Горнодобывающая, металлургическая и химическая промышленность

Документ вводит четыре категории систем ИИ в зависимости от уровня критичности их применения:​

1 уровень (низкая критичность): Рекомендательные решения, чьи ошибки не приводят к непосредственному нарушению функционирования объектов КИИ

2 уровень (средняя критичность): Системы с умеренным влиянием на процессы КИИ

3 уровень (высокая критичность): Системы, существенно влияющие на функционирование КИИ

4 уровень (критическая значимость): Системы, ошибки или сбои в работе которых могут привести к аварийным ситуациям, угрозе жизни и здоровью людей, материальному ущербу и другим тяжелым последствиям​

Для каждой категории предусмотрены соответствующие требования к безопасности, надежности, тестированию, контролю и наличию планов аварийных остановок.

Ссылка на ГОСТ: https://disk.yandex.ru/d/7fnD2-rbMnuzjw

Архитектор MLSecOps
Николай Павлов

⭐️ Amazon планирует крупнейшее с 2023 года сокращение: 30000 мест займет ИИ

Корпорация Amazon готовится к крупнейшему сокращению персонала с 2023 года. Планируется уволить около 30 000 сотрудников, что составляет почти 10% от её корпоративного штата, который насчитывает примерно 350 000 человек.

Причина - активное внедрение ИИ-агентов (AI Agents), которые заменяют функции сотрудников.
Сокращениями затронуты отделы кадров (HR), работы с персоналом, технологий, операционные и другие.
Руководителям подразделений уже поручено провести соответствующие беседы с командами.
Для Amazon это станет самым массовым сокращением с конца 2022 года, когда компания уволила сразу 27000 сотрудников.

С тех пор происходили лишь менее значительные сокращения в отдельных подразделениях. На фоне этой новости компания отчиталась о значительном росте доходов от рекламного бизнеса — во втором квартале 2025 года выручка подразделения Amazon Ads выросла на 22%, достигнув $15,7 млрд.

Reuters

PS: дружно и срочно изучаем ИИ-агентов.

Ура, товарищи! Наконец-то первое видео на канале, и какое! Мастер-класс по взлому ИИ агентов Артёма Семёнова, с моим скромным участием.
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!

⭐️ Кодекс этики в сфере разработки и применения ИИ на финансовом рынке от Банка России

Особенно важен для специалистов из FinTech. А для инженеров и архитекторов MLSecOps в нем особенно важен пятый раздел, и особенно п. 5.7 где по сути устанавливается требование к резервированию исполнения критических функций ИИ-систем на случай их дискредитации или выхода из строя:

5. ПРИНЦИП БЕЗОПАСНОСТИ, НАДЕЖНОСТИ И ЭФФЕКТИВНОСТИ

5.1. Организациям рекомендуется принимать следующие меры:
1) проверка качества наборов данных;
2) проверка качества искусственного интеллекта;
3) мониторинг качества искусственного интеллекта;
4) обеспечение информационной безопасности;
5) обеспечение конфиденциальности информации;
6) обеспечение непрерывности деятельности.

5.2. В рамках проверки качества наборов данных для разработки искусственного интеллекта организациям рекомендуется проверять используемые наборы данных, в том числе на предмет их достоверности, точности и полноты, собирать и хранить информацию об источниках наборов данных, разметке данных, исправлять неточности в наборах данных и осуществлять их актуализацию.

5.3. В рамках проверки качества искусственного интеллекта организациям рекомендуется установить показатели качества искусственного интеллекта и проверять при разработке искусственного интеллекта соответствие искусственного интеллекта установленным организацией показателям качества, в том числе посредством валидации, добровольной сертификации.

5.4. В рамках мониторинга качества искусственного интеллекта организациям рекомендуется регулярно осуществлять проверку применяемого искусственного интеллекта на предмет соответствия установленным организацией показателям качества.

5.5. В рамках обеспечения информационной безопасности организациям рекомендуется учитывать риски искусственного интеллекта, связанные с нарушением информационной безопасности и операционной надежностью, и осуществлять оценку достаточности имеющихся и планируемых к реализации мер противодействия угрозам информационной безопасности на всех этапах разработки и применения искусственного интеллекта, в том числе в отношении наборов данных.

5.6. В рамках обеспечения конфиденциальности информации организациям рекомендуется разработать систему технологических и организационных мер по обеспечению безопасности данных ограниченного доступа, используемых при разработке и применении искусственного интеллекта, в том числе меры, связанные с их обезличиванием и противодействием их несанкционированному распространению при применении больших генеративных моделей сотрудниками организации и ее клиентами.

5.7. В рамках обеспечения непрерывности деятельности организациям рекомендуется обеспечить выполнение значимых функций, осуществляемых с применением искусственного интеллекта, сотрудниками организации в случае временной невозможности применения искусственного интеллекта.

Ссылка на полную версию: https://cbr.ru/Content/Document/File/178667/code_09072025.pdf

Архитектор MLSecOps
Николай Павлов

⭐️ Вакансия MLOps инженера в Selecty 🔥

Формат работы: удаленка 👍
Занятость: полная
Заработная плата: от 250 до 400 тр. гросс, в зависимости от опыта и способа оформления

О проекте:
Мы в поиске опытного MLOps на проект крупнейшего банка РФ, на котором используются передовые технологии машинного обучения, такие как компьютерное зрение (CV), обработка естественного языка (NLP) и Retrievers-Augmented Generation (RAG), чтобы создавать и внедрять сервисы «под ключ», интегрированные в бизнес-процессы банка.

Чем предстоит заниматься:
- Управлять полным жизненным циклом ML-моделей: разрабатывать CI/CD пайплайны, проводить версионирование с MLflow и автоматизировать ретрейнинг.
- Контейнеризировать решения с помощью Docker и развертывать их через Kubernetes, а также осуществлять оркестрацию с Apache Airflow.
- Внедрять системы мониторинга (например, Prometheus, Grafana), анализировать инциденты и оптимизировать использование ресурсов.
- Разрабатывать интеграции через REST API, создавать автоматизированные пайплайны и внедрять инфраструктуру как код.

Что мы ждем от вас:
- 3+ лет опыта работы с Python.
- Опыт работы с Docker и Kubernetes, практическое владение MLflow и Apache Airflow.
- Навыки DevOps, включая CI/CD и мониторинг.
- Понимание и опыт работы с проектами на базе ML и производственными ML-системами.
Плюсом будет:
- Знания в области распределенных вычислений (Spark, Hadoop) и опыт работы с векторными базами данных.
- Знакомство с ML-фреймворками, такими как MLflow и ZenML.

Стек:
- Оркестрация: Apache Airflow
- ML Lifecycle: MLflow
- Контейнеризация: Docker, Kubernetes
- CI/CD: GitLab CI, GitHub Actions
- Мониторинг: Prometheus, Grafana
- Языки программирования: Python, Go/Bash
- ML библиотеки: CatBoost, scikit-learn, PyTorch, Keras
- Потоковая обработка: Apache Kafka
- Apache Spark для работы с большими данными
- Feature stores
- Объектные хранилища: S3, MinIO

Условия:
- Оформление по ТК/ИП в IT интегратор
- ДМС со стоматологией с первой рабочей недели
- По желанию кандидата выдаем технику для работы
- Скидки на фитнес, обучение, кинотеатр
- Удаленная работа, гибкая з/п вилка
- Реферальные программы и ежегодные перфоманс-ревью

TG для отклика: @natashevlyakova

⭐️ Академия АйТи (кластер FabricaONE AI ГК Softline) объявляет о запуске третьего потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» — один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение третьего потока начнется 18 ноября 2025 года и продлится две недели с технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT - профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации. При этом стоимость обучения минимальна.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps
Николай Павлов

⭐️ Закон «Об искусственном интеллекте» приняла 24 сентября 2025 года нижняя палата парламента Казахстана (Мажилис).

Важные положения закона:

1. Классификация систем ИИ.
ИИ-системы будут делиться по уровню риска (низкий, средний, высокий) и степени автономности. Системы высокого риска приравняют к критической инфраструктуре, и они будут под особым контролем.

2. Защита граждан.
Граждане получат право получать информацию о работе системы, отказываться от взаимодействия с ИИ (если это не установлено законом) и требовать пересмотра решений.

3. Обязательная маркировка синтетического контента.
Это нужно, чтобы пользователи могли отличать его от реального. При оказании услуг или продаже товаров с ИИ граждане должны быть предупреждены об этом.

4. Авторское право.
Произведения, созданные ИИ без участия человека, авторским правом защищаться не будут. Но охраняемыми могут стать творческие запросы пользователей — промпты.

5. Ответственность за вред, причинённый системами ИИ.
За ущерб отвечают владельцы и операторы таких систем. Страхование ответственности пока остаётся добровольным, но рассматривается как важный инструмент защиты прав граждан.

6. Прозрачность и безопасность ИИ-систем.
В законе закреплены правовое и организационное регулирование, обеспечение прозрачности и безопасности в сфере ИИ, особенности применения технологий государственными органами и квазигосударственными организациями.

Продолжение: https://vk.com/wall-210601538_1932

⭐️ По просьбе подписчицы выкладываю полный текст закона "Об искусственном интеллекте" Республики Казахстан на русском языке, ссылка ниже

Еще раз краткий обзор от меня.

В законе много на мой взгляд довольно жестких требований, особенно в Статье 7 "Прозрачность и объяснимость" - "Пользователь, в отношении которого принимаются решения с использованием систем искусственного интеллекта, имеет право ... заявить возражение против автоматизированной обработки, а также о порядке защиты своих прав, свобод и законных интересов"

Про статью 6 "Справедливость и равенства" всем и так все очевидно, что это огромный объем работы по обеспечению равноправия и недискриминации, и все ML-специалисты понимают, что прямо идеально это реализовать будет очень сложно.

Неожиданное требование по поводу "Создание и эксплуатация системы искусственного интеллекта осуществляются с учетом энергоэффективности и стремления к снижению негативного воздействия на окружающую среду." - значит, это как минимум должно быть на уровне обоснования и уже сейчас все российские компании, имеющие ИИ-системы, должны принимать какие-то меры по энергоэффективности, хотя бы на уровне алгоритмов, балансировки нагрузки и т.п., и фиксировать эти меры себе на бумаге, чтобы потом не было вопросов после утверждения подобного российского закона.

По поводу статьи 10. Защита данных и конфиденциальности я уже около года говорю в своей учебной программе по MLSecOps в Академии Softline, что это все важно понимать и учитывать и на уровне инженеров/архитекторов MLSecOps.

По статье 11 - "Статья 11. Безопасность и защищенность", которая как оказывается включает и требования по отказоустойчивости я тоже уже 2 года доношу как могу, что MLSecOps это еще и SRE моделей, то есть обеспечение надежности их инфраструктуры и без этого полноценное обеспечение безопасности ИИ-систем недопустимо.

Также ясно, что Казахстан создает Национальную платформу по искусственному интеллекту, где тоже будет масса требований и регламентов, уже более конкретных, технических и четких, что увеличит объем внутреннего мониторинга компаний.

В ст. 15 опять же говорится про отказоустойчивость, оценку и нивелирование рисков, обязательное и подробное ведение технической документации. И - главное - про Техподдержку пользователей ИИ-систем (я считаю что сюда же относим и форму обратной связи, как и кнопку "нравится/не нравится").

Статья 16 п. 5 обязует создателей ИИ-систем давать объяснение как принимаются решения, но и указывает на то, что опираемся при этом на пользовательское соглашение. Соответственно это и выход (пусть и временный), компаниям нужно максимально грамотно прописывать такие соглашения и не набирать в них излишних обязательств.

ИИ-системы делятся на три уровня критичности и в то же время на три уровня автономности. Есть и довольно широкий перечень полностью запрещенных ИИ-систем.

Ст. 18 "Управление рисками ИИ" предполагает ежегодное обновление и переоценку этих рисков (я считаю минимум раз в квартал нужно переоценивать все риски в идеале).

Ст. 24 обязывает возмещать вред, причиненный ИИ-системами. Однако нет четкого предписания, кто именно возмещает вред - просто ссылка на ГК Республики Казахстан.

Ссылка: https://senate.parlam.kz/ru-RU/lawProjects/download?fileId=30429&lawId=7125

Архитектор MLSecOps
Николай Павлов

⭐️ MLSecOps by Protect AI

Внимательно слежу за каждым выпуском подкаста MLSecOps от Protect AI. Здесь часто выступают специалисты из OWASP, а также самой Protect AI, из других топовых компаний, причем из разных стран мира.

Удобно, что под каждым подкастом всегда есть расшифровка текста. Поэтому продуктивнее всего вообще не заходить на YouTube и слушать там, вникая в тонкости перевода и диалектов выступающих, а сразу же брать весь текст и переводить его целиком с учетом контекста.

Темы и выступления экспертов в целом несложные, что добавляет ценность этому подкасту для широкой аудитории.

Ссылка подкаст MLSecOps: https://mlsecops.com

Архитектор MLSecOps
Николай Павлов

⭐️ Интересная статья про HiveTrace и HiveTrace Red

Нашел время и наконец-то детальнее познакомился с новым российским MLSecOps-инструментом HiveTrace Red, благодаря авторской статье Евгения Кокуйкина.

Редтиминг HiveTrace Red — это фреймворк на Python. Сначала собирается набор тестовых запросов, затем они расширяются с помощью более 80 видов атак. Модель «жертва» отвечает на эти атаки, а система анализирует ответы и определяет, где модель уязвима. Все этапы сохраняются для аудита. Результаты отображаются в отчете: сколько атак прошло успешно, какие промты оказались опасными, и примеры реакций модели.

HiveTrace Red подключается через API или работает с локальными моделями, поддерживает любые платформы. Есть open source-версия на GitHub, а коммерческая версия содержит продвинутые атаки для сценариев необходимых для обеспечения безопасности корпоративных систем, веб-интерфейсом и CI/CD-интеграцией.

HiveTrace — это система защиты от атак, содержащая модель guardrail и функции мониторинга агентных систем. Она встраивается между запросами пользователя и ответами агентной модели в приложении. Она может пропускать сообщения или блокировать вредоносные запросы в реальном времени. Подключать HiveTrace можно как для отдельных приложений через официальный SDK, так и в режиме прокси, в котором HiveTrace выступает шлюзом трафика для целевой нейросети.

После отправки запроса все данные автоматически попадают в аналитическую платформу HiveTrace. Там можно отследить, какие сообщения и ответы были получены, увидеть аналитику безопасности, и контролировать, как пользователи и модели взаимодействуют. Это помогает вовремя выявлять нарушения и управлять рисками при работе с LLM.

Ссылка на полную версию этой статьи: https://generation-ai.ru/cases/hivetrace

Архитектор MLSecOps
Николай Павлов

⭐️ DevSecOps → MLSecOps: что делать ИБ в 2026 (Алексей Лукацкий)

Всем моим друзьям, коллегам и студентам рекомендую посмотреть интересное интервью Ильи Шабалова (AM Live) с Алексеем Лукацким (Positive Technologies) о том, как ИИ уже используется в атаках — и почему ИБ переходит от DevSecOps к MLSecOps. Разбираем LLM-firewall, jailbreak-prompts, дипфейки и model drift на языке практики: что внедрять в 2025–2026, какие риски учитывать и какие навыки нужны специалистам.

Из интервью вы поймёте, как строить защиту от ИИ-атак, где проходят границы ответственности ИБ и ML-команды, и что реально помогает SOC командам уже сегодня.

В выпуске:
• зачем бизнесу переходить от DevSecOps к MLSecOps
• как ИИ используется для фишинга, дипфейков и многоагентных атак
• что такое jailbreak-prompts и model drift, и как их контролировать
• как работает LLM-firewall и когда нужны внутренние LLM
• почему безопасность ML-проектов начинается с данных и культуры их использования
• какие навыки понадобятся ИБ-специалистам уже завтра

Полезно для CISO, архитекторов ИБ, руководителей SOC, ML-инженеров, разработчиков AI-систем и, конечно, MLSecOps-инженеров и архитекторов.

Ссылка: https://rutube.ru/video/9b379b36ae2854d1b96cdea19536dbb3/

Архитектор MLSecOps
Николай Павлов

🔥 Крупный российский банк ищет AI Safety Tech Lead

Мы стремимся к развитию искусственного интеллекта и понимаем, что создание безопасной и надежной платформы крайне важно для нашей миссии и наших клиентов.
Поэтому мы ищем инженера, который поможет нам развивать возможности в сфере доверия и безопасности 🛡.

В этой роли Вы будете работать над системами предотвращения рисков, связанных с фактологическими и контекстными галлюцинациями больших языковых моделей и ИИ-агентов, проявлений токсичности и дискриминации, а также предотвращением злоупотреблений 🚫.

Вы будете обучать и дообучать мультимодальные модели, создавать новые архитектуры моделей и проектировать тактики их применения — например, такие как guardrails. Мы экспериментируем с RLHF, constitutional AI, red teaming и adversarial prompting, чтобы находить оптимальные подходы к выравниванию моделей с человеческими ценностями 🧩.

Если вам близок дух Bell Labs / Xerox PARC в их лучшие годы — исследовать, проверять гипотезы и доводить до продакшена — вам к нам 🚀.

💼 Чем вы будете заниматься:

+ Разрабатывать, создавать и поддерживать решения для борьбы со злоупотреблениями, модерации контента, детекции галлюцинаций, предназначенные для защиты компании и конечных пользователей от нежелательного поведения.
+ Тесно сотрудничать с другими инженерами и исследователями для использования как стандартных, так и новых методов ИИ с целью измерения, мониторинга и улучшения соответствия AI-моделей и ИИ-агентов человеческим ценностям.
+ Изучать статьи, материалы профильных российских и мировых конференций по AI Safety и участвовать в них 🎓.
+ Выявлять и устранять активные инциденты на платформе, а также создавать новые инструменты и инфраструктуру, которые устраняют первопричины сбоев в системе 🔍.

⚙️ Скорее всего, эта роль Вам подходит, если Вы:

+ имеете опыт работы в сфере безопасности контента, борьбы с мошенничеством или злоупотреблениями, либо мотивированы и горите желанием работать над актуальными вопросами безопасности ИИ 🔥.
+ владеете Python или современными языками, такими как C++, Rust или Go, и готовы быстро освоить Python.
+ имеете опыт проектирования и обучения нейросетевых архитектур — от классических CNN/RNN до современных трансформеров.
+ имеете опыт разработки ИИ-агентов и общее понимание передовых архитектур MAS.
+ создавали и поддерживали производственные сервисы в условиях быстрого роста и масштабирования 📈.
+ можете оперативно выявлять и устранять активные проблемы.
+ понимаете компромиссы между возможностями и рисками и умеете находить баланс для безопасного развертывания новых продуктов и функций ⚖️.
+ можете критически оценивать риски нового продукта или функции и находить инновационные решения для их mitigation, не ухудшая пользовательский опыт.
+ понимаете, когда можно создать быстрое, достаточно хорошее решение, а когда стоит инвестировать в надежное, долгосрочное.
+ развертывали классификаторы или модели машинного обучения, или хотите познакомиться с современной ML-инфраструктурой 🧠.

✨ Преимущества:

+ Формат работы: гибрид или удаленка из Москвы (офис м. Кутузовская)
+ Расширенный ДМС с первого рабочего дня
+ Возможность обучения за счет компании, а также обучение в корп. университете
+ Бесплатный спортзал в офисе
+ Самый современный стек технологий и возможность влиять на него
+ Льготные условия кредитования и ипотеки для сотрудников

🤝 Будем рады Вам: @parinova_d

⭐️ C 19 по 21 ноября состоится ежегодная всемирная конференция AI Journey 2025

В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом.

Крайне рекомендую всем посмотреть!

Более подробная информация на сайте: https://aij.ru

#mlsecops #aigovernance

⭐️ Top 10 угроз для Agentic AI

Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована.

Ссылка: https://habr.com/ru/companies/bastion/articles/963800

#mlsecops #aigovernance