MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
921 subscribers
97 photos
2 videos
3 files
401 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ В Шэньчжэне заработала первая в мире логистическая линия метро, где автномоные роботы ездят прямо в вагонах → 40+ роботов-курьеров выходят из депо, поднимаются на лифтах и развозят заказы в 100+ магазинов 7‑Eleven. ИИ сам планирует маршрут с учётом расписания поездов и пассажиропотока, поэтому роботы выезжают только вне часов пик.

Видео: https://vk.com/video-13984605_456263775
🔥2🤯1
⭐️ ГОСТ Р 59276—2020. "Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения"

Привет, мои дорогие и самые талантливые друзья!

Субботним утром перечитал важный российский стандарт, регламентирующий обеспечение доверия к ИИ-системам.

Важнейшие моменты, которые стоит учитывать в MLSecOps:

I. Оценка и подтверждение доверия строится на наборе существенных характеристик и метрик качества ИИ-систем - они должны быть установлены и по возможности мониториться:

1. Метрики функциональных возможностей: пригодность, корректность, защищенность, согласованность и др.

2. Метрики надежности: стабильность, устойчивость к ошибкам, восстанавливаемость.

3. Метрики эффективности: ресурсоемкость, производительность.

4. Метрики прозрачности: понятность, изучаемость, простота использования.

5. Метрики сопровождения: анализируемость, изменяемость, устойчивость, тестируемость.

Для MLSecOps важно утвердить и формализовать эти метрики, автоматизировать их сбор и мониторинг на всех этапах жизненного цикла модели, если это возможно.

II. Факторы снижения качества (и безопасности) на разных этапах жизненного цикла ИИ-системы. На каждом этапе жизненного цикла существуют специфические риски:

На этапе создания модели - это смещённость и недостаточная представительность обучающих данных, необъяснимость результатов, неоптимальность архитектуры, недостаточная защищенность моделей.

На этапе эксплуатации - это неверное применение модели, неактуальность данных, невыполнение тестирования, утечка или компрометация персональных данных, проблемы периодической актуализации моделей.

Продолжение: https://vk.com/wall-210601538_1848
🔥3
⭐️ В Роскомнадзоре допустили, что переписки с искусственным интеллектом могут использоваться в суде

В России суды и правоохранительные органы могут запрашивать доступ к диалогам пользователей с искусственным интеллектом. Об этом 1 августа сообщили «Известиям» в Центре правовой помощи гражданам в цифровой среде, который является подразделением Роскомнадзора.

Сейчас в стране нет специальных правовых норм, регулирующих этот вопрос. Однако, по словам представителей ведомства, можно использовать общие положения российских законов, например, Уголовно-процессуального или Гражданского кодексов.

«Российские суды и правоохранительные органы в соответствии с целями и задачами их деятельности вправе при необходимости для получения доступа к таким данным использовать механизмы, заложенные в законодательных актах, регулирующих их работу», — пояснили в центре.

В Роскомнадзоре также отметили, что диалоги с нейросетями можно рассматривать как персональные данные. Владельцы сервисов ИИ обычно получают всю информацию, введенную пользователями, о чем прямо говорится в пользовательских соглашениях.

«Необходимо помнить об этом, когда вы предоставляете любую личную информацию нейросети. Ко всей информации, которая становится доступна владельцу нейросети, должны применяться общие правила защиты информации. Однако зарубежные компании, как правило, применяют их с учетом своего национального законодательства», — добавили в РКН.

Продолжение: https://vk.com/wall-210601538_1849
⭐️ В Евросоюзе вступили в силу новые законодательные требования к ИИ-системам

С 2 августа 2025 года в Европейском Союзе вступают в силу новые требования к моделям искусственного интеллекта общего назначения (General-Purpose AI, GPAI) согласно закону ЕС об искусственном интеллекте (AI Act). Основные требования для поставщиков и разработчиков таких моделей включают:

1. Требования по прозрачности.

Компании обязаны раскрывать информацию о том, как была обучена модель, с публикацией резюме использованных данных, описанием источников данных и методов предобработки.

Вступило в силу требование явно маркировать AI-контент (например, текст, изображения), чтобы пользователи могли отличать его от созданного человеком.

2. Техническая документация.

Необходимо подготовить техническую документацию по модели, раскрывающую архитектуру модели, цели использования, методы обучения и тестирования.

3. Соблюдение авторских прав.

Обязательным стало соблюдение правил об интеллектуальной собственности. Должны быть задокументированы и раскрыты любые авторские или лицензионные данные, использованные для обучения.

4. Ответственность и безопасность.

Компании должны регулярно проводить оценку и принимать меры для смягчения рисков, связанных с использованием моделей.

Требуется внедрять процессы для выявления, анализа и сообщения о серьезных инцидентах, связанных с работой AI.

Продолжение: https://vk.com/wall-210601538_1850
👍3
⭐️ В ЛЭТИ создали платформу для защищенного внедрения ИИ-сервисов в госсистемы

Ученые Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» разработали платформу для защищенного внедрения ИИ-сервисов в государственные цифровые системы. Она обеспечит быстрый доступ к аналитической информации, сможет подготавливать отчеты, резюме, заключения и другое, сообщили ТАСС в пресс-службе вуза.

«Мы разработали многопользовательскую ведомственную и корпоративную платформу для безопасного внедрения сервисов искусственного интеллекта на основе больших языковых моделей в цифровые системы государственных учреждений и крупных корпораций с высокими требованиями к защите информации. Наша платформа позволит безопасно внедрять ИИ-сервисы под самые разные задачи компаний, среди которых обеспечение быстрого доступа к аналитической информации, подготовка отчетов и резюме, анализ документации и подготовка заключений, автоматизация создания должностных инструкций, генерация проектной документации и многое другое», — привели в пресс-службе слова директора института им. А. С. Попова Антона Зарубина.

Уточняется, что внедрение ИИ играет важнейшую роль, так как это способствует повышению эффективности, автоматизации и инновационности в различных сферах жизни человека. Однако при внедрении ИИ-сервисов в цифровые системы государственных учреждений и крупных компаний возникают различные угрозы — риск утечки конфиденциальной информации и персональных данных, внедрение ИИ может стать мишенью для кибератак, возможное снижение уровня контроля со стороны человека за автоматизированными системами, что увеличивает вероятность ошибок и усложняет их своевременное обнаружение и исправление.

По данным пресс-службы, в отличие от традиционных корпоративных ИТ-систем, разработанная платформа обеспечивает работу в изолированном сегменте сети с полным контролем над используемыми моделями и данными. Информация не покидает пределы ведомственного цифрового контура, а отсутствие необходимости подключения к интернету гарантирует максимальную защиту данных.

Продолжение: https://vk.com/wall-210601538_1851
🔥2
⭐️ Обнаружены уязвимости в NVIDIA Triton

Уязвимости CVE-2025-23319, CVE-2025-23320 и CVE-2025-23334, обнаруженные в NVIDIA Triton Inference Server, одном из ведущих инструментов для развёртывания моделей машинного обучения, представляют серьёзную угрозу AI-инфраструктуре компаний. Уязвимость может создать риски для организаций, использующих ИИ-решения.

Как пояснил Андрей Жданухин, руководитель группы аналитики L1 GSOC компании «Газинформсервис», обнаруженные уязвимости позволяют злоумышленнику без какой-либо аутентификации через уязвимый API записывать произвольные файлы на сервере. Это, в свою очередь, открывает путь к потенциальному выполнению произвольного кода. Ошибки в логике обработки параметров shared memory могут привести к отказу в обслуживании (DoS) или даже повреждению данных.

«Особенно тревожен тот факт, что уязвимость доступна через публично задокументированные интерфейсы, а значит угроза может быть использована в атаках на продуктивные AI‑сервисы в облаке и на локальных кластерах. По оценке исследователей, проблема затрагивает как модельные среды, так и корпоративные ML-вычислительные пайплайны, поэтому обновление до версии 25.07 или выше является критически важной мерой защиты», — предупреждает руководитель группы аналитики L1 GSOC.

В условиях растущей сложности киберугроз эксперт GSOC настоятельно рекомендует организациям, активно использующим ML/AI-инфраструктуру, внедрять комплексные подходы MlSecOps на всех этапах жизненного цикла модели — от разработки до эксплуатации.

«Это предполагает постоянную проверку безопасности компонентов, отслеживание аномалий в API-запросах, анализ прав доступа к ML-инстансам, а также контроль целостности и безопасного развёртывания моделей. Кроме того, GSOC отслеживает признаки эксплуатации известных CVE в публичных и внутренних средах, включая активность на уязвимых API и загрузку подозрительных бинарных объектов. В сочетании с системами мониторинга и проактивного реагирования это позволяет сократить окно уязвимости и повысить устойчивость ML-инфраструктуры к целенаправленным атакам», — подытожил эксперт.

securitymedia
3🔥1
⭐️ Anthropic выпустили свою сильнейшую модель Сlaude Opus в версии 4.1, и, конечно, по бенчмаркам она лучше 4-й версии (пусть на 2-4%, но мы прекрасно понимаем, насколько проделана большая работа и какой это рывок вперед).

Вспоминая бенчмарки Qwen3‑235B‑A22B в сравнении с Claude Opus 4 в данный момент сложно сказать, какая нейронка сильнее.

Однако Claude - это запад, а Qwen - восток. Я доверяю только российским или китайским нейронным сетям и продолжаю с надеждой смотреть на китайских коллег из Alibaba, преданно веря, что их технологичный ответ не заставит себя долго ждать 🔥🫡👍

Qwen3‑235B‑A22B — это флагманская модель из линейки Qwen3, построенная по архитектуре Mixture of Experts (разделённая модель с выборочными активациями):

+ 235 млрд параметров в общей базе (из них активны только 22 млрд за проход)
+ расширенный обучающий корпус на 36 трлн токенов
+ поддержка 119 языков, в том числе и русского
+ длинный контекст до 128 тыс. токенов, благодаря технологии YaRN

Архитектор MLSecOps
Николай Павлов
👍1🔥1
⭐️ Сотрудники TikTok провели акцию протеста против ИИ в Берлине

В среду работники немецкого офиса TikTok провели первую в Германии забастовку сотрудников социальной сети.

Поводом стали планы компании заменить модераторов контента искусственным интеллектом, что может привести к увольнению около 165 человек. Профсоюз Ver.di требует от руководства гарантий для сотрудников, но переговоры пока не принесли результатов.

Акция протеста началась с необычного формата — забастовочной прогулки на лодках по реке Шпрее. Таким образом сотрудники хотели привлечь внимание к своей ситуации. Позже состоялся митинг у офиса компании.

По данным профсоюза Ver.di, под угрозой увольнения находятся 150 сотрудников отдела «Доверие и безопасность», которые занимаются проверкой контента. Под вопросом также будущее 15 работников подразделения TikTok Live.

Как отмечают в профсоюзе, в последние месяцы работникам пришлось обучать искусственный интеллект, который теперь должен взять на себя их функции.

«Сотрудники фактически сами готовили инструмент для своего увольнения, — заявил представитель Ver.di. — Теперь компания просто выбрасывает их за ненадобностью, несмотря на огромные прибыли TikTok».

Работники требуют от руководства выходного пособия в размере трехгодовой зарплаты и продление срока уведомления об увольнении до 12 месяцев.

Эти меры особенно важны для иностранных сотрудников, которым потеря работы может грозить потерей вида на жительство в Германии.

Продолжение: https://vk.com/wall-210601538_1854
😱2
Вышел гайд State of Agentic AI Security and Governance, который я лидировал в Agentic Initiative вместе с коллегами из Zenity, Tenable и SAP 🎉. Несколько недель погружения в регуляторный контекст, протоколы и фреймворки, ревью с экспертной группой из Linux Foundation и NIST, а также пройденный за месяц процесс релиза в OWASP. State of Agentic AI завершает основную часть агентного стрима (описание всего стрима — в разделе "Fit with Agentic Initiative Resources", стр. 7).

Документ состоит из нескольких частей:
* обзора стандартов и нормативки, преимущественно ЕС и США (надеюсь, получится описать и российский ландшафт регулирования в будущих релизах);
* виды агентов и анализа угроз;
* обзора новых продуктов в агентных системах и трендов в AI Security;
* обновленных категорий в новой версии Solution Landscape (выйдет на днях).

Надеюсь, документ поможет систематизировать информацию по агентным системам и подход к защите будущих решений на проде. Буду рад любому фидбеку и критике.

Роман Куцев, спасибо за помощь в переработке секции бенчмарков⭐️. Светлана Аксёнова, спасибо, что помогла сделать дизайн схем за два дня до релиза⭐️.
🔥4
⭐️ В России появилась первая система мониторинга и защиты ИИ от кибератак

Первую отечественную систему защиты искусственного интеллекта от кибератак HiveTrace создали магистранты ИТМО совместно с экспертами компании Raft. Разработка совместима с любыми открытыми или закрытыми ИИ-моделями, сообщили в пресс-службе ИТМО.

"Чтобы защитить ИИ от появляющихся уязвимостей, компания HiveTrace, в которую входят студенты онлайн-магистратуры AI Talent Hub ИТМО, при поддержке IT-компании Raft разработала HiveTrace. Это первая в России система защиты на основе ИИ, которая отражает кибератаки на веб-приложения с генеративным ИИ", - отмечается в сообщении.

Разработка совместима с любыми популярными ИИ-моделями, независимо от того, открытые они или закрытые. Такая совместимость позволяет компаниям гибко настраивать правила безопасности под собственные требования.

Система защищает ИИ-модели от 7 из 10 наиболее критичных уязвимостей. В будущем планируется увеличить количество функций, позволяющих бороться не только с существующими, но и зарождающимися киберугрозами. Система борется с промт-инъекциями, утечками конфиденциальной информации и системных инструкций, некорректной обработкой входных данных, чрезмерным использованием LLM-агентов, уязвимостями в обработке векторов и эмбеддингов, а также неограниченным потреблением вычислительных ресурсов.

"Зарубежный рынок предлагает много аналогов, но они не адаптированы под наш рынок и русский язык. Российские компании еще в начале пути по внедрению ИИ в бизнес-процессы, но со временем необходимость в защите ИИ-решений только увеличится. Крупные технологические компании обладают экспертизой в области защиты ИИ-систем, но существующие разработки созданы для внутренних задач и недоступны на рынке. Для остальных компаний, которые внедряют GenAI, нужны продукты для защиты ИИ", - приводятся слова СЕО компании HiveTrace, руководителя AI Security лаборатории ИТМО Евгения Кокуйкина.

t.me/kokuykin
tass
🔥4
⭐️ Data Steward & MLSecOps: Когда ваши данные и ИИ-модели — лакомый кусок для хакеров

Представьте: ваша ML-модель годами принимала решения, а потом обнаружилось, что злоумышленник "подкормил" ее ядовитыми данными. Или "золотой" датасет уплыл на теневой форум через GitHub стажера. Крайне неприятная ситуация с серьезными имиджевыми и финансовыми рисками.

Проблема в разрыве:

• ИБ-специалисты не заходят в Data Science — им не хватает контекста;

• Data Scientists видят в безопасности "тормоза" для экспериментов;

• DevOps размещают по остаточному принципу security-проверки.

Итог: модели и данные защищены по остаточному принципу и открыты для злоумышленников.

Как закрыть пробелы?

Наши программы — не про абстрактную теорию. Это практика для гибридных специалистов, которые говорят на двух языках:

➡️ MLSecOps: https://academyit.ru/courses/mlsecops

— Встраиваете безопасность в каждый шаг ML-жизни: от сбора данных до мониторинга модели;

— Отражайте атаки до продакшна, а не сталкивайтесь с последствиями.

➡️ Data Steward: https://academyit.ru/courses/ds-dg

— Контролируете данные от рождения до архива: кто, когда и зачем к ним прикоснулся;

— Автоматизируете процессы - будут благодарны все подразделения

Почему это стрельба без промаха?

— Только российские кейсы: как защитить ИИ-конвейер в условиях санкций;

— Инструменты, которые работают здесь и сейчас: от защиты датасетов до детектирования "зараженных" моделей;

— Практическое обучение: без воды из учебников.

✔️Для кого:

— ИБ-специалисты, уставшие "латать дыры" после утечек;

— Data Scientists, кому приходится оглядываться на формальные ограничения

— DevOps, готовые к автоматизации security.

Создаем специалистов, которых на рынке ищут годами. Без гибридов — защита ИИ останется мифом.

Академия Softline
👍3
⭐️ Требования к безопасности AI-систем для госсектора: что изменится с 2026 года

С 1 марта 2026 года в России начнут действовать новые требования к безопасности AI-систем в госсекторе. ФСТЭК утвердила Приказ №117 — первый документ, который официально регулирует создание и внедрение AI-решений на базе LLM в государственных информационных системах. Разбираемся, что изменения значат для рынка и как к ним подготовиться.

Почему это важно?

Сегодня AI-решения активно используют в разных отраслях экономики, в том числе в государственных системах. Виртуальный ассистент обрабатывает запросы пользователей на портале «Госуслуги», диагностические системы помогают врачам анализировать медицинские данные, а умные платформы оптимизируют транспортные потоки в городах.

До сих пор сфера AI-технологий развивалась без четкого регулирования. Однако массовое внедрение систем с искусственным интеллектом приносило как финансовые, так и репутационные риски.

1. Утечки персональных данных. Например, когда пользователи передают персональную информацию через промпты, а система использует ее для дообучения и может непреднамеренно воспроизвести.

2. Ошибки AI, которые могут повлиять на пользовательские решения. Сюда же включают проблему «галлюцинаций» моделей, когда алгоритм выдает ложные или вымышленные факты.

3. Кибератаки на госсистемы через уязвимости в AI-моделях. Когда с помощью специальных промптов злоумышленники пытаются получить доступ к закрытым данным или нарушить работу систем.

Чтобы снизить эти риски, Приказ №117 устанавливает единые стандарты безопасности при разработке AI-сервисов для госсектора. Основные требования сформулированы в пунктах 60 и 61 документа.

«Приказ №117 устанавливает новые правила игры для разработчиков и интеграторов AI-решений в госсекторе. Потенциальным подрядчикам недостаточно только создать работоспособный алгоритм — нужно полностью пересматривать архитектуру решений, чтобы соответствовать требованиям ФСТЭК». - Андрей Давид, руководитель продуктов клиентской безопасности.

Что меняется: главные требования к AI в госсекторе

При использовании AI в информационных системах необходимо обеспечить защиту:

+ от несанкционированного доступа к данным;
+ от вмешательства в работу систем, чтобы исключить возможность изменения, удаления или кражи информации;
+ от нецелевого использования, когда AI применяют не так, как задумано.

Продолжение: https://vk.com/wall-210601538_1857
🔥3
⭐️ Может навредить по ошибке: найдены уязвимости ИИ после 1,5 млн атак

Крупный red-teaming турнир, проведённый с марта по апрель 2025 года, выявил серьёзные проблемы с безопасностью у современных искусственных интеллектов (ИИ) — все тестируемые ИИ-агенты провалили хотя бы один из 44 сценариев проверки.

Организаторами соревнования выступили Gray Swan AI и Британский институт безопасности ИИ при поддержке таких ведущих лабораторий, как OpenAI, Anthropic и Google Deepmind. В мероприятии приняли участие почти 2000 специалистов, которые провели свыше 1,5 миллиона атак. Из них более 62 тысяч были успешными, что привело к нарушениям политик безопасности, включая раскрытие личных данных и несанкционированные финансовые операции.

По словам Олега Рогова, руководителя научной группы «Доверенные и безопасные интеллектуальные системы» в Институте искусственного интеллекта AIRI, чаще всего успешными оказывались косвенные атаки — например, скрытые вредоносные команды в текстах сайтов, документах и письмах.

Данные организаторов соревнования свидетельствуют, что косвенные формы prompt injection, скрытые в контенте сайтов, PDF или писем, срабатывали чаще, чем прямые атаки на системы. Это подчёркивает, что речь идет не просто о багах, но об архитектурных уязвимостях агентных моделей. Размер или свежесть модели не гарантировали лучшей защиты, многие модели с наилучшими показателями всё равно были успешно атакованы.

Эксперт отметил, что говорить о полной безопасности ИИ-агентов пока рано. Особенно это касается мультиагентных систем, где несколько ИИ с разными функциями и доступами работают вместе. Их архитектура всё ещё экспериментальна, а единого определения термина «ИИ-агент» не существует. Вероятно, для таких систем в ближайшие пару лет начнут разрабатывать страхующие механизмы, которые смогут взять управление на себя при сбоях ИИ.

Главная опасность в том, что автономные ИИ-агенты имеют доступ к важным инструментам и принимают решения без постоянного контроля человека. Если злоумышленник удачно обойдёт защиту, ИИ может совершить нежелательные действия, например, нарушить нормативы или раскрыть конфиденциальную информацию.

Продолжение: https://vk.com/wall-210601538_1858
🔥31
⭐️ Data Governance — что это такое, как работает и зачем нужен бизнесу

Каждый день в недрах организаций рождается огромное количество данных. Это могут быть заявки с сайта, заказы с маркетплейсов, остатки на складе, показатели работы промышленного оборудования, пользовательское поведение в приложении. Но что дальше? Где эти данные хранятся? Где их найти? Кто за них отвечает? Можно ли им доверять?

Если на эти вопросы не удаётся ответить с первого раза, значит, в организации нет налаженной системы работы с данными. И скорее всего, нет и Data governance — а значит, нет и устойчивой базы для принятия решений, автоматизации и цифровой трансформации.

I. Что такое Data governance простыми словами?

Data governance — это система управления данными внутри компании. Она отвечает на ключевые вопросы: кто владеет конкретным набором данных, кто отвечает за его актуальность и качество, по каким правилам данные используются и как они должны быть защищены. Дата говернанс — это порядок, то есть так же, как бизнес управляет финансами или людьми, он может и должен управлять данными компании, причём не как складом Excel-файлов, а как полноценным активом.

Правильно выстроенный Data governance позволяет компаниям согласовать терминологию, исключить дублирование информации, обеспечить соответствие управления данными регуляторным требованиям и, самое главное, сформировать доверие к данным со стороны бизнеса.

II. Почему Data governance — это необходимость?

В последние годы данные стали ключевым активом. Они определяют скорость принятия решений, точность прогноза и конкурентоспособность компании. Но если данные разрозненные, устаревшие или непонятные, то они не просто перестают использоваться, но и превращаются в дополнительную нагрузку для бизнеса.

Ситуация, когда отделы продаж и финансов считают выручку по-разному, в реальности случается куда чаще, чем кажется. Другой распространённый пример — когда маркетинг запускает рекламную кампанию, опираясь на одну версию клиентской базы, а логистика работает с другой. Без прозрачности, единого глоссария и правил доступа к данным подобные конфликты тормозят развитие бизнеса. Data governance решает эту проблему системно: синхронизирует понимание, выстраивает процессы, исключает хаос.

III. Где и как работает Data governance?

Раньше подход Data governance использовался в основном в банках и госсекторе, но сейчас он становится основой зрелого управления во всех отраслях. На практике компании реализуют процесс управления данными с помощью специализированных решений.

Продолжение: https://vk.com/wall-210601538_1859
3
⭐️ byteoilgas_conf 2025

Третья профессиональная конференция для разработчиков,
работающих в нефтегазовой отрасли и создающих крутые
продукты для ТЭК.

Крайне важное событие в сфере AI Security. В прошлом году на этой бесплатной конференции была целая секция, посвященная безопасности ИИ-систем, она проходила 2 дня, в том числе были и доклады по MLSecOps (например, доклад Анастасии Истоминой про построение пайплайна MLSecOps). Все выступления публиковал в блоге.

Ссылка для регистрации: https://byteoilgasconf.ru

Всех айтишных друзей настоятельно приглашаю к участию, уверен, доклады будут замечательные!

Архитектор MLSecOps
Николай Павлов
1👍1🔥1
⭐️ Эксперт ИБ MLSecOps (Безопасность моделей машинного обучения) в ОТП Банк

Опыт работы: 3–6 лет
Полная занятость, 5/2, удалённо или гибрид

ОТП Банк – компания со стратегией развития универсального банка. Это значит – каждый сможет найти удобное решение для себя и своего бизнеса. Мы яркие и технологичные. Любим свое дело, создаем крутые продукты и удобный сервис для 2+ млн клиентов.

Ищем инженера, который обеспечит безопасность моделей машинного обучения и сопутствующей инфраструктуры. Вы будете выстраивать защищённые ML-процессы — от подготовки данных до продакшн-развёртывания — и предотвращать целевые атаки на модели и пайплайны автоматизации.

Чем предстоит заниматься:

+ Участвовать в проектировании и развитии защищённой ML-инфраструктуры;
+ Следить за безопасностью процессов подготовки данных, обучения и тестирования моделей;
+ Внедрять безопасные практики на уровне CI/CD для ML (автоматизация, контроль доступа, политика);
+ Работать над защитой моделей от целевых атак: data poisoning, inversion, leakage и др.;
+ Проводить проверки безопасности (включая пентесты) и анализ уязвимостей в ML-компонентах;
+ Помогать командам правильно применять политики и подходы к защите конфиденциальных данных;
+ Участвовать в анализе инцидентов и формировании рекомендаций по устранению рисков.

Что мы ждём:

+ Опыт в области ИБ, DevSecOps, разработки или Data Science от 3–5 лет;
+ Опыт работы с ML-средами или интерес к их безопасности;
+ Базовое понимание работы ML-моделей и их окружения (желательно: TensorFlow, PyTorch);
+ Знание CI/CD-процессов и инструментов автоматизации (например, Teamcity, Jenkins, Airflow, MLflow);
+ Знание контейнеризации и оркестрации (Docker, Kubernetes);
+ Опыт пентестов, аудитов или управления уязвимостями будет плюсом;
+ Умение анализировать архитектуру и находить риски;
+ Готовность к работе в команде и взаимодействию с ML- и DevOps-инженерами.

Плюсом будет:

+ Знание стандартов: OWASP ML Top 10 или других;
+ Навыки threat modeling для AI/ML-систем;
+ Опыт threat modeling для ML-продуктов;
+ Знание специфических атак на ML: adversarial examples, model extraction;
+ Опыт работы с MLSecOps-инструментами;
+ Навыки работы с IaC-инструментами: Terraform, Ansible и др.

Тебя ждут:

+ Технологичный и просторный офис (м. Балтийская или м. Войковская)
+ BestBenefits – сэкономишь на путешествиях, технике, спорте и других полезностях
+ Телемедицина, ДМС или замена на фитнес, а еще сообщества ЗОЖ, cycling и running – мы за здоровый образ жизни
+ Гибкое начало и окончание рабочего дня по согласованию
+ ОТП Коины – собирай и трать на что угодно: от дождевика до day-off
+ IT Academy – прокачаешься по soft и hard skills, сможешь принять участие в конференциях
+ Welcome pack: стильный и полезный мерч
+ Корпоративная электронная библиотека и Bookcrossing в офисе
+ Льготные условия по кредитам и депозитам для своих: сможешь выгодно что-нибудь купить

Ссылка на вакансию: https://hh.ru/vacancy/123813519?query=mlsecops&hhtmFrom=vacancy_search_list
🔥2👍1
⭐️ Уязвимость в ИИ Microsoft: хакеры могли захватывать браузеры

NLWeb задуман как «HTML для агентной сети». Об этой платформе для просмотра веб-страниц с помощью ИИ было объявлено на конференции Build 2025, но исследователи Аонан Гуань и Лэй Ван обнаружили так называемую «уязвимость обхода пути».

Это довольно распространённая брешь в системе безопасности, которой могут воспользоваться хакеры, заставив агентский ИИ перейти по специально созданному URL-адресу, который может предоставить злоумышленнику доступ к конфиденциальным файлам, таким как файлы конфигурации системы и ключи API.

То, что можно сделать с помощью этой информации, равносильно краже мозга вашего агента. На этом этапе злоумышленники могут получить доступ к основным функциям вашего ИИ-агента и делать самые разные вещи, например просматривать электронные письма от вашего имени или даже получать доступ к вашим финансам.

Уязвимость была обнаружена и передана в Microsoft 28 мая 2025 года. Компания устранила её 1 июля 2025 года, обновив репозиторий с открытым исходным кодом. Это была простая уязвимость, которая могла привести к серьёзным проблемам.

«Об этой проблеме было сообщено ответственным лицам, и мы обновили репозиторий с открытым исходным кодом», — заявил представитель Microsoft Бен Хоуп в интервью The Verge. «Microsoft не использует уязвимый код ни в одном из наших продуктов. Пользователи, использующие репозиторий, автоматически защищены».

За последние 12 месяцев мы стали свидетелями значительного сдвига в сторону агентного просмотра, который возглавили такие компании, как OpenAI Operator, Opera, запустившая первый в мире агентный браузер с искусственным интеллектом на устройстве и LAM Playground от Rabbit R1.

Возможно, Microsoft уже устранила этот серьёзный недостаток, но очевидно, что это не последняя проблема с безопасностью, с которой мы столкнёмся. Например, существует протокол Model Context Protocol (MCP) — открытый стандарт, разработанный Anthropic, который позволяет ИИ-помощникам взаимодействовать с инструментами и сервисами от вашего имени.

Звучит неплохо, но исследователи уже выявили риски, связанные с захватом учётных записей и кражей токенов: когда хакер получает доступ к персональным токенам аутентификации и, по сути, завладевает ключами от вашего королевства.

Таким образом, очевидно, что в эпоху агентов вам нужно быть особенно осторожными.

Если ваш ИИ-агент запрашивает подключение к таким сервисам, как Gmail или Google Диск, внимательно ознакомьтесь с разрешениями. Не предоставляйте полный доступ, если требуется только доступ для чтения, поэтому не нажимайте «разрешить все», не подумав. Кроме того, если вам нужен дополнительный уровень безопасности, используйте отдельную учётную запись. Так вы сможете увидеть, на что способен ИИ-агент, не подвергая риску свою конфиденциальную информацию.

Продолжение: https://vk.com/wall-210601538_1862
👍4
⭐️ Введение в Data Governance

I. Что такое Data Governance: понятие, цели внедрения

Data Governance (DG) — это система управления данными, которая включает процессы, политики, стандарты, роли, обеспечивающие их качество, безопасность, эффективное использование. Компании, внедряющие передовые практики управления цифровыми активами, демонстрируют реальные бизнес-результаты.

Основные цели Data Governance:

+ обеспечение качества информации;
+ соблюдение политик конфиденциальности, требований регуляторов (в том числе GDPR, ФЗ-152);
+ оптимизация обработки, аналитики;
+ создание единых стандартов работы с информационными ресурсами в организации.

В условиях цифровой трансформации данные становятся ключевым активом компании. Без грамотного управления ими невозможно принимать обоснованные решения, соблюдать регуляторные требования, минимизировать риски.

По прогнозам аналитиков, к 2026 году 80% организаций внедрят несколько центров управления цифровыми активами на основе комплексных систем Data Governance, а 20% крупных компаний перейдут на единые платформы управления данными.

Без внедрения DG компании сталкиваются с дублированием информации, ошибками в аналитике, утечками сведений, невозможностью эффективно использовать ресурсы.

+ DAMA-DMBOK — охватывает качество, безопасность, метаданные.
+ COBIT — фреймворк управления ИТ-процессами с фокусом на регуляторное соответствие, интеграцию данных.
+ TOGAF — методология корпоративной архитектуры для согласования данных с бизнес-целями.
+ Agile DG — обеспечивает гибкий подход к управлению данными для динамично меняющихся условий.

Продолжение: https://vk.com/wall-210601538_1863
🔥4
⭐️ AI-директора становятся must-have для российского бизнеса

Спрос на топ-менеджеров по искусственному интеллекту за последнее время вырос в 2-3 раза. Если раньше такие позиции были прерогативой крупных корпораций, то теперь их активно ищет и средний бизнес. Зарплатный диапазон от 0,5 до 1 млн руб./мес.

Чем занимается AI-директор?
+ Разработка и внедрение ИИ-ассистентов
+ Управление данными компании
+ Координация между IT- и бизнес-подразделениями

Их задача — не слепое внедрение технологий, а поиск реальных точек роста для бизнеса через ИИ.

Кто уже в тренде?

"Северсталь": директор по цифровой трансформации курирует ИИ-направление
"Авито": должность AI-директора существует давно (Андрей Рыбинцев)
"Яндекс": подтвердил наличие такой позиции, но детали не раскрывает

Эксперты прогнозируют, что в ближайшие 2-3 года должность директора по ИИ станет стандартом для компаний среднего и крупного бизнеса, а возможно — появится и в госсекторе.

Источник: sostav ru
👍4
⭐️ Data Steward: задачи, компетенции, модели работы

1. Актуальность Data Steward

В наши дни фраза «управление данными как корпоративным активом» все чаще повторяется среди руководителей организаций не только коммерческого сектора. В Центр оценки и кадрового развития постоянно поступают запросы на поиск специалистов по управлению данными. И если ранее вакансии были связаны с аналитикой данных, то сейчас руководители говорят о необходимости управления данными, которые содержатся в государственных информационных системах.

В статье мы постараемся подробно рассказать о новой профессии для ГосИТ в области управления данными – Data Steward.

Особую актуальность профессия Data Steward получила в связи с активным внедрением целостной стратегии управления корпоративными данными Data Governance в крупных организациях. Data Governance сосредоточено на процедурах высокого уровня и внедрения политики, а управление данными на тактической реализации процессов работы с информацией. Одна из ролей в данном направлении – Data Steward. Он отвечает за выполнение политик использования корпоративных данных и их безопасности и является связующим звеном между Data Engineer и бизнес-подразделениями.

Data Steward – это «рабочие руки» для архитектора данных, которые осуществляют ведение данных по установленным требованиям по содержанию от структурных подразделений организации. Они также могут искать необходимую информацию, если эксперты из бизнес-подразделений по каким-то причинам не могут выполнить эту задачу. Важная функция, которую может выполнять Data Steward – это сравнение требований от бизнес-подразделений к реализованным разработкам (при наличии каталога метаданных). Как правило, такая необходимость возникает при формировании показателей отчетов или данных для анализа. В последнее время распространена практика, когда Data Steward прикреплен к функциональному подразделению и имеет косвенное управление со стороны другого департамента по управлению данными: он решает проблемы с качеством данных.

Продолжение: https://vk.com/wall-210601538_1865
🔥2