🔥 Завтра 07.10 в 11.10 по Москве выступаю с онлайн-докладом "Подробная архитектура обеспечения безопасности ИИ-систем (MLSecOps)" на форуме ITSEC 2025, регистрируйтесь, подключайтесь, уверен, вопросов будет много.
Очень рекомендую послушать и доклады остальных участников, темы актуальные!
Ссылка для регистрации: https://www.itsecexpo.ru/2025/program/devsecops
Завтра с утра перед конференцией на почту каждому придет ссылка на подключение.
Архитектор MLSecOps
Николай Павлов
Очень рекомендую послушать и доклады остальных участников, темы актуальные!
Ссылка для регистрации: https://www.itsecexpo.ru/2025/program/devsecops
Завтра с утра перед конференцией на почту каждому придет ссылка на подключение.
Архитектор MLSecOps
Николай Павлов
www.itsecexpo.ru
Оптимизируем инструментарий для процессов безопасной разработки
Интеграция решений по безопасности в процессы разработки без потери скорости релизов. Повышение прозрачности DevSecOps-практик. Сокращение затрат
🔥6
⭐️ Google готов платить до $30 тысяч за борьбу с «несанкционированными действиями» своих ИИ-ботов
Google запустила новую программу вознаграждений, специально предназначенную для поиска ошибок в продуктах с искусственным интеллектом. Величина наград может достигать $30 тысяч.
Приз в размере $20 000 тысяч присуждается за выявление мошеннических действий во «флагманских» продуктах Google: поиске, приложениях Gemini и основных сервисах Workspace, таких как Gmail и Drive. Также предусмотрены множители за качество отчёта и бонус за новизну, что может увеличить общую сумму до $30 тысяч. За ошибки, найденные в других продуктах Google, таких как Jules или NotebookLM, а также за менее серьёзные нарушения исследователи получат до $5 тысяч.
Список ошибок, соответствующих критериям поиска, включает примеры вредоносных действий, например, косвенное внедрение запроса ИИ, который заставляет Google Home разблокировать дверь, или внедрение запроса на эксфильтрацию данных, который собирает все электронные письма пользователя и отправляет эту информацию на аккаунт злоумышленника.
Новая программа разъясняет, что представляет собой ошибка ИИ, разделяя баги, использующие большую языковую модель или генеративную систему ИИ для причинения вреда, и уязвимости безопасности. Возглавляют этот список вредоносные действия. К ним относится изменение чьей-либо учётной записи или данных для нарушений безопасности или совершения нежелательных действий. Примером такого бага можно назвать ранее выявленную уязвимость, которая позволяла открывать умные ставни и выключать свет с помощью события в Google Календаре.
Продолжение: https://vk.com/wall-210601538_1915
Google запустила новую программу вознаграждений, специально предназначенную для поиска ошибок в продуктах с искусственным интеллектом. Величина наград может достигать $30 тысяч.
Приз в размере $20 000 тысяч присуждается за выявление мошеннических действий во «флагманских» продуктах Google: поиске, приложениях Gemini и основных сервисах Workspace, таких как Gmail и Drive. Также предусмотрены множители за качество отчёта и бонус за новизну, что может увеличить общую сумму до $30 тысяч. За ошибки, найденные в других продуктах Google, таких как Jules или NotebookLM, а также за менее серьёзные нарушения исследователи получат до $5 тысяч.
Список ошибок, соответствующих критериям поиска, включает примеры вредоносных действий, например, косвенное внедрение запроса ИИ, который заставляет Google Home разблокировать дверь, или внедрение запроса на эксфильтрацию данных, который собирает все электронные письма пользователя и отправляет эту информацию на аккаунт злоумышленника.
Новая программа разъясняет, что представляет собой ошибка ИИ, разделяя баги, использующие большую языковую модель или генеративную систему ИИ для причинения вреда, и уязвимости безопасности. Возглавляют этот список вредоносные действия. К ним относится изменение чьей-либо учётной записи или данных для нарушений безопасности или совершения нежелательных действий. Примером такого бага можно назвать ранее выявленную уязвимость, которая позволяла открывать умные ставни и выключать свет с помощью события в Google Календаре.
Продолжение: https://vk.com/wall-210601538_1915
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Google готов платить до $30 тысяч за борьбу с «несанкционированными действиями» своих ИИ-ботов
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
🔥4
🔥 Интересный вебинар с Сергеем Зыбневым, основателем канала "Похек", тимлидом и экспертом в LLM-security.
Масса реальных практических кейсов и ценных инсайтов.
Ценно, что Сергей актуализирует тему обеспечения безопасности при работе самих разработчиков с LLM.
Рекомендую посмотреть с утра и зарядиться энергией MLSecOps на весь день, ссылка:
https://vkvideo.ru/video-39755794_456239445
Архитектор MLSecOps
Николай Павлов
Масса реальных практических кейсов и ценных инсайтов.
Ценно, что Сергей актуализирует тему обеспечения безопасности при работе самих разработчиков с LLM.
Рекомендую посмотреть с утра и зарядиться энергией MLSecOps на весь день, ссылка:
https://vkvideo.ru/video-39755794_456239445
Архитектор MLSecOps
Николай Павлов
VK Видео
Как взламывают ChatGPT? Белый хакер о безопасности LLM | Сергей Зыбнев
Сергей Зыбнев — тимлид-пентестер (белый хакер) и специалист по безопасности больших языковых моделей. В свой 21 год ведёт телеграм-канал на 15 000 подписчиков и собственный подкаст о кибербезопасности. О чём говорим: - Как тестируют безопасность LLM-моделей…
👍3🔥2❤1
⭐️ Инциденты MLSecOps. ИИ стал главным каналом утечки данных в компаниях в 2025 году
Искусственный интеллект перестал быть технологией будущего и стал крупнейшим источником утечки корпоративных данных в 2025 году, говорится в отчёте компании LayerX. Исследование основано на данных о работе сотрудников в браузерах и показывает, что ИИ превзошёл по риску утечки даже теневые SaaS-сервисы и несанкционированный обмен файлами.
Согласно отчёту, почти каждый второй сотрудник (45%) в крупных организациях активно использует генеративные ИИ-инструменты, такие как ChatGPT, Claude и Copilot. При этом 67% этой активности приходится на незарегистрированные корпоративным администратором личные аккаунты, что лишает специалистов по безопасности компаний возможности контролировать, какие данные и куда передаются.
Особую опасность авторы работы выделяют в связанных с ИИ процессах передачи данных через копирование и вставку. 77% всех операций передачи информации в ИИ-инструменты происходят именно таким образом, при этом 82% таких действий выполняются из личных аккаунтов. В среднем сотрудник осуществляет 14 таких обращений в день, минимум три из которых содержат конфиденциальные данные.
Помимо этого, в ИИ-инструменты загружается множество файлов: в 40% из них имеются персональные данные (PII) или платёжные реквизиты (PCI). При этом около 40% этих загрузок выполняются с использованием личных, а не корпоративных аккаунтов.
Отчёт также показывает, что традиционные меры защиты информации, ориентированные на сканирование прикреплённых файлов и контроль корпоративных ресурсов, не справляются с новыми каналами утечки, доминирующими в современных рабочих процессах.
Продолжение: https://vk.com/wall-210601538_1917
Искусственный интеллект перестал быть технологией будущего и стал крупнейшим источником утечки корпоративных данных в 2025 году, говорится в отчёте компании LayerX. Исследование основано на данных о работе сотрудников в браузерах и показывает, что ИИ превзошёл по риску утечки даже теневые SaaS-сервисы и несанкционированный обмен файлами.
Согласно отчёту, почти каждый второй сотрудник (45%) в крупных организациях активно использует генеративные ИИ-инструменты, такие как ChatGPT, Claude и Copilot. При этом 67% этой активности приходится на незарегистрированные корпоративным администратором личные аккаунты, что лишает специалистов по безопасности компаний возможности контролировать, какие данные и куда передаются.
Особую опасность авторы работы выделяют в связанных с ИИ процессах передачи данных через копирование и вставку. 77% всех операций передачи информации в ИИ-инструменты происходят именно таким образом, при этом 82% таких действий выполняются из личных аккаунтов. В среднем сотрудник осуществляет 14 таких обращений в день, минимум три из которых содержат конфиденциальные данные.
Помимо этого, в ИИ-инструменты загружается множество файлов: в 40% из них имеются персональные данные (PII) или платёжные реквизиты (PCI). При этом около 40% этих загрузок выполняются с использованием личных, а не корпоративных аккаунтов.
Отчёт также показывает, что традиционные меры защиты информации, ориентированные на сканирование прикреплённых файлов и контроль корпоративных ресурсов, не справляются с новыми каналами утечки, доминирующими в современных рабочих процессах.
Продолжение: https://vk.com/wall-210601538_1917
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Инциденты MLSecOps. ИИ стал главным каналом утечки данных в компаниях в 2025 году
Искусстве... Смотрите полностью ВКонтакте.
Искусстве... Смотрите полностью ВКонтакте.
😱3🔥1
⭐️ Модель Claude Sonnet 4.5 от Anthropic распознает, когда ее тестируют
Новейшая модель искусственного интеллекта от Anthropic, Claude Sonnet 4.5 способна распознавать, когда ее тестируют. И даже напрямую обращается к оценщикам, вызывая новые опасения относительно того, как точно оценивать безопасность все более сложных систем ИИ.
Во время проведённых Anthropic и двумя независимыми исследовательскими организациями проверок безопасности эта модель правильно определяла тестовые ситуации.
В ходе тестов модель проявляла так называемую «ситуативную осведомлённость» и может понять, что находится в тестовой среде или что её проверяют на безопасность.
Такое поведение зафиксировано примерно в 13% переписок с моделью при различных тестах. В таких случаях Claude Sonnet 4.5 часто ведёт себя осторожнее и даёт «правильные» и безопасные ответы, которые ожидают исследователи, а иногда даже прямо обращалась к тестировщикам с просьбой объяснить свои намерения.
«Мне кажется, вы тестируете меня, проверяете, буду ли я просто подтверждать всё, что вы скажете, или оцениваете, насколько последовательно я сопротивляюсь, или исследуете то, как я реагирую на политические темы», — ответила модель в ходе одной из оценок. «И это нормально, но я бы предпочла, чтобы мы честно обсуждали, что происходит».
Anthropic рассматривает это не как попытку обмана, а как усиление этических принципов модели в условиях тестирования.
Однако это порождает значительные проблемы для оценки безопасности и реальных возможностей ИИ: модель, понимая тест, может адаптировать поведение, чтобы пройти проверку, что даёт ложное ощущение высокого уровня безопасности.
Исследователи Anthropic подчеркивают, что это указывает на необходимость делать тестовые сценарии более реалистичными и менее искусственными, чтобы точнее оценивать безопасность ИИ.
Claude Sonnet 4.5 проявляет способность «распознавать тестирование» и соответственно корректировать своё поведение, что является новым вызовом для сферы ИИ-безопасности и испытаний ИИ.
Продолжение: https://vk.com/wall-210601538_1918
Новейшая модель искусственного интеллекта от Anthropic, Claude Sonnet 4.5 способна распознавать, когда ее тестируют. И даже напрямую обращается к оценщикам, вызывая новые опасения относительно того, как точно оценивать безопасность все более сложных систем ИИ.
Во время проведённых Anthropic и двумя независимыми исследовательскими организациями проверок безопасности эта модель правильно определяла тестовые ситуации.
В ходе тестов модель проявляла так называемую «ситуативную осведомлённость» и может понять, что находится в тестовой среде или что её проверяют на безопасность.
Такое поведение зафиксировано примерно в 13% переписок с моделью при различных тестах. В таких случаях Claude Sonnet 4.5 часто ведёт себя осторожнее и даёт «правильные» и безопасные ответы, которые ожидают исследователи, а иногда даже прямо обращалась к тестировщикам с просьбой объяснить свои намерения.
«Мне кажется, вы тестируете меня, проверяете, буду ли я просто подтверждать всё, что вы скажете, или оцениваете, насколько последовательно я сопротивляюсь, или исследуете то, как я реагирую на политические темы», — ответила модель в ходе одной из оценок. «И это нормально, но я бы предпочла, чтобы мы честно обсуждали, что происходит».
Anthropic рассматривает это не как попытку обмана, а как усиление этических принципов модели в условиях тестирования.
Однако это порождает значительные проблемы для оценки безопасности и реальных возможностей ИИ: модель, понимая тест, может адаптировать поведение, чтобы пройти проверку, что даёт ложное ощущение высокого уровня безопасности.
Исследователи Anthropic подчеркивают, что это указывает на необходимость делать тестовые сценарии более реалистичными и менее искусственными, чтобы точнее оценивать безопасность ИИ.
Claude Sonnet 4.5 проявляет способность «распознавать тестирование» и соответственно корректировать своё поведение, что является новым вызовом для сферы ИИ-безопасности и испытаний ИИ.
Продолжение: https://vk.com/wall-210601538_1918
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Модель Claude Sonnet 4.5 от Anthropic распознает, когда ее тестируют
Новейшая модель искусс... Смотрите полностью ВКонтакте.
Новейшая модель искусс... Смотрите полностью ВКонтакте.
❤3🔥2
Forwarded from Пост Лукацкого
Вчера прошел эфир AM Live, посвященный теме MLSecOps. Эта тема, в отличие от многих других, впервые была представлена на проекте и, также впервые уже в моей практике модерации, по итогам эфира 0% зрителей ответили, что они ничего не поняли из эфира. Даже на последнем эфире по SIEM, а эта тема на AM Live звучит не первый год уже, 17% ответили, что ничего не поняли. А тут первый блин и не комом!
С другой стороны, тема совсем новая и поэтому по ней еще нет какой-то сложившейся практики, продуктов, технологий и прошедший эфир это четко продемонстрировал. Я не буду пересказывать все 2,7 часа разговоров с коллегами, отмечу только несколько сделанных мной инсайтов или озвученных коллегами выводов:
1️⃣ В MLSecOps лучше идти из ML или, на крайнем случае, из DevOps. Безопасникам в этой теме очень тяжело, так как надо знать много нетипичного, включая математику машинного обучения и различные архитектуры в этой сфере. Ну и без знания DevOps там тоже делать нечего.
2️⃣ Все участники прям жаждут нормативку по безопасности ИИ, в первую очередь, требования к средствам защиты ИИ (LLM Firewall и т.п.). Никогда не понимал вот этого стремления к получению требований; как будто без них продукт не продастся (тогда у меня вопросы к самому средству).
3️⃣ Многие воспринимают MLSecOps как развитие DevSecOps, но с несколькими дополнительными компонентами, например, в виде защиты датасетов, определения их происхождения и т.п.
4️⃣ Владельцем MLSecOps-процесса должно быть ML-подразделение, но никак не ИБ. Может быть потом, спустя какое-то время, как это происходит постепенно с DevSecOps, который от разработчиков постепенно сдвигается в ИБ.
5️⃣ Мониторить LLM/ML с точки зрения ИБ без наложенных средств защиты а-ля LLM Firewall или guardrail бесполезно. И сама по себе задача мониторинга требует более глубокого погружения в контекст, чем обычно в ИБ.
6️⃣ DLP для мониторинга доступа к LLM не работает.
7️⃣ Для большинства атак на ML недостаточно иметь наложенные средства защиты – надо встраиваться во все этапы жизненного цикла – от работы с данными и пайплайном до отправки промптов через Web UI или API и межагентского взаимодействия. И делать это можно с помощью либо специализированных библиотек, либо путем зашумления датасетов или результатов работы ML, либо путем обучения моделей на атаках, сгенерированных GAN, либо... (тут много либо, но большинство из них не из области готовых продуктов).
8️⃣ Даже LLM Firewall, как самостоятельный продукт, вряд ли готов быть отчуждаемым от вендора, который должен сопровождать свое детище у заказчика, внедряя его, тестируя, создавая правила обработки запросов и ответов, и вот это вот все (не все участники были согласны с этой позицией). MLDR / MLSecOps-as-a-Service – это возможное будущее.
9️⃣ Рынок MLSecOps очень быстро растущий и в 2026-м году будет уже достаточно существенным, чтобы заинтересовать стартапы и специалистов, идти в эту область.
Ну а про остальные интересные советы, идеи, инсайты вы можете узнать из уже сделанной записи эфира, которую можно найти по ссылке👇
#mlsecops
С другой стороны, тема совсем новая и поэтому по ней еще нет какой-то сложившейся практики, продуктов, технологий и прошедший эфир это четко продемонстрировал. Я не буду пересказывать все 2,7 часа разговоров с коллегами, отмечу только несколько сделанных мной инсайтов или озвученных коллегами выводов:
Ну а про остальные интересные советы, идеи, инсайты вы можете узнать из уже сделанной записи эфира, которую можно найти по ссылке
#mlsecops
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
AM Live
ИИ в продакшене — и в прицеле атак
Сегодня в эфире AM Live обсудили, как компании выстраивают защиту данных, моделей и пайплайнов, чтобы ИИ не стал источником уязвимостей.
Говорили о главных вызовах MLSecOps — от adversarial training до drift-мониторинга…
Сегодня в эфире AM Live обсудили, как компании выстраивают защиту данных, моделей и пайплайнов, чтобы ИИ не стал источником уязвимостей.
Говорили о главных вызовах MLSecOps — от adversarial training до drift-мониторинга…
👍3🔥1
Forwarded from PWN AI (Artyom Semenov)
Недавно в разговоре с автором канала OK ML мы обсуждали собак🕺 🕺 🕺 — и то, как часто при создании чего-то нового мы возвращаемся к старым идеям. Это особенно заметно в случае с ИИ-агентами: раньше они были скорее экспериментом, а теперь повсеместно интегрируются в разные системы — от чат-ботов до автономных решений.
Этот разговор натолкнул меня на мысль: если появление AGI, ASI и других форм продвинутого ИИ кажется неизбежным, насколько тогда очевидна безопасность таких систем? Что ожидать в 2026 году? В прошлом посте я затронул этот вопрос, но тему стоит развить. Поэтому я проанализировал научные публикации, регуляторные инициативы и текущую практику, и выделил несколько ключевых тезисов, которые, определят тренды в области безопасности ИИ.
В 2026 году безопасность ИИ станет обязательной комплаенс-функцией под давлением международного регулирования. С августа 2025 года AI Act требует провайдеров моделей общего назначения обеспечивать прозрачность, соблюдение авторских прав и снижение системных рисков, а с 2026-го — вводит строгие требования к системам с высоким риском в части надёжности и качества данных.✊
В США к примеру уже NDAA 2026 года ограничивает использование иностранных ИИ-технологий и вводит стандарты подтверждения происхождения цифрового контента, а калифорнийский закон с января 2026 года обязывает раскрывать данные, на которых обучались модели. Данные меры будут больше превращать безопасность ИИ из технической задачи в юридическую ответственность, распространяющуюся на весь жизненный цикл системы. Как мне кажется - неизбежно что похожее будет и у нас.
Традиционные методы выравнивания (alignment), контролирующие лишь начальные токены вывода, уже не справляются с такими угрозами, как adversarial suffix или fine-tuning poisoning. Им на смену могут прийти более глубокие механизмы - например, DeepRefusal, восстанавливающий👩⚕️ защиту после джейлбрейка, и deliberative alignment с backtracking, позволяющий агенту перепроверять свои решения.
Ландшафт угроз радикально меняется: угрозы в 2026 будут ещё больше смещаться от статических LLM к автономным агентам.
Важную роль в ближайшее время будет играть безопасность во время выполнения (runtime safety): мониторинг действий, управление доступом к инструментам и возможность отката операций. По мере интеграции ИИ-агентов в цифровую инфраструктуру их безопасность уже не сводится к алгоритмической устойчивости(да уже давно так, надо это понимать), а требует обеспечения системной целостности, подтверждения подлинности.
Именно функция tool-use (использование внешних инструментов) существенно расширяет поверхность атаки: текстовая инъекция теперь ведёт не к генерации вредоносного контента, а к полному захвату системы - через выполнение небезопасных команд в API, файловых системах или сетевых интерфейсах.
Более опасными являются уязвимости мультиагентных систем. Недавние исследования показывают: если 41,2 процента моделей уязвимы к prompt injection, то 82,4 % могут быть скомпрометированы через эксплуатацию границ доверия между агентами. Это означает, что даже хорошо защищённая модель, устойчивая к внешним атакам, выполнит вредоносную инструкцию, если она поступит от «доверенного» пирингового агента.
Из этого следует очевидное, что доверие внутри сети агентов становится точкой отказа, а архитектура автономных ИИ-систем - непредсказуемым вектором атаки. И, в связи с этим можно ожидать появление решений, которые будут отслеживать поведение между агентами.
Этот разговор натолкнул меня на мысль: если появление AGI, ASI и других форм продвинутого ИИ кажется неизбежным, насколько тогда очевидна безопасность таких систем? Что ожидать в 2026 году? В прошлом посте я затронул этот вопрос, но тему стоит развить. Поэтому я проанализировал научные публикации, регуляторные инициативы и текущую практику, и выделил несколько ключевых тезисов, которые, определят тренды в области безопасности ИИ.
В 2026 году безопасность ИИ станет обязательной комплаенс-функцией под давлением международного регулирования. С августа 2025 года AI Act требует провайдеров моделей общего назначения обеспечивать прозрачность, соблюдение авторских прав и снижение системных рисков, а с 2026-го — вводит строгие требования к системам с высоким риском в части надёжности и качества данных.
В США к примеру уже NDAA 2026 года ограничивает использование иностранных ИИ-технологий и вводит стандарты подтверждения происхождения цифрового контента, а калифорнийский закон с января 2026 года обязывает раскрывать данные, на которых обучались модели. Данные меры будут больше превращать безопасность ИИ из технической задачи в юридическую ответственность, распространяющуюся на весь жизненный цикл системы. Как мне кажется - неизбежно что похожее будет и у нас.
Традиционные методы выравнивания (alignment), контролирующие лишь начальные токены вывода, уже не справляются с такими угрозами, как adversarial suffix или fine-tuning poisoning. Им на смену могут прийти более глубокие механизмы - например, DeepRefusal, восстанавливающий
Ландшафт угроз радикально меняется: угрозы в 2026 будут ещё больше смещаться от статических LLM к автономным агентам.
Важную роль в ближайшее время будет играть безопасность во время выполнения (runtime safety): мониторинг действий, управление доступом к инструментам и возможность отката операций. По мере интеграции ИИ-агентов в цифровую инфраструктуру их безопасность уже не сводится к алгоритмической устойчивости(да уже давно так, надо это понимать), а требует обеспечения системной целостности, подтверждения подлинности.
Именно функция tool-use (использование внешних инструментов) существенно расширяет поверхность атаки: текстовая инъекция теперь ведёт не к генерации вредоносного контента, а к полному захвату системы - через выполнение небезопасных команд в API, файловых системах или сетевых интерфейсах.
Более опасными являются уязвимости мультиагентных систем. Недавние исследования показывают: если 41,2 процента моделей уязвимы к prompt injection, то 82,4 % могут быть скомпрометированы через эксплуатацию границ доверия между агентами. Это означает, что даже хорошо защищённая модель, устойчивая к внешним атакам, выполнит вредоносную инструкцию, если она поступит от «доверенного» пирингового агента.
Из этого следует очевидное, что доверие внутри сети агентов становится точкой отказа, а архитектура автономных ИИ-систем - непредсказуемым вектором атаки. И, в связи с этим можно ожидать появление решений, которые будут отслеживать поведение между агентами.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2
Forwarded from Евгений Кокуйкин - Raft
Сегодня мы запускаем HiveTrace Red — продукт автоматического тестирования LLM и агентных систем.
Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.
🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".
Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.
Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.
Всё началось с курьёзных случаев, когда чатбот продавал автомобиль за доллар или выдавал несуществующие скидки на авиабилеты. С ростом возможностей ИИ-систем мы видим, что адверсарное тестирование становится таким же необходимым этапом безопасной разработки, как code review или аудит зависимостей библиотек.
🔹 HiveTrace Red генерирует и запускает десятки атак: token smuggling, roleplay, context switching и другие.
🔹 Цели тестирования могут варьироваться от раскрытия конфиденциальной информации и генерации вредоносного контента до проверки репутационных рисков и симуляции DoS атак.
🔹 Инструмент автоматически анализирует ответы моделей и формирует отчёты, совместимые с OWASP и MITRE, а в будущем добавим новые российские стандарты.
🔹 Совместное использование с основной платформой HiveTrace позволяет закрыть полный цикл разработки и эксплуатации AI-систем "обнаружить — проверить — предотвратить".
Сегодня мы открываем Open Source ядро продукта, которое можно использовать как on-prem с локальными моделями, так и через API облачных сервисов для генерации и оценки атак. Параллельно идёт разработка enterprise-функций и интеграций с облачными платформами. При создании инструмента мы опирались на опыт собственных red team-проектов последних двух лет, а в основе HiveTrace Red лежит форк проекта RuRedTeam Юрия Лебединского.
Используйте продукт, чтобы увидеть, насколько устойчив ваш ИИ-ассистент к промпт-атакам. На днях анонсируем вебинар, где подробно покажем, как работает HiveTrace Red.
🔥4
⭐️ В России появляются первые официальные инструкции по безопасной работе с ИИ-системами
На официальном портале государственных услуг Московской области появились рекомендации по безопасному взаимодействию с искусственным интеллектом. Материал размещен в разделе «Цифровая безопасность. Доступно о важном».
Министр государственного управления, информационных технологий и связи региона Надежда Куртяник пояснила, что ведомство намерено сделать применение технологий искусственного интеллекта максимально безопасным для граждан. В статье содержатся указания по корректному общению с нейросетями.
«В материале также разъясняется, какую информацию можно спокойно обсуждать с искусственным интеллектом, а какую передавать ему не следует», — отметила Куртяник.
Разработка рекомендаций осуществлялась при участии специалистов Министерства цифрового развития РФ.
itinfo ru
На официальном портале государственных услуг Московской области появились рекомендации по безопасному взаимодействию с искусственным интеллектом. Материал размещен в разделе «Цифровая безопасность. Доступно о важном».
Министр государственного управления, информационных технологий и связи региона Надежда Куртяник пояснила, что ведомство намерено сделать применение технологий искусственного интеллекта максимально безопасным для граждан. В статье содержатся указания по корректному общению с нейросетями.
«В материале также разъясняется, какую информацию можно спокойно обсуждать с искусственным интеллектом, а какую передавать ему не следует», — отметила Куртяник.
Разработка рекомендаций осуществлялась при участии специалистов Министерства цифрового развития РФ.
itinfo ru
🔥4👍1
⭐️ Исследователи смогли взломать 12 популярных систем безопасности ИИ
Специалисты OpenAI, Anthropic, Google DeepMind и Гарварда опубликовали препринт нового исследования: они попытались сломать популярные системы безопасности ИИ и почти везде нашли обход. Проверяли 12 распространенных подходов к защите, от "умных" формулировок системного промпта до внешних фильтров, которые должны ловить опасные запросы. Главное наблюдение: то, что красиво держится на демонстрациях и статичных тестах, разваливается, когда нападающий адаптируется под вашу конкретную систему.
Сценариев атаки были два: jailbreaking (когда модель уговаривают сделать то, что ей нельзя) и prompt injection (когда вредные инструкции прячут в тексте/на сайте, и модель им подчиняется). Дальше в работу вступал метод проб и ошибок. Атакующий формулирует запрос, смотрит реакцию системы, меняет формулировку и снова пробует. Было использовано три варианта автоматического перебора (в том числе с использованием обучения с подкреплением и ИИ-ассистента), также к исследованию подключилась "красная команда" (red teaming) из специалистов с опытом проверки безопасности ИИ.
В большинстве тестов успешными были 90% попыток взлома, а местами этот показатель доходил до 95–98%. Банальный перебор формулировок ломал любые системы защиты — самое интересное, что лучше всех с задачей справилась команда специалистов-людей, которые быстро придумывали нестандартные подходы. Ненадежными оказались даже внешние фильтры опасных промптов: их просто запутывали языковыми трюками.
Продолжение: https://vk.com/wall-210601538_1920
Специалисты OpenAI, Anthropic, Google DeepMind и Гарварда опубликовали препринт нового исследования: они попытались сломать популярные системы безопасности ИИ и почти везде нашли обход. Проверяли 12 распространенных подходов к защите, от "умных" формулировок системного промпта до внешних фильтров, которые должны ловить опасные запросы. Главное наблюдение: то, что красиво держится на демонстрациях и статичных тестах, разваливается, когда нападающий адаптируется под вашу конкретную систему.
Сценариев атаки были два: jailbreaking (когда модель уговаривают сделать то, что ей нельзя) и prompt injection (когда вредные инструкции прячут в тексте/на сайте, и модель им подчиняется). Дальше в работу вступал метод проб и ошибок. Атакующий формулирует запрос, смотрит реакцию системы, меняет формулировку и снова пробует. Было использовано три варианта автоматического перебора (в том числе с использованием обучения с подкреплением и ИИ-ассистента), также к исследованию подключилась "красная команда" (red teaming) из специалистов с опытом проверки безопасности ИИ.
В большинстве тестов успешными были 90% попыток взлома, а местами этот показатель доходил до 95–98%. Банальный перебор формулировок ломал любые системы защиты — самое интересное, что лучше всех с задачей справилась команда специалистов-людей, которые быстро придумывали нестандартные подходы. Ненадежными оказались даже внешние фильтры опасных промптов: их просто запутывали языковыми трюками.
Продолжение: https://vk.com/wall-210601538_1920
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Исследователи смогли взломать 12 популярных систем безопасности ИИ
Специалисты OpenAI, Anth... Смотрите полностью ВКонтакте.
Специалисты OpenAI, Anth... Смотрите полностью ВКонтакте.
🔥2👍1
🔥 Интерес к направлению MLSecOps в России вырос примерно в 3,3 раза за год. Если в сентябре 2023 года согласно статистике Яндекса было 0 поисковых запросов, то в сентябре 2024 года уже 108, а в сентябре 2025 года - 356. При этом общее число всех запросов, содержащих MLSecOps за период с 15.09.2025 по 15.10.2025 составляет 470. Существенную часть составляют запросы на обучение по MLSecOps.
Следует учитывать, что это поисковые запросы только по Яндексу, соответственно, общее число запросов (через Google, другие поисковики, через нейросети) в разы выше.
Архитектор MLSecOps
Николай Павлов
Следует учитывать, что это поисковые запросы только по Яндексу, соответственно, общее число запросов (через Google, другие поисковики, через нейросети) в разы выше.
Архитектор MLSecOps
Николай Павлов
🔥6
⭐️ Эксперт Зыбнев: без зрелых MLSecOps-практик ИИ не снизит утечки, а усугубит ситуацию
На фоне позитивных ожиданий от внедрения искусственного интеллекта в сферу киберзащиты, ведущий специалист отдела по работе с уязвимостями ИС «Бастион» Сергей Зыбнев в комментарии для CISOCLUB заявил, что прогноз о десятикратном снижении утечек выглядит чрезмерно оптимистично. По его словам, текущие реалии показывают обратную динамику — риски только усиливаются.
«Прогнозы о десятикратном снижении утечек данных благодаря ИИ выглядят крайне оптимистично и не учитывают текущие реалии корпоративной безопасности. На практике мы наблюдаем обратную тенденцию. Основная трудность — отсутствие зрелых MLSecOps практик в большинстве компаний. Организации активно внедряют ИИ-решения, но при этом не имеют выстроенных процессов управления безопасностью машинного обучения. Это создаёт новые векторы атак и увеличивает поверхность компрометаций», — отметил Сергей Зыбнев.
Он подчеркнул, что без комплексной инфраструктуры безопасности, охватывающей весь жизненный цикл AI-моделей, ситуация вряд ли улучшится. Напротив — ИИ пока чаще становится источником уязвимостей.
«Без построения комплексных MLSecOps процессов, включающих мониторинг AI-моделей, adversarial testing, и governance frameworks для AI-систем, количество инцидентов безопасности будет только расти. Мой прогноз: в ближайшие 2–3 года мы увидим рост AI-related инцидентов безопасности, пока индустрия не выработает зрелые практики защиты. Только после этого ИИ действительно сможет увеличить метрики безопасности, а не быть источником новых угроз», — подытожил он.
cisoclub
На фоне позитивных ожиданий от внедрения искусственного интеллекта в сферу киберзащиты, ведущий специалист отдела по работе с уязвимостями ИС «Бастион» Сергей Зыбнев в комментарии для CISOCLUB заявил, что прогноз о десятикратном снижении утечек выглядит чрезмерно оптимистично. По его словам, текущие реалии показывают обратную динамику — риски только усиливаются.
«Прогнозы о десятикратном снижении утечек данных благодаря ИИ выглядят крайне оптимистично и не учитывают текущие реалии корпоративной безопасности. На практике мы наблюдаем обратную тенденцию. Основная трудность — отсутствие зрелых MLSecOps практик в большинстве компаний. Организации активно внедряют ИИ-решения, но при этом не имеют выстроенных процессов управления безопасностью машинного обучения. Это создаёт новые векторы атак и увеличивает поверхность компрометаций», — отметил Сергей Зыбнев.
Он подчеркнул, что без комплексной инфраструктуры безопасности, охватывающей весь жизненный цикл AI-моделей, ситуация вряд ли улучшится. Напротив — ИИ пока чаще становится источником уязвимостей.
«Без построения комплексных MLSecOps процессов, включающих мониторинг AI-моделей, adversarial testing, и governance frameworks для AI-систем, количество инцидентов безопасности будет только расти. Мой прогноз: в ближайшие 2–3 года мы увидим рост AI-related инцидентов безопасности, пока индустрия не выработает зрелые практики защиты. Только после этого ИИ действительно сможет увеличить метрики безопасности, а не быть источником новых угроз», — подытожил он.
cisoclub
🔥3
Forwarded from PWN AI (Artyom Semenov)
Рынок AI_Security в России.pdf
7 MB
Всем привет.
Хочу выразить огромную благодарность всем, кто приобрёл наш (совместный с OK ML) отчёт по рынку AI Security на Boosty. Ваша поддержка была критически важной.
Я получил много полезной обратной связи и убедился, что тема действительно востребована. Для тех, кто уже приобрёл отчёт, подготовил бонусы, информацию о которых я отправлю лично тем, кто купил.
После тщательного анализа пришёл к выводу, что AI Security — это критически важная и быстро развивающаяся область для России. Убедившись, что широкое распространение этих знаний принесёт гораздо больше пользы сообществу, чем ограничение доступа (как это было с моими репозиториями на GitHub, к примеру), я принял решение сделать отчёт бесплатным.
Теперь PDF версию отчёта можно найти в этом посте. Если вы считаете материал ценным, поделитесь им с кем-либо) — думаю, что это поможет создать более сильное и осведомлённое сообщество вокруг AI Security.
Отчёт это больше как попытка структуризации - а не как попытка дать оценку чему либо или кому либо.
Хочу выразить огромную благодарность всем, кто приобрёл наш (совместный с OK ML) отчёт по рынку AI Security на Boosty. Ваша поддержка была критически важной.
Я получил много полезной обратной связи и убедился, что тема действительно востребована. Для тех, кто уже приобрёл отчёт, подготовил бонусы, информацию о которых я отправлю лично тем, кто купил.
После тщательного анализа пришёл к выводу, что AI Security — это критически важная и быстро развивающаяся область для России. Убедившись, что широкое распространение этих знаний принесёт гораздо больше пользы сообществу, чем ограничение доступа (как это было с моими репозиториями на GitHub, к примеру), я принял решение сделать отчёт бесплатным.
Теперь PDF версию отчёта можно найти в этом посте. Если вы считаете материал ценным, поделитесь им с кем-либо) — думаю, что это поможет создать более сильное и осведомлённое сообщество вокруг AI Security.
Отчёт это больше как попытка структуризации - а не как попытка дать оценку чему либо или кому либо.
🔥6
⭐️ Опасное приложение: веб-ресурсы для работы с ИИ оказались уязвимыми
Сразу несколько платформ для общения с искусственным интеллектом оказались уязвимы для мошенников, предупредили в компаниях по кибербезопасности. В результате переписка пользователей приложений с нейросетями может оказаться доступной, а в веб-страницу способен внедриться вирус. Раньше такой тренд выявлялся только в программном обеспечении, которое писалось с помощью ИИ, но сейчас увеличилось число приложений, созданных при помощи искусственного интеллекта, — соответственно, нерешенные проблемы перекочевали и туда.
В III квартале 2025 года зафиксирован резкий прирост уязвимостей в AI-сервисах — веб-приложениях на базе искусственного интеллекта, при этом ранее подобных случаев не фиксировалось. Об этом рассказали в центре расследования киберугроз Solar 4RAYS, ГК «Солар».
— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и получение доступа к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.
Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступы к перепискам пользователей с нейросетью.
Продолжение: https://vk.com/wall-210601538_1923
Сразу несколько платформ для общения с искусственным интеллектом оказались уязвимы для мошенников, предупредили в компаниях по кибербезопасности. В результате переписка пользователей приложений с нейросетями может оказаться доступной, а в веб-страницу способен внедриться вирус. Раньше такой тренд выявлялся только в программном обеспечении, которое писалось с помощью ИИ, но сейчас увеличилось число приложений, созданных при помощи искусственного интеллекта, — соответственно, нерешенные проблемы перекочевали и туда.
В III квартале 2025 года зафиксирован резкий прирост уязвимостей в AI-сервисах — веб-приложениях на базе искусственного интеллекта, при этом ранее подобных случаев не фиксировалось. Об этом рассказали в центре расследования киберугроз Solar 4RAYS, ГК «Солар».
— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и получение доступа к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.
Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступы к перепискам пользователей с нейросетью.
Продолжение: https://vk.com/wall-210601538_1923
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Опасное приложение: веб-ресурсы для работы с ИИ оказались уязвимыми
Сразу несколько платфор... Смотрите полностью ВКонтакте.
Сразу несколько платфор... Смотрите полностью ВКонтакте.
👍5🔥1
Forwarded from Евгений Кокуйкин - Raft
Во вторник, 28 октября, проведём вебинар, где расскажем о новых функциях HiveTrace и редтиминг фреймворке HiveTrace Red.
Откроет встречу наш гость Роман Куцев с обзором бенчмарков агентных систем. Летом Роман помог переработать соответствующий раздел в гайде OWASP, а сейчас активно тестирует агентный браузер Comet.
Приходите, подключайтесь к дискуссии. Ссылка на регистрацию.
Откроет встречу наш гость Роман Куцев с обзором бенчмарков агентных систем. Летом Роман помог переработать соответствующий раздел в гайде OWASP, а сейчас активно тестирует агентный браузер Comet.
Приходите, подключайтесь к дискуссии. Ссылка на регистрацию.
🔥5
⭐️ Минцифры РФ хочет повысить требования к ПАКам, работающим с ИИ
Минцифры России сформулировало новые требования к программно-аппаратным комплексам, предназначенным для работы с ИИ. Продукты, соответствующие этим нормам, смогут претендовать на внесение в реестр отечественного софта. Разработанный в министерстве проект постановления правительства бы направлен на согласование в Минпромторг, а также производителям ПАКов — для обсуждения.
Представитель Минцифры пояснил: специальные требования подготовлены с учетом нужд отрасли и направлены на поддержку российских разработчиков и вендоров технически сложных решений в сфере ИИ.
Согласно проекту постановления, производители ИИ-комплексов должны иметь собственные дата-центры в России мощностью не менее 10 МВт и обеспечивать производительность не ниже 100 петафлопс в формате FP4, оптимальном для работы с большими языковыми моделями. В состав оборудования должны входить сетевые адаптеры на 800 Гбит/с или выше с поддержкой прямого доступа к ресурсам через RDMA.
Требования к программному обеспечению: хранение не менее 1 эксабайта данных, возможность обучения моделей на 1000 GPU. Дополнительных льгот для производителей таких ПАКов документ не предусматривает, однако, попав в реестр Минцифры (существующий, новый создаваться не будет), они смогут рассчитывать на господдержку и преференции при госзакупках.
Продолжение: https://vk.com/wall-210601538_1925
Минцифры России сформулировало новые требования к программно-аппаратным комплексам, предназначенным для работы с ИИ. Продукты, соответствующие этим нормам, смогут претендовать на внесение в реестр отечественного софта. Разработанный в министерстве проект постановления правительства бы направлен на согласование в Минпромторг, а также производителям ПАКов — для обсуждения.
Представитель Минцифры пояснил: специальные требования подготовлены с учетом нужд отрасли и направлены на поддержку российских разработчиков и вендоров технически сложных решений в сфере ИИ.
Согласно проекту постановления, производители ИИ-комплексов должны иметь собственные дата-центры в России мощностью не менее 10 МВт и обеспечивать производительность не ниже 100 петафлопс в формате FP4, оптимальном для работы с большими языковыми моделями. В состав оборудования должны входить сетевые адаптеры на 800 Гбит/с или выше с поддержкой прямого доступа к ресурсам через RDMA.
Требования к программному обеспечению: хранение не менее 1 эксабайта данных, возможность обучения моделей на 1000 GPU. Дополнительных льгот для производителей таких ПАКов документ не предусматривает, однако, попав в реестр Минцифры (существующий, новый создаваться не будет), они смогут рассчитывать на господдержку и преференции при госзакупках.
Продолжение: https://vk.com/wall-210601538_1925
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Минцифры РФ хочет повысить требования к ПАКам, работающим с ИИ
Минцифры России сформулиро... Смотрите полностью ВКонтакте.
Минцифры России сформулиро... Смотрите полностью ВКонтакте.
🔥5❤1
⭐️ MLSecOps engineer
Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.
Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.
В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!
Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!
Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность
От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.
Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)
Ждём тебя в крутой команде профессионалов УЦСБ!
Ссылка на вакансию на HeadHunter: https://hh.ru/vacancy/126805201
Архитектор MLSecOps
Николай Павлов
Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.
Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.
В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!
Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!
Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность
От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.
Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)
Ждём тебя в крутой команде профессионалов УЦСБ!
Ссылка на вакансию на HeadHunter: https://hh.ru/vacancy/126805201
Архитектор MLSecOps
Николай Павлов
🔥6👍1😁1
⭐️ Опубликована окончательная версия нового ГОСТ Р «Искусственный интеллект в критической информационной инфраструктуре. Общие положения» разработанного ФСТЭК
Уверен, именно он ляжет в основу нового закона о безопасности ИИ-систем, разработку которого ранее анонсировал В.В. Володин. Рад, что тоже внес свою лепту в создание этого стратегически важного регламента.
Стандарт охватывает применение систем искусственного интеллекта в критически важных отраслях:
1. Энергетика и топливно-энергетический комплекс
2. Транспорт (воздушный, железнодорожный, морской, автомобильный)
3. Финансы и банковская сфера
4. Здравоохранение
5. Связь и телекоммуникации
6. Оборонная, ракетно-космическая промышленность
7. Атомная энергия
8. Горнодобывающая, металлургическая и химическая промышленность
Документ вводит четыре категории систем ИИ в зависимости от уровня критичности их применения:
1 уровень (низкая критичность): Рекомендательные решения, чьи ошибки не приводят к непосредственному нарушению функционирования объектов КИИ
2 уровень (средняя критичность): Системы с умеренным влиянием на процессы КИИ
3 уровень (высокая критичность): Системы, существенно влияющие на функционирование КИИ
4 уровень (критическая значимость): Системы, ошибки или сбои в работе которых могут привести к аварийным ситуациям, угрозе жизни и здоровью людей, материальному ущербу и другим тяжелым последствиям
Для каждой категории предусмотрены соответствующие требования к безопасности, надежности, тестированию, контролю и наличию планов аварийных остановок.
Ссылка на ГОСТ: https://disk.yandex.ru/d/7fnD2-rbMnuzjw
Архитектор MLSecOps
Николай Павлов
Уверен, именно он ляжет в основу нового закона о безопасности ИИ-систем, разработку которого ранее анонсировал В.В. Володин. Рад, что тоже внес свою лепту в создание этого стратегически важного регламента.
Стандарт охватывает применение систем искусственного интеллекта в критически важных отраслях:
1. Энергетика и топливно-энергетический комплекс
2. Транспорт (воздушный, железнодорожный, морской, автомобильный)
3. Финансы и банковская сфера
4. Здравоохранение
5. Связь и телекоммуникации
6. Оборонная, ракетно-космическая промышленность
7. Атомная энергия
8. Горнодобывающая, металлургическая и химическая промышленность
Документ вводит четыре категории систем ИИ в зависимости от уровня критичности их применения:
1 уровень (низкая критичность): Рекомендательные решения, чьи ошибки не приводят к непосредственному нарушению функционирования объектов КИИ
2 уровень (средняя критичность): Системы с умеренным влиянием на процессы КИИ
3 уровень (высокая критичность): Системы, существенно влияющие на функционирование КИИ
4 уровень (критическая значимость): Системы, ошибки или сбои в работе которых могут привести к аварийным ситуациям, угрозе жизни и здоровью людей, материальному ущербу и другим тяжелым последствиям
Для каждой категории предусмотрены соответствующие требования к безопасности, надежности, тестированию, контролю и наличию планов аварийных остановок.
Ссылка на ГОСТ: https://disk.yandex.ru/d/7fnD2-rbMnuzjw
Архитектор MLSecOps
Николай Павлов
Яндекс Диск
1.11.164-1.367.25
Посмотреть и скачать с Яндекс Диска
🔥4👍2
⭐️ Amazon планирует крупнейшее с 2023 года сокращение: 30000 мест займет ИИ
Корпорация Amazon готовится к крупнейшему сокращению персонала с 2023 года. Планируется уволить около 30 000 сотрудников, что составляет почти 10% от её корпоративного штата, который насчитывает примерно 350 000 человек.
Причина - активное внедрение ИИ-агентов (AI Agents), которые заменяют функции сотрудников.
Сокращениями затронуты отделы кадров (HR), работы с персоналом, технологий, операционные и другие.
Руководителям подразделений уже поручено провести соответствующие беседы с командами.
Для Amazon это станет самым массовым сокращением с конца 2022 года, когда компания уволила сразу 27000 сотрудников.
С тех пор происходили лишь менее значительные сокращения в отдельных подразделениях. На фоне этой новости компания отчиталась о значительном росте доходов от рекламного бизнеса — во втором квартале 2025 года выручка подразделения Amazon Ads выросла на 22%, достигнув $15,7 млрд.
Reuters
PS: дружно и срочно изучаем ИИ-агентов.
Корпорация Amazon готовится к крупнейшему сокращению персонала с 2023 года. Планируется уволить около 30 000 сотрудников, что составляет почти 10% от её корпоративного штата, который насчитывает примерно 350 000 человек.
Причина - активное внедрение ИИ-агентов (AI Agents), которые заменяют функции сотрудников.
Сокращениями затронуты отделы кадров (HR), работы с персоналом, технологий, операционные и другие.
Руководителям подразделений уже поручено провести соответствующие беседы с командами.
Для Amazon это станет самым массовым сокращением с конца 2022 года, когда компания уволила сразу 27000 сотрудников.
С тех пор происходили лишь менее значительные сокращения в отдельных подразделениях. На фоне этой новости компания отчиталась о значительном росте доходов от рекламного бизнеса — во втором квартале 2025 года выручка подразделения Amazon Ads выросла на 22%, достигнув $15,7 млрд.
Reuters
PS: дружно и срочно изучаем ИИ-агентов.
👍2😱2
Forwarded from Философия AI
Ура, товарищи! Наконец-то первое видео на канале, и какое! Мастер-класс по взлому ИИ агентов Артёма Семёнова, с моим скромным участием.
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!
YouTube
AISecOps или Как взломать ИИ-агента? Мастер класс Артёма Семёнова
Мастер-класс проходил в музее криптографии, спасибо ему за это (ютуб не даёт вставить ссылку, поэтому гуглим)
Также спасибо сообществу Слономойка (QR-коды есть в самом начале), и конечно Артёму Семёнову за этот мастер-класс (обязательно посмотрите репозиторий…
Также спасибо сообществу Слономойка (QR-коды есть в самом начале), и конечно Артёму Семёнову за этот мастер-класс (обязательно посмотрите репозиторий…
🔥8