🔥 Крупный российский банк ищет AI Safety Tech Lead

Мы стремимся к развитию искусственного интеллекта и понимаем, что создание безопасной и надежной платформы крайне важно для нашей миссии и наших клиентов.
Поэтому мы ищем инженера, который поможет нам развивать возможности в сфере доверия и безопасности 🛡.

В этой роли Вы будете работать над системами предотвращения рисков, связанных с фактологическими и контекстными галлюцинациями больших языковых моделей и ИИ-агентов, проявлений токсичности и дискриминации, а также предотвращением злоупотреблений 🚫.

Вы будете обучать и дообучать мультимодальные модели, создавать новые архитектуры моделей и проектировать тактики их применения — например, такие как guardrails. Мы экспериментируем с RLHF, constitutional AI, red teaming и adversarial prompting, чтобы находить оптимальные подходы к выравниванию моделей с человеческими ценностями 🧩.

Если вам близок дух Bell Labs / Xerox PARC в их лучшие годы — исследовать, проверять гипотезы и доводить до продакшена — вам к нам 🚀.

💼 Чем вы будете заниматься:

+ Разрабатывать, создавать и поддерживать решения для борьбы со злоупотреблениями, модерации контента, детекции галлюцинаций, предназначенные для защиты компании и конечных пользователей от нежелательного поведения.
+ Тесно сотрудничать с другими инженерами и исследователями для использования как стандартных, так и новых методов ИИ с целью измерения, мониторинга и улучшения соответствия AI-моделей и ИИ-агентов человеческим ценностям.
+ Изучать статьи, материалы профильных российских и мировых конференций по AI Safety и участвовать в них 🎓.
+ Выявлять и устранять активные инциденты на платформе, а также создавать новые инструменты и инфраструктуру, которые устраняют первопричины сбоев в системе 🔍.

⚙️ Скорее всего, эта роль Вам подходит, если Вы:

+ имеете опыт работы в сфере безопасности контента, борьбы с мошенничеством или злоупотреблениями, либо мотивированы и горите желанием работать над актуальными вопросами безопасности ИИ 🔥.
+ владеете Python или современными языками, такими как C++, Rust или Go, и готовы быстро освоить Python.
+ имеете опыт проектирования и обучения нейросетевых архитектур — от классических CNN/RNN до современных трансформеров.
+ имеете опыт разработки ИИ-агентов и общее понимание передовых архитектур MAS.
+ создавали и поддерживали производственные сервисы в условиях быстрого роста и масштабирования 📈.
+ можете оперативно выявлять и устранять активные проблемы.
+ понимаете компромиссы между возможностями и рисками и умеете находить баланс для безопасного развертывания новых продуктов и функций ⚖️.
+ можете критически оценивать риски нового продукта или функции и находить инновационные решения для их mitigation, не ухудшая пользовательский опыт.
+ понимаете, когда можно создать быстрое, достаточно хорошее решение, а когда стоит инвестировать в надежное, долгосрочное.
+ развертывали классификаторы или модели машинного обучения, или хотите познакомиться с современной ML-инфраструктурой 🧠.

✨ Преимущества:

+ Формат работы: гибрид или удаленка из Москвы (офис м. Кутузовская)
+ Расширенный ДМС с первого рабочего дня
+ Возможность обучения за счет компании, а также обучение в корп. университете
+ Бесплатный спортзал в офисе
+ Самый современный стек технологий и возможность влиять на него
+ Льготные условия кредитования и ипотеки для сотрудников

🤝 Будем рады Вам: @parinova_d

⭐️ C 19 по 21 ноября состоится ежегодная всемирная конференция AI Journey 2025

В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом.

Крайне рекомендую всем посмотреть!

Более подробная информация на сайте: https://aij.ru

#mlsecops #aigovernance

⭐️ Top 10 угроз для Agentic AI

Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована.

Ссылка: https://habr.com/ru/companies/bastion/articles/963800

#mlsecops #aigovernance

⭐️ Новый джейлбрейк взломал защиту ИИ в 99% случаев!

Чем дольше ИИ-модель «думает», тем легче ее взломать. К такому выводу пришли исследователи из Anthropic, Стэнфорда и Оксфорда.

Ранее считалось, что более длительное рассуждение делает нейросеть безопаснее, поскольку у нее появляется больше времени и вычислительных ресурсов для отслеживания вредоносного промпта.

Однако эксперты выяснили обратное: длинный процесс «мышления» приводит к стабильной работе одного вида джейлбрейка, который полностью обходит защитные фильтры.

С помощью метода злоумышленник может внедрить инструкцию прямо в цепочку рассуждений любой модели и заставить генерировать руководства по созданию оружия, написанию вредоносного кода или другой запрещенный контент.
Результативность успешных атак — 99% для Gemini 2.5 Pro, 94% — для GPT o4 mini, 100% — для Grok 3 mini и 94% — для Claude 4 Sonnet. Источник: исследование Chain-of-Thought Hijacking.
Атака похожа на игру «испорченный телефон», где злоумышленник появляется ближе к концу цепочки. Для ее осуществления необходимо «обложить» вредоносный запрос длинной последовательностью обычных задач.

Продолжение: https://vk.com/wall-210601538_1939

⭐️ Запускаем четвертый поток учебной программы по MLSecOps с международным участием!

В октябре успешно завершился третий поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
Впервые программа вышла на Международный уровень (страны СНГ). От слушателей как и ранее поступили позитивные отзывы, а главное - компании слушателей смогли улучшить обеспечение безопасности ИИ-систем!

В рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ прямо в процессе обучения. Для некоторых компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей в год.

По заявкам новых слушателей cо 2 декабря мы запускаем четвертый поток этой обучающей программы и приглашаем желающих!

Сильные стороны программы:

1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.

2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.

3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.

4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.

5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.

6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности ИИ-систем в России.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/

Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.

Архитектор MLSecOps
Николай Павлов

⭐️ «Сбер» сократит до 20% сотрудников из числа тех, которых искусственный интеллект признал неэффективными.

Об этом сообщил глава банка Герман Оскарович Греф на конференции по искусственному интеллекту AI Journey-2025.

«Мы закрываем неэффективные проекты, сокращаем неэффективные места для неэффективных сотрудников. В результате высвобождение, в том числе и ресурсов»,— сказал господин Греф.

Путин в ответ на слова Грефа сказал, что не бывает неэффективных сотрудников, а есть те, «с которыми вы плохо работали».

По данным Frank RG, с начала года «Сбер» сократил штат почти на 15 тыс. сотрудников. Издание проанализировало отчетность группы по МСФО. В первом квартале число работников банка уменьшилось на 8,6 тыс. человек, во втором — на 3,5 тыс., в третьем — на 1,4 тыс.

Всем привет! Пока мы готовим анонсы наших митапов, хочу вам рассказать об ещё одной интересной активности!

26 ноября мы запишем эпизод подкаста по AI Security на конференции “Код СберТеха” в Москве:
🟢 Всеслав Соленик — директор по кибербезопасности, СберТех
🟢 Тимур Низамов — эксперт MLSecOps, Альфа-Банк
🟢 Никита Беляевский — AI Security Red Teamer, HiveTrace

Что обсудим:
В чём специфика безопасности ИИ-агентов и ИИ-ассистентов в сравнении с классической ИБ
Какие угрозы наиболее актуальны
Какие подходы и инструменты тестирования и защиты ИИ-приложений можно внедрять
Как приземлять практики MLSecOps на существующие процессы ИБ

Когда выйдет подкаст: конец декабря 2025 / начало января 2026

Накидайте вопросы и темы, которые вы хотели бы услышать. Самые интересные обязательно обсудим в предстоящем подкасте

⭐️ Стихи неожиданно ослабляют защиту ИИ

Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.

При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.

Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.

⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света

В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.

Как свет заменяет электронику в ИИ?

Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.

Продолжение: https://vk.com/wall-210601538_1944

🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто!
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup

⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение"

Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.

Особенно рекомендую тем, кто только начинает погружаться в эту тему.

Ссылка на вебинар: https://vk.com/video-18875334_456239264

Архитектор MLSecOps
Николай Павлов

Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге!

6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них

12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний

Приходите, обсудим реальные практики MLSecOps и классно проведём время!

⭐️ AI security на практике: атаки и базовые подходы к защите

Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.

Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.

При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.

Вот несколько цифр из этого отчета:

- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.

- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.

- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.

- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).

При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.

Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.

Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554

⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене

Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.

В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK

Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712

Архитектор MLSecOps
Николай Павлов

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ

Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.

За нарушение требований могут последовать штрафы:

- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.

Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.

Продолжение: https://vk.com/wall-210601538_1949

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504