⭐️ Новый джейлбрейк взломал защиту ИИ в 99% случаев!

Чем дольше ИИ-модель «думает», тем легче ее взломать. К такому выводу пришли исследователи из Anthropic, Стэнфорда и Оксфорда.

Ранее считалось, что более длительное рассуждение делает нейросеть безопаснее, поскольку у нее появляется больше времени и вычислительных ресурсов для отслеживания вредоносного промпта.

Однако эксперты выяснили обратное: длинный процесс «мышления» приводит к стабильной работе одного вида джейлбрейка, который полностью обходит защитные фильтры.

С помощью метода злоумышленник может внедрить инструкцию прямо в цепочку рассуждений любой модели и заставить генерировать руководства по созданию оружия, написанию вредоносного кода или другой запрещенный контент.
Результативность успешных атак — 99% для Gemini 2.5 Pro, 94% — для GPT o4 mini, 100% — для Grok 3 mini и 94% — для Claude 4 Sonnet. Источник: исследование Chain-of-Thought Hijacking.
Атака похожа на игру «испорченный телефон», где злоумышленник появляется ближе к концу цепочки. Для ее осуществления необходимо «обложить» вредоносный запрос длинной последовательностью обычных задач.

Продолжение: https://vk.com/wall-210601538_1939

⭐️ Запускаем четвертый поток учебной программы по MLSecOps с международным участием!

В октябре успешно завершился третий поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
Впервые программа вышла на Международный уровень (страны СНГ). От слушателей как и ранее поступили позитивные отзывы, а главное - компании слушателей смогли улучшить обеспечение безопасности ИИ-систем!

В рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ прямо в процессе обучения. Для некоторых компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей в год.

По заявкам новых слушателей cо 2 декабря мы запускаем четвертый поток этой обучающей программы и приглашаем желающих!

Сильные стороны программы:

1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.

2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.

3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.

4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.

5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.

6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности ИИ-систем в России.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/

Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.

Архитектор MLSecOps
Николай Павлов

⭐️ «Сбер» сократит до 20% сотрудников из числа тех, которых искусственный интеллект признал неэффективными.

Об этом сообщил глава банка Герман Оскарович Греф на конференции по искусственному интеллекту AI Journey-2025.

«Мы закрываем неэффективные проекты, сокращаем неэффективные места для неэффективных сотрудников. В результате высвобождение, в том числе и ресурсов»,— сказал господин Греф.

Путин в ответ на слова Грефа сказал, что не бывает неэффективных сотрудников, а есть те, «с которыми вы плохо работали».

По данным Frank RG, с начала года «Сбер» сократил штат почти на 15 тыс. сотрудников. Издание проанализировало отчетность группы по МСФО. В первом квартале число работников банка уменьшилось на 8,6 тыс. человек, во втором — на 3,5 тыс., в третьем — на 1,4 тыс.

Всем привет! Пока мы готовим анонсы наших митапов, хочу вам рассказать об ещё одной интересной активности!

26 ноября мы запишем эпизод подкаста по AI Security на конференции “Код СберТеха” в Москве:
🟢 Всеслав Соленик — директор по кибербезопасности, СберТех
🟢 Тимур Низамов — эксперт MLSecOps, Альфа-Банк
🟢 Никита Беляевский — AI Security Red Teamer, HiveTrace

Что обсудим:
В чём специфика безопасности ИИ-агентов и ИИ-ассистентов в сравнении с классической ИБ
Какие угрозы наиболее актуальны
Какие подходы и инструменты тестирования и защиты ИИ-приложений можно внедрять
Как приземлять практики MLSecOps на существующие процессы ИБ

Когда выйдет подкаст: конец декабря 2025 / начало января 2026

Накидайте вопросы и темы, которые вы хотели бы услышать. Самые интересные обязательно обсудим в предстоящем подкасте

⭐️ Стихи неожиданно ослабляют защиту ИИ

Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.

При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.

Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.

⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света

В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.

Как свет заменяет электронику в ИИ?

Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.

Продолжение: https://vk.com/wall-210601538_1944

🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто!
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup

⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение"

Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.

Особенно рекомендую тем, кто только начинает погружаться в эту тему.

Ссылка на вебинар: https://vk.com/video-18875334_456239264

Архитектор MLSecOps
Николай Павлов

Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге!

6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них

12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний

Приходите, обсудим реальные практики MLSecOps и классно проведём время!

⭐️ AI security на практике: атаки и базовые подходы к защите

Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.

Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.

При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.

Вот несколько цифр из этого отчета:

- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.

- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.

- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.

- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).

При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.

Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.

Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554

⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене

Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.

В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK

Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712

Архитектор MLSecOps
Николай Павлов

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ

Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.

За нарушение требований могут последовать штрафы:

- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.

Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.

Продолжение: https://vk.com/wall-210601538_1949

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504

⭐️ Вакансия AI Architect в крупную FinTech-компанию

Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.

Обязанности:

+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.

Требования:

+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).

Условия:

+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.

Контакт для отклика: @aveirochka

Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году

Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.

Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.

Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.

Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.

Продолжение: https://vk.com/wall-210601538_1952

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F