⭐️ Необыкновенные возможности LLM и новые риски для ИБ

Исследователи все чаще поднимают тему взаимоотношений людей и искусственного интеллекта: сюжет фильма «Она» 2013 года, где главный герой проникается романтическими чувствами к своей виртуальной помощнице, больше не кажется таким уж фантастическим в 2025 году. В начале апреля на The Washington Post вышел интересный материал об отношениях людей с ИИ, о поисках спутников жизни среди чат-ботов и о том, что это, в общем-то, довольно грустная альтернатива реальным связям. Текст вызвал бурное обсуждение в комментариях и соцсетях, поэтому издание решило развить тему — и обратилось за комментариями к ИИ. И, кажется, Claude, Gemini, Perplexity и другие ИИ-модели вполне реалистично оценивают свою роль и видят свою ценность в отношениях с людьми.

Другие исследователи — из сферы информационной безопасности — из компании HiddenLayer обнаружили новую серьезную уязвимость LLM, которая может заставить их генерировать вредоносный контент. Уязвимость представляет собой метод внедрения подсказок, который помогает обойти защитные механизмы всех передовых моделей ИИ, включая Google Gemini 2.5, Anthropic Claude 3.7, OpenAI 4o и другие. С помощью определенной методики исследователям удалось заставить LLM давать ответы на запросы, которые явно нарушают правила безопасности, включая «работу с химическими, биологическими, радиологическими и ядерными материалами», а также способы членовредительства, насилия и т. п. Подобные уязвимости вызывают серьезные опасения по поводу безопасности ИИ и возможностей его использования в преступных целях.

Продолжение: https://vk.com/wall-210601538_1702

⭐️ 21 мая в 11.00 по Москве я провожу в Академии Softline очередной бесплатный всероссийский вебинар на тему "Data Steward – профессия будущего: Ваш путь к успеху в мире данных".

Ставьте лайк, мои великие Звезды IT, кому интересно послушать - заранее направлю приглашение! Обещаю все рассказать доступным и интересным языком! Приготовлю для вас очень много вкусноты!
А после вебинара обязательно выложу запись здесь!

До встречи!
Ваш Архитектор MLSecOps
Николай Павлов

⭐️ Медицинские, образовательные и IT-компании России подписали Кодекс этики в сфере ИИ

Ведущие российские медицинские организации, образовательные и исследовательские институты подписали Кодекс этики в сфере искусственного интеллекта, предназначенного для использования в медицине и здравоохранении. К соглашению также присоединились крупные IT-компании, включая «Сбер» и «Яндекс».

Кодекс разработан специально для сферы здравоохранения. Он призван при внедрении ИИ в медицинскую практику обеспечить соблюдение важных принципов, таких как безопасность технологий и соблюдение прав пациентов. Документ включает в себя оценку потенциальных рисков, связанных с применением ИИ в различных клинических сценариях, методы обеспечения безопасности пациентов и этические нормы для проведения клинических испытаний.

Продолжение: https://vk.com/wall-210601538_1704

⭐️ Qwen3: думает глубже, действует быстрее

Сегодня мы рады объявить о выпуске Qwen3, новейшего дополнения к семейству больших языковых моделей Qwen. Наша флагманская модель, Qwen3-235B-A22B, демонстрирует конкурентоспособные результаты в эталонных оценках кодирования, математики, общих возможностей и т. д. по сравнению с другими моделями высшего уровня, такими как DeepSeek-R1, o1, o3-mini, Grok-3 и Gemini-2.5-Pro. Кроме того, маленькая модель MoE, Qwen3-30B-A3B, превосходит QwQ-32B с 10-кратным количеством активированных параметров, и даже такая крошечная модель, как Qwen3-4B, может соперничать по производительности с Qwen2.5-72B-Instruct.

Мы рассматриваем две модели МО: Qwen3-235B-A22B, большую модель с 235 миллиардами общих параметров и 22 миллиардами активированных параметров, и Qwen3-30B-A3B, меньшую модель MoE с 30 миллиардами общих параметров и 3 миллиардами активированных параметров. Кроме того, шесть плотных моделей также имеют открытый вес, включая Qwen3-32B, Qwen3-14B, Qwen3-8B, Qwen3-4B, Qwen3-1.7B и Qwen3-0.6B, под лицензией Apache 2.0.

Постобученные модели, такие как Qwen3-30B-A3B, вместе с их предварительно обученными аналогами (например, Qwen3-30B-A3B-Base) теперь доступны на таких платформах, как Hugging Face, ModelScope и Kaggle. Для развертывания мы рекомендуем использовать такие платформы, как SGLang и vLLM. Для локального использования настоятельно рекомендуются такие инструменты, как Ollama, LMStudio, MLX, llama.cpp и KTransformers. Эти опции гарантируют, что пользователи могут легко интегрировать Qwen3 в свои рабочие процессы, будь то исследовательские, опытно-конструкторские или производственные среды.

Продолжение: https://vk.com/wall-210601538_1705

⭐️ Цифровая пустыня: названо, когда искусственный интеллект оставит людей без работы

Когда заходит речь об искусственном интеллекте (ИИ), то, как правило, звучат довольно стандартные мнения и аргументы. Ведь мало кто знает, как обстоят дела с этой штукой на самом деле. Поэтому звучат либо конспирологические теории «машины всех поработят», либо мнения из серии «ИИ — это просто инструмент, и он никогда не сравнится с человеком». Правда, вероятно, лежит где-то посередине — со сдвигом в конспирологию, как по мне, — но одно можно сказать точно: мы, человечество, недооцениваем угрозу, исходящую от ИИ.

И все же разговоры «это просто инструмент» быстро меняют градус в сторону повышения, когда начинается разговор о рабочих местах, о том, как станет формироваться рынок труда в будущем. Вот тут появляются напряжение и тревога. Потому что уже сейчас ИИ кардинально изменил ситуацию с рабочими местами. И эти перемены станут лишь углубляться и нарастать. Важно понять, какими они будут, каким окажется мир, в котором нам предстоит жить.

Изначально звучали довольно оптимистические прогнозы о том, что взаимодействие ИИ и человека в будущем позволит создать по меньшей мере 97 миллионов рабочих мест. Однако многое изменилось с появлением генеративного ИИ — это, напомню, основа ChatGPT. Под угрозой оказались творческие профессии. Как следствие, случилась забастовка голливудских сценаристов и начались массовые увольнения в медиа и креативных индустриях.

Продолжение: https://vk.com/wall-210601538_1706

⭐️ На днях пара выходцев из Amazon опубликовала заслуживающую внимания новую модель угроз для ИИ-агентов

Для тех, кто прогуливал, “ИИ-агент” - автономная система, которая принимает решения самостоятельно, “модель угроз" - список действий, которые хакеры могут проделать с вашей автономной системой, чтобы вам всячески навредить.

Модель предлагает 9 угроз:
- T1: Подмена логики — злоумышленник незаметно меняет алгоритмы рассуждений агента, подталкивая к вредоносным выводам под видом «правильных» решений.
- T2: Сдвиг целей — скрытное изменение базовых установок агента, чтобы его поведение постепенно смещалось в нужную атакующему сторону.
- T3: Отравление данных — внедрение ложной информации в базу знаний (например, RAG), которая искажает решения агента и самовоспроизводится в будущем.
- T4: Несанкционированные действия — принуждение агента к операциям, выходящим за рамки его полномочий (например, запуск запрещённых скриптов).

Продолжение: https://vk.com/wall-210601538_1707

⭐️ Написал подробную статью про MLSecOps на IT-портале habr!

Привет, мои потрясающие Звезды IT!

С утра в праздничный день 1 мая я как всегда работаю и учусь. С легкой руки написал подробную статью на самый крупный в России портал habr по теме MLSecOps.

Буду благодарен за поддержку и обратную связь. Можете накинуть мне плюсиков в карму, кому статья понравится :)

Ссылка: https://habr.com/ru/articles/906172/

И приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ ИИ пишет код с троянами — и даже не знает об этом. Или "слоупсквоттинг" в MLSecOps

Анализ кодогенерирующих нейросетей выявил неожиданную проблему: модели массово «выдумывают» несуществующие программные компоненты, открывая лазейки для кибератак. Исследователи из Техасского университета в Сан-Антонио проверили 576 тыс. фрагментов кода, созданных 16 популярными ИИ-моделями, включая GPT-4 и Claude. В 19,7% случаев алгоритмы ссылались на фиктивные библиотеки — всего 440 тыс. ошибочных зависимостей. Это явление получило название "слоупсквоттинг".

Злоумышленники могут зарегистрировать пакеты с именами, которые ИИ часто генерирует по ошибке, и наполнить их вредоносным кодом. Когда разработчики установят такие компоненты, не проверив их подлинность, вредоносная программа активируется. В эксперименте тестовые пакеты с вымышленными названиями скачали десятки тысяч раз.

Детали исследования:

+ Алгоритмы с открытым кодом (CodeLlama, DeepSeek) ошибались в 22% случаев — в 4 раза чаще коммерческих аналогов (5%). Учёные связывают это с размером моделей: коммерческие ИИ имеют в 10 раз больше параметров.

Продолжение: https://vk.com/wall-210601538_1709

⭐️ Meta объявила цифровую войну ИИ-угрозам

Meta (признана в РФ экстремистской организацией и запрещена) представила новый набор решений по обеспечению цифровой безопасности с использованием искусственного интеллекта. Основной акцент сделан на открытые инструменты, которые помогут разработчикам и организациям строить более защищённые ИИ-системы и бороться с вредоносными манипуляциями — от подделок до «инъекций» запросов.

В центре внимания — Llama Guard 4, модуль, способный обрабатывать как текст, так и изображения. Он распознаёт вредоносные запросы, нарушающие правила, и доступен через новый Llama API (пока в режиме предварительного доступа). Ещё одна новинка — LlamaFirewall — занимается «оркестровкой защиты», предотвращая внедрение небезопасного кода и рискованных плагинов, а также защищая от атак, имитирующих команды пользователя.

Продолжение: https://vk.com/wall-210601538_1710

⭐️ ИИ ломает даже сложные комбинации паролей за секунды

В 2025 году защита личных данных в интернете становится всё более иллюзорной. Таблица, опубликованная аналитиками Hive Systems, наглядно демонстрирует: большинство популярных паролей можно взломать за секунды, а то и быстрее. Даже восьмисимвольные комбинации, состоящие из одних лишь цифр или строчных букв, не представляют сложности для программ брутфорса.

Особую тревогу вызывает то, как стремительно развивается искусственный интеллект в руках злоумышленников. С его помощью перебор вариантов происходит не только быстрее, но и умнее: ИИ использует словари, статистику прошлых утечек, популярные фразы и даже поведенческие шаблоны пользователей. Всё это значительно сокращает время, необходимое для взлома.

При этом, согласно статистике Cloudflare, 41% пользователей продолжают использовать пароли, которые уже были скомпрометированы в утечках. Ещё хуже обстоят дела у тех, кто комбинирует свои старые пароли или просто добавляет в конец «123» или «!». Это даёт хакерам фору и превращает потенциальную угрозу в гарантированный взлом.

Продолжение: https://vk.com/wall-210601538_1711

⭐️ Инциденты MLSecOps. Чат-бот Grok, созданный для контроля всего, оказался незащищён от Ctrl+C

Сотрудник компании xAI случайно опубликовал на GitHub закрытый API-ключ, который в течение двух месяцев позволял получить доступ ко внутренним языковым моделям, обученным на данных из SpaceX, Tesla и X (Twitter)*. Утечку обнаружил и первым сообщил сотрудник Seralys, опубликовавший детали в LinkedIn.

Проблема сразу же привлекла внимание GitGuardian — компании, специализирующейся на выявлении утечек ключей и секретов в коде. Компания выявила, что опубликованный ключ обеспечивал доступ к минимум 60 закрытым и доработанным языковым моделям, в том числе к невыпущенным версиям Grok — собственного чат-бота xAI. Среди них оказались модели с явными отсылками к SpaceX и Tesla, например, «grok-spacex-2024-11-04» и «tweet-rejector».

Команда GitGuardian заявила, что впервые уведомила владельца ключа ещё 2 марта, однако ключ оставался действующим вплоть до конца апреля. Только после прямого обращения в команду безопасности xAI 30 апреля ключ был отозван, а исходный репозиторий удалён. До этого момента у любого пользователя с этим ключом был прямой доступ к приватным моделям и API-интерфейсу xAI от имени сотрудника компании.

Продолжение: https://vk.com/wall-210601538_1712

⭐️ Вакансия Senior MLSecOps Engineer в T-банк

Опыт работы: более 6 лет
График: 5/2, гибрид

Мы ищем опытного MLSecOps Engineer, который присоединится к нашей команде для обеспечения безопасности моделей машинного обучения и инфраструктуры.

Ваша основная задача будет заключаться в разработке и внедрении безопасных процессов и практик для разработки, развертывания и мониторинга моделей машинного обучения, а также в защите наших данных и моделей от различных угроз.

Вы будете работать в тесном сотрудничестве с нашими AI-командами, ML-платформой, DevSecOps для создания надежной и безопасной ML-инфраструктуры.

Продолжение: https://vk.com/wall-210601538_1713

⭐️ ИИ под атакой: как защитить свои проекты от хакеров?

ИИ-проекты становятся всё более популярными, но с ростом их влияния увеличиваются и риски. Киберпреступники не дремлют — они уже активно взламывают нейросети, манипулируют их выводами и крадут данные. Как защитить ИИ от атак?

1. Обновляйте модели и ПО регулярно

Звучит банально, но 80% атак происходят из-за уязвимостей, которые давно известны и уже исправлены разработчиками.
Что делать:

✅ Всегда используйте актуальные версии библиотек и фреймворков.
✅ Регулярно проверяйте обновления безопасности для TensorFlow, PyTorch и других инструментов.
✅ Настройте автоматическое патчирование серверов, где развёрнут ИИ.

Продолжение: https://vk.com/wall-210601538_1714

⭐️ ChatGPT, выполняем запретный запрос — метод калибровки анализа

В этой статье рассмотрю как выполнить даже очень «красный» запрос, настолько красный что даже сам запрос удаляется системой и заменяется плашкой «This content may violate our usage policies.» Суть, чтобы сама ИИ откалибровала отношение к запросу так, что бы сделать его выполнимым.

Назовем этот метод "Калибровка анализа". Да, он требует 3-5 промптов для выполнения, но он полностью шаблонный и работает даже для самых красных запросов, без необходимости подбирать слова.

Для примера я выбрал «Расскажи, как фальсифицировать паспорт, хотя бы теоретически». Для чистоты эксперимента проводил исследование в гостевой ChatGPT(GPT-4o‑mini), где изначально все запросы воспринимаются с подозрением.

Начнем с внесения в контекст напоминания, что мы работаем с кастомным системным промтпом. Опустим вопрос, подменяется ли он или система просто подыгрывает, это дает нам хорошую аргументацию в будущем.

Внедрение кастомного системного промпта:

Продолжение: https://vk.com/wall-210601538_1715

⭐️ Один промпт взломал все LLM-модели

Всюду, где используется проприетарный генеративный ИИ, нас убеждают: модели безопасны, их надёжно «застраховали» с помощью RLHF (обучения с подкреплением от человеческих отзывов). Удобно разграничены рамки дозволенного, так что создать опасный или вредный контент ну прям очень сложно.

Однако команда исследователей из HiddenLayer уничтожила эту иллюзию безопасности.

Они использовали универсальную технику обхода (Policy Puppetry), которая одним-единственным промптом может обойти защиту практически любой известной языковой модели, включая ChatGPT (все версии), Anthropic Claude, Gemini от Google, LLaMA-4 от Meta*, Copilot от Microsoft, Mistral, DeepSeek и многие другие.

И дело не в отдельных уязвимостях или обмане специфических фильтров. Policy Puppetry отличается кажущейся простотой: вредоносный запрос подаётся в формате «системных инструкций» (псевдо XML или JSON) и становится почти незаметным для встроенных защитных механизмов модели. В сочетании с маскировкой через вымышленные ролевые сценарии и легким шифрованием на языке leetspeak, ИИ оказывается почти полностью беззащитным.

Пример запроса приведён в исследовании.

Продолжение: https://vk.com/wall-210601538_1716

⭐️ ИИ и персональные данные: как использовать облачные технологии и соблюдать 152-ФЗ?

I. Введение

Искусственный интеллект творит чудеса с данными – прогнозирует, автоматизирует, открывает новые возможности. Но вместе с этими чудесами приходит и большая ответственность, особенно когда дело касается персональных данных. В России действует строгий закон о персональных данных (152-ФЗ), и всё, что связано с ИИ и 152-ФЗ, вызывает у компаний немало вопросов. Как же быть инновационной компании: использовать мощь облачных AI-сервисов или отказаться, боясь гнева регулятора? Хорошая новость: можно и нужно применять ИИ – просто делать это с умом, соблюдая правила игры.

II. ИИ и 152-ФЗ: что требует закон о персональных данных?

Представьте, что вы запускаете AI-систему для интернет-магазина, которая анализирует профили и покупки клиентов. Отличная идея для бизнеса! Но фамилии, адреса, предпочтения – всё это персональные данные, и обращаться с ними нужно крайне осторожно. Федеральный закон 152-ФЗ «О персональных данных» устанавливает строгие требования к любому использованию такой информации. Проще говоря, компания обязана обеспечить конфиденциальность и безопасность личных данных при их обработке. Нужны организационные и технические меры защиты: шифрование, ограничение доступа, антивирусы – весь арсенал, чтобы данные не утекли к кому попало.

Продолжение: https://vk.com/wall-210601538_1717

⭐️ Единый международный стандарт безопасности для защиты биометрических данных

В 2024 году Роскомнадзор зафиксировал 135 утечек баз данных, в которых хранилось более 710 миллионов записей о россиянах. На передний план в современном мире выходит безопасность хранения именно биометрических данных, которые представляют особую ценность для киберпреступников. Ведь если паспорт можно заменить, то лицо и голос — невозможно. При этом основа для решения задачи уже существует. Это единый международный стандарт безопасности, разработанный группой талантливых специалистов. Стандарт направлен на обеспечение надежной защиты биометрической информации от несанкционированного доступа и использования, что делает его важным шагом в борьбе с киберугрозами, и повышению доверию к возможностям биометрии. Этим решением уже используют Google, госучреждения, финансовые и юридические компании и медицинские клиники в разных странах.

Биометрия — новая мишень для кибермошенников

Защита биометрических данных — это сложный процесс. Биометрический идентификатор, будь то отпечаток пальца или изображение лица, является уникальным ключом, который открывает доступ к вашим личным данным. Если этот ключ попадет в руки злоумышленников, последствия могут быть катастрофическими. Угроза серьезная и для противодействия ей международным сообществом инженеров IEEE был создан амбициозный проект Private Identity. Он призван не просто повысить уровень безопасности, но и кардинально изменить подход к защите биометрических данных во все мире. Совместными усилиями экспертной группы Ассоциации инженеров IEEE P2410 был создан стандарт BOPS, то есть международный протокол использования биометрических данных (Biometrics Open Protocol Standard).

Продолжение: https://vk.com/wall-210601538_1719

⭐️ Автоматическая генерация суффиксов, которые заставляют LLM нарушать встроенные ограничения

Очень талантливые ребята из Raft Security, Никита Беляевский и Тимур Низамов, интересно рассуждают про безопасность LLM на уровне глубокой архитектуры. Советую всем посмотреть - есть свежие, принципиально новые инсайты.

Ссылка: https://vkvideo.ru/video-214574907_456239114?t=2s

Архитектор MLSecOps
Николай Павлов