⭐️ OpenAI и Anthropic объединили усилия для оценки безопасности ИИ-моделей

OpenAI и Anthropic, два крупнейших конкурента в области искусственного интеллекта, недавно провели оценку моделей друг друга, чтобы лучше понять проблемы, которые могли упустить их собственные тесты.

В сообщениях в блогах обеих компаний OpenAI и Anthropic сообщили, что летом они провели оценку безопасности общедоступных моделей ИИ друг друга. Они также проверили их на склонность к искажению фактов и несоответствие (misalignment - термин, обычно используемый для обозначения модели ИИ, не выполняющей то, что от неё хотят разработчики).

Компании являются известными конкурентами (Anthropic была основана бывшими сотрудниками OpenAI), что делает их сотрудничество примечательным. OpenAI назвала совместные усилия по безопасности «первым крупным межлабораторным мероприятием по тестированию безопасности и соответствия». Компания надеется, что это обеспечит «ценный способ оценки безопасности на отраслевом уровне».

finam

Вторая сторона...

Всё чаще из СМИ становится известно о случаях, когда искусственный интеллект вместо помощи людям, оказавшимся в сложной ситуации, предлагает им решения совершенно иного плана.

Это, к сожалению, стало приводить к печальным последствиям.
Несколько громких эпизодов произошли в США и связаны с одной конкретной нейросетью.

Теперь её разработчики, чтобы исправить ситуацию, планируют интегрировать в неё:
📍 функцию родительского контроля;
📍 возможность добавить в чат-бот контакт доверенного лица для связи в чрезвычайных ситуациях;
📍 прямой вызов экстренных служб.

Правильно было бы, не дожидаясь трагедий, внедрить такие механизмы создателям и других нейромоделей.

Происшедшее показывает — излишняя цифровизация, отсутствие контроля могут нести опасность и вред.
Далеко не на все вопросы можно и нужно искать ответы в нейросетях.

Искусственный интеллект — это набор алгоритмов, инструментов и баз данных.
Он не бывает полностью объективен и, как оказалось, может содержать в себе скрытые угрозы.

Важно помнить об этом, пользуясь такими сервисами в жизни.

В ноябре планируем обсудить вопрос внедрения технологий ИИ и цифровизации.

Отдельное внимание и контроль — безопасности и защите граждан от негативных последствий использования нейросетей.

А как вы считаете?

📲 Подписывайтесь на мой канал в МАХ!

Разработчик системы мониторинга и защиты искусственного интеллекта HiveTrace привлек 10 млн рублей от стартап-студии МФТИ в виде конвертируемого займа. Деньги направят на совершенствование продукта.

HiveTrace обеспечивает мониторинг и защиту AI-систем в режиме реального времени, предотвращая промпт-атаки, утечки данных и неэтичное поведение AI-приложений. Продукт обладает актуальной базой jailbreaks и prompt attacks и, по собственным данным, способен блокировать до 90% токсичного контента.

HiveTrace был основан Евгением Кокуйкиным совместно с партнерами компании Raft, разработавшей интегратор AI-решений для бизнеса. В 2023 году в Raft было создано подразделение, специализирующееся на безопасности GenAI-систем. Летом 2024 года в магистратуре AI TalentHub ИТМО была открыта индустриальная лаборатория AI Security Lab. Результатом двухлетней работы этого направления стала первая версия продукта HiveTrace. Кокуйкин возглавил новую компанию в роли СЕО.

Сейчас решение HiveTrace проходит пилотирование на российском рынке в финансовом, промышленном и телеком-секторах, а также среди GenAI-стартапов.

@rusven

⭐️ Новый ГОСТ изменит работу с ИИ в критической информационной инфраструктуре

Российские компании, использующие искусственный интеллект в критической информационной инфраструктуре, готовятся к новым требованиям. ФСТЭК России опубликовала проект ГОСТ Р, устанавливающий правила обеспечения безопасности ИИ-систем в ключевых отраслях – от энергетики и транспорта до финансов и здравоохранения. При этом стоимость несоблюдения новых правил может оказаться значительной: это не только риски утечек конфиденциальных данных, но и штрафы, и потеря репутации.

Читать статью полностью: https://www.itsec.ru/articles/novyj-gost-izmenit-rabotu-s-ii-v-kii?ysclid=mewguvur89715960894

⭐️ Приятно читать такие отзывы!

Автору - Вы все еще можете присылать мне домашние задания, которые не успели, как мы и договаривались.

=========================================

Хочу искренне поблагодарить всю команду за организацию обучения учебной программы "Data Steward: специалист по стратегическому управлению данными".
Николай показал себя настоящим профессионалом — сумел охватить такую обширную тему и все её аспекты, при этом не утонув в мелочах.

Материал подавался очень живо и интересно. Даже сложные концепции объяснялись просто, человеческим языком с обилием примеров и отсылок на реальную практику.

Отдельное спасибо за практическую часть курса. Идея с поэтапным развитием проекта — просто гениальная! Жаль, что не успел выполнить все практические задания. Такой подход действительно помогает прочувствовать все нюансы работы и не превращать курс в скучную лекцию, к которой никто и никогда не вернется.

Единственное, что хотелось бы отметить, — интенсивность курса действительно высокая. Совмещать учёбу с работой непросто, особенно когда случаются технические накладки и пропускаешь занятие. Возможно, стоит добавить один-два дня для отдыха внутри блока, чтобы наверстать и сосредоточиться на практике?

В целом курс оставил исключительно позитивные впечатления.
Приятно было осознать, что мои начинания в рамках организации функции дата стюардов – вполне себе тренд 😊

Отдельное спасибо за популяризацию управления данными и пропаганду важности чистоты в данных.

=======================================================

Кому интересно, ссылки на учебную программу:
https://academyit.ru/courses/ds-dg
https://edu.softline.com/vendors/akademiya-ayti/data-steward-specialist-po-strategicheskomu-upravleniyu-dannymi/

Архитектор MLSecOps
Николай Павлов

⭐️ ИИ — новая угроза или поле битвы? Почему специалистам по ИБ срочно нужно прокачать навыки

Развитие искусственного интеллекта создает не только новые возможности, но и принципиально новые векторы кибератак. Эпоха ИИ требует от специалистов по кибербезопасности принципиально новых навыков. Атаки на модели машинного обучения, Data Poisoning и Adversarial attacks — это не гипотетические риски, а реальность. Инструментом решения сложившейся ситуации является своевременная и актуальная подготовка кадров, как дообучение опытных действующих специалистов, так и соответствующая подготовка новых.

MLSecOps — это новая обязательная специализация для создания доверенных решений с ИИ, а не маркетинговый ход.

Скорость появления новых решений в сфере искусственного интеллекта измеряется неделями, а киберпреступники адаптируются к новым инструментам еще быстрее. Бизнес осознал главную уязвимость: традиционные методы защиты бессильны против атак, нацеленных на саму логику ИИ. Генерация персонифицированного фишинга, автоматический поиск Zero-Day уязвимостей, подмена данных в обучающих выборках — это лишь вершина айсберга новых угроз.

Главный вызов сегодня заключается не в самом внедрении ИИ, а в обеспечении его безопасности. Компании столкнулись с острейшим дефицитом кадров на стыке двух дисциплин: классической кибербезопасности и искусственного интеллекта.

Требуются специалисты, которые понимают:

1. Как устроены и работают ИИ-модели, чтобы находить в них уязвимости (например, производить adversarial attacks — «враждебные» атаки на модели).

2. Как защищать данные, используемые для обучения моделей, от краж и подмены.

3. Как обеспечить соответствие ИИ-систем требованиям регуляторов и этическим нормам.

При этом готовых «ИИ-специалистов по безопасности» на рынке практически нет. Их просто не успели подготовить.

Продолжение: https://vk.com/wall-210601538_1878

⭐️ Мужчина лечился по советам ChatGpt и в итоге оказался в больнице с раком 4 стадии

Мужчина в Ирландии лечился по советам чат-бота с искусственным интеллектом ChatGpt и в итоге оказался в больнице, пишет Mirror.

Ирландец Уоррен Тирни оказался в больнице после того, как несколько месяцев консультировался не с врачами, а с искусственным интеллектом. Он обратился к ChatGPT, когда у него появились постоянная боль в горле и трудности с глотанием. По словам мужчины, чат-бот заверил его, что «крайне маловероятно», что эти симптомы связаны с раком. Более того, инструмент подбадривал его сообщениями о том, что не стоит переживать.

Эти ответы внушили мужчине ложное чувство уверенности, и он продолжал игнорировать проблему. Однако со временем симптомы усилились, и он все же обратился в отделение неотложной помощи. Там врачи диагностировали у него аденокарциному пищевода четвертой стадии — редкий и агрессивный рак горла. Пятилетняя выживаемость при этом диагнозе составляет всего 5–10%.

gazeta ru

⭐️ Искусственный интеллект в бизнесе: как избежать юридических ловушек

Искусственный интеллект (ИИ) за последние десятилетия претерпел колоссальные изменения, трансформируясь от узкоспециализированных алгоритмов до сложных самообучающихся систем. В начале своего развития ИИ использовался для решения конкретных задач, например, распознавание образов или игра в шахматы. Однако с появлением машинного обучения, глубоких нейронных сетей и больших данных его возможности значительно расширились.

К 2026 году ожидается дальнейшая эволюция ИИ в сторону автономности и интеграции не только в повседневную жизнь, но и в бизнес-процессы. По данным OpenAI, ChatGPT обрабатывает более миллиарда запросов в неделю и имеет свыше 200 млн пользователей. Gartner (американская исследовательская и консалтинговая компания, специализирующаяся на технологиях и бизнесе) прогнозирует: к 2026 году до 25 % трафика уйдёт от Google к AI. Например, в 2025 году OpenAI запустил механизм Search Memory. Теперь ChatGPT не просто выдаёт информацию, а показывает брендовые товары в виде карточек с фото, рейтингом и кнопкой перехода на сайт.

В России искусственный интеллект активно внедряется в различные сферы бизнеса, чтобы повысить эффективность и конкурентоспособность.

Продолжение: https://vk.com/wall-210601538_1880

⭐️ MLSecOps-инженер в Т-банк
Опыт работы: 3–6 лет на месте работодателя или гибрид

Мы — команда, которая соединяет DevSecOps-инженеров, архитекторов информационной безопасности и специалистов по AI/ML Security.
Наша миссия — проектировать, строить и защищать сложные распределенные системы, включая новые поколения LLM и AI-агентов, которые работают в финансовой инфраструктуре.
Следим за безопасностью моделей машинного обучения и инфраструктуры Т‑Банка. Ищем инженера в направление AI/ML Security.
У нас нет разделения между проектированием и поддержкой. Мы делаем все:
— Придумываем архитектуру и защиту на этапе дизайна.
— Внедряем DevSecOps-инструменты в CI/CD и MLOps-пайплайны.
— Разрабатываем свои security-продукты и интеграции.
— Запускаем Red Team кампании против ML-моделей и защищаем их от реальных атак.
Мы ценим глубину экспертизы, инженерную креативность и умение доводить дело до конца. У нас сложные задачи, быстрые циклы принятия решений и прямой доступ к архитектурным изменениям в продуктах.
Вы станете частью команды, которая формирует стандарты AI Security для отрасли, и сможете влиять на то, как будут выглядеть AI-сервисы в компании.

Обязанности:

+ Внедрять и интегрировать сканеры моделей в CI/CD и Model Registry — Garak, ModelScan, Llama-Guard, ProtectAI tools
+ Автоматизировать LLM Red Teaming: сценарии prompt injection, jailbreak, data extraction. Запускать тесты по расписанию и агрегировать отчеты
+ Проектировать безопасные MLOps-процессы, интегрировать практики DevSecOps в пайплайны обучения и деплоя моделей — SAST, DAST, SCA, secrets scanning
+ Разрабатывать внутренние инструменты: сервисы и плагины на Python и Go для оркестрации тестов, фильтрации промптов, подписи и валидации данных
+ Обеспечивать безопасность агентов и MCP: контроль промптов, подпись, rate-limiting, audit logging, защита в runtime
+ Интегрировать системы с безопасностной инфраструктурой, включая IAM, ZeroTrust, ASOC, ASPM, vulnerability management platform
+ Настраивать мониторинг и алерты, реагировать на инциденты
+ Обучать команды: создавать документацию, чек-листы и проводить тренинги по безопасной работе с LLM и ML

Требования:

+ У вас есть опыт в DevSecOps, SRE, MLOps или Security Engineering от 3 лет
+ Работали с ML/LLM-фреймворками — PyTorch, TensorFlow, HuggingFace Transformers
+ Есть опыт в DevSecOps: SAST/DAST/SCA, CI/CD — Jenkins, GitLab CI, GitHub Actions, ArgoCD
+ Понимаете архитектуру трансформеров, fine-tuning (LoRA, adapters), RAG (FAISS, Milvus)
+ Разбираетесь в атаках на ML: prompt injection, jailbreak, model extraction, membership inference, data poisoning
+ Работали с инструментами ML-security — garak, modelscan, llama-guard, ProtectAI
+ Работали с инструментами DevSecOps: trivy, semgrep, grype, syft
+ Знаете Python или Go
+ Разбираетесь в Kubernetes или Docker и механизмах безопасности — PodSecurity, SECCOMP, AppArmor, kube-bench
+ Будет плюсом опыт разработки собственных моделей машинного обучения и построения MLOps-процессов, eBPF-наблюдение за ML-процессами и опыт с inference — vLLM, TGI, TensorRT, ONNX

Условия:

+ Работу в офисе или удаленно — по договоренности
+ Возможность работы в аккредитованной ИТ-компании
+ ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
+ Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
+ Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
+ Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
+ Компенсацию затрат на спортивные абонементы, приложение Т‑Спорта для онлайн-занятий и командные тренировки с коллегами
+ 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
+ Специальные тарифы на продукты Т‑Банка и широкую программу скидок от партнеров
+ Достойную зарплату — обсудим ее на собеседовании

Ссылка на вакансию: https://hh.ru/vacancy/124784279

⭐️ Инциденты MLSecOps. Мошенники используют ИИ-бота Grok для обхода защиты социальной сети X

Исследователь кибербезопасности из Guardio Labs Нати Таль обнаружил новую схему мошенничества в социальной сети X, получившую название «Grokking». Злоумышленники научились использовать чат-бот Grok для публикации запрещенных ссылок, обходя системы безопасности платформы.

Механизм атаки основан на манипуляции с метаданными видеорекламы. Мошенники размещают привлекательные видеообъявления, часто с контентом для взрослых, и скрывают вредоносные URL в поле метаданных «From:», которое, по всей видимости, не проверяется системами модерации X. Затем они публикуют комментарий к собственной рекламе, запрашивая у Grok информацию об источнике видео. Чат-бот анализирует скрытое поле и выдает полностью кликабельную ссылку в своем ответе.

Пользователи, доверяя искусственному интеллекту Grok, переходят по этим ссылкам, что приводит к финансовым потерям. По имеющимся данным, Web3-проекты уже потеряли около $1,25 миллиарда из-за подобных хакерских атак.

Таль незамедлительно уведомил администрацию X о выявленной уязвимости. Технические специалисты платформы начали работу над устранением проблемы, однако пока не сообщается о конкретных мерах противодействия.

Продолжение: https://vk.com/wall-210601538_1882

⭐️ Гонка вооружений: топ-5 детекторов нейросетей

За последние пару лет генерируемые тексты начали выглядеть подозрительно натурально. Они стали грамотными, разнообразными по стилю и даже немного остроумными. И если их слегка «доработать напильником», то можно легко выдать за свою собственную работу.

И тут начинается проблема. Бизнес столкнулся с ситуацией, когда он платит за работу копирайтера или агентства, а получает красиво упакованный (а зачастую нет даже этого) текст из ChatGPT. Вроде выглядит нормально, а по факту — пустота. Нет авторской мысли, нет глубокого понимания темы, зато полно общих фраз и очевидных фактов. Если так сделать раз-другой, никто не заметит, а вот если постоянно — клиент или аудитория быстро почувствует подвох. В итоге компания платит деньги за качество, а получает посредственный контент, который только притворяется годным.

Отдельная проблема — публикации контента от имени компании. В соцсетях и блогах сегодня публикуется так много всего, что контролировать каждую строчку порой невозможно. И вот стажёр или молодой сотрудник решает не париться и запускает текст через нейросеть. Это удобно и быстро, но чревато. Например, на vc ru был случай с Авито, когда текст блога оказался настолько искусственным, что читатели буквально завалили его иронией и критикой. И если в обычных ситуациях это грозит просто неловкостью, то в чувствительных сферах вроде финансов, медицины или права ошибка нейросети может стать причиной вполне реальных проблем, вплоть до судебных разбирательств.

Пока что в России нет закона, который запрещал бы использовать нейросети для создания коммерческого контента. Но Роскомнадзор уже обсуждает возможную маркировку таких материалов. В Евросоюзе приняли AI Act, требующий, чтобы компании сообщали о контенте, сгенерированном нейросетями, особенно если речь идёт о чувствительных сферах. А значит, уже сегодня важно хотя бы уметь отличать тексты, написанные людьми, от текстов, созданных нейросетями. Это не вопрос запрета технологий, а скорее про прозрачность и доверие: никто не любит, когда его пытаются обмануть. Поэтому давайте посмотрим, что придумали в противовес нейронкам.

I. GigaCheck (Сбер)

Это один из самых точных русскоязычных детекторов. По официальным данным, на текстах объёмом от 20 до 10 000 символов точность достигает 94,7% при вероятности ложного срабатывания не более 1 %. В тестах Сбербанка система смогла обнаружить, что примерно 6 % новостных статей написаны нейросетью. Есть ограничения — пока что можно получить только общий процент ИИ‑контента в тексте, но разработчики обещают вскоре добавить возможность указания конкретных фрагментов, что уже тестируется в версии чекера в Telegram-боте.

Очень неплохо работает на длинных текстах, редко даёт ложные срабатывания. Подходит для проверки контента от подрядчиков.

II. Ai Detector от Text ru

Этот инструмент оценивает вероятность ИИ‑текста с точностью более 75 %. Причём неудобства возникают на коротких текстах (до 1 000 знаков) или в случае канцелярита и шаблонных фраз — тогда результат часто бывает ложноположительным. В ряде авторских обзоров выяснили, что на бытовых или узкоспециализированных темах детектор может неверно считать ИИ‑текст человеческим, особенно если стилистика неформальная.

Неплох как дополняющий инструмент для предварительной проверки, особенно на больших объёмах. Но нуждается в человеческой интерпретации вывода.

Продолжение: https://vk.com/wall-210601538_1883

⭐️ MLSecOps и Data Steward как факторы успеха бизнеса: от качества данных до безопасности ИИ-систем

По просьбам подписчиков 15 сентября с 11:00 до 12:30 по МСК проводим бесплатный вебинар по передовым профессиям MLSecOps и Data Steward. Подключайтесь, будем рады!

Обилие высококачественных, надежных и хорошо организованных данных открывает широкие возможности для внедрения интеллектуальных решений, обеспечивающих значительный прирост эффективности бизнеса. Однако важно обеспечить качество, безопасность и надежность самих данных (за это отвечают специалисты Data Stewards), а также разработанных на их основе ИИ-решений (эта задача лежит на команде MLSecOps).

Приглашаем на вебинар, где наш эксперт Николай Павлов подробно расскажет о важной роли специалистов Data Stewards и MLSecOps в обеспечении качества, безопасности и надежности больших данных и современных ИИ-систем.

На вебинаре Вы получите конкретные рекомендации по внедрению процессов Data Governance и повышению уровня информационной безопасности в компаниях, включая пошаговую инструкцию по созданию системы управления данными и меры противодействия угрозам в MLSecOps.

Спикер: Николай Павлов — архитектор MLSecOps, опытный тренер и разработчик электронных курсов Академии Softline.

Автор уникальных программ и учебных материалов, которые на практике доказали свою эффективность и востребованность среди специалистов в области управления данными и безопасности ИИ-систем.

Каждый участник вебинара получит бонусы от эксперта:

+ Глоссарий терминов для профессии MLSecOps
+ Глоссарий терминов для профессии Data Steward
+ Перечень полезных правил безопасной работы пользователей с ИИ-системами

На вебинаре рассмотрим:

+ Роль и методы обеспечения качества данных в Data Governance
+ Потенциальные угрозы и инциденты при использовании ИИ-систем
+ Многоуровневую систему управления данными
+ Базовые рекомендации по безопасной работе рядовых сотрудников с ИИ-системами
+ Опыт успешного внедрения Data Governance на практике крупной компании
+ Фундаментальные тренды сферы IT
+ Инструменты и технологии MLSecOps
+ Подробную архитектуру Data Governance

Ссылка на регистрацию: https://edu.softline.com/news/mlsecops-i-data-steward-kak-faktory-uspekha-biznesa-ot-kachestva-dannykh-do-bezopasnosti-ii-sistem/?ysclid=mfap5wk9k1780644125

Архитектор MLSecOps
Николай Павлов

⭐️ Исследование показало, что программисты, использующие ИИ, провоцируют рост проблем с безопасностью

Как показало новое исследование компании Apiiro, занимающееся компьютерной безопасностью, разработчики, использующие ИИ, создают в десять раз больше проблем для безопасности, чем их коллеги, не использующие эту технологию. Проанализировав код тысяч разработчиков и десятки тысяч репозиториев (место, где хранятся данные), сотрудники Apiiro обнаружили, что разработчики, использующие ИИ, действительно пишут код в три–четыре раза быстрее. Но именно скорость и приводит к появлению брешей в системе безопасности.

По иронии судьбы, некоторые «преимущества» программирования с использованием ИИ, по-видимому, стали причинами этих проблем. Анализ Apiiro показал, что количество синтаксических ошибок сократилось на 76%, а количество логических ошибок (неисправного кода, приводящего к некорректной работе программы) — более чем на 60%.

Однако компромисс оказался серьезным: количество случаев повышения привилегий, или кода, позволяющего злоумышленнику получить более высокий уровень доступа к системе, чем ему положено, выросло на 322%. Количество проблем с архитектурным проектированием, в свою очередь, увеличилось на 153%. Другими словами, ИИ исправляет опечатки, но создает «бомбы замедленного действия».

Продолжение: https://vk.com/wall-210601538_1885

⭐️ ИИ будет выгоднее для защитников, чем для хакеров: как нейросети меняют правила игры в кибербезе

Недавно компания ESET обнаружила первый вирус, который использует искусственный интеллект прямо на зараженном устройстве. Программа PromptLock встраивает модель GPT-OSS-20b от OpenAI и генерирует вредоносные скрипты на ходу, не обращаясь к серверам злоумышленников. Теперь один человек с ИИ-ассистентом может провести кибератаку, для которой раньше требовалась команда хакеров. Порог входа в киберпреступность стал ниже, защитники едва успевают адаптироваться.

I. Вайб-хакинг

Первые попытки использовать генеративный ИИ для создания вредоносного ПО появились еще в конце 2024 года. Тогда была замечена программа-шифровальщик FunkSec, атаковавшая организации в Европе и Азии. Анализ показал, что многие фрагменты ее кода были написаны не вручную, а автоматически с помощью ИИ.

Идею использования злоумышленниками ИИ в создании вредоносных программ нельзя назвать новой. Однако раньше результаты часто оказывались сырыми — код содержал ошибки, в одной программе могли использоваться команды для разных операционных систем одновременно.

Эксперты считают, что ИИ пока больше снижает порог входа в киберпреступность, чем кардинально меняет ее ландшафт. Но это уже создает заметный эффект: люди без глубоких технических знаний получают доступ к инструментам, которые раньше требовали серьезной экспертизы.

Настоящий прорыв в использовании ИИ для кибератак продемонстрировал случай, который компания Anthropic назвала вайб-хакинг. Группа киберпреступников использовала Claude Code — ИИ-агент для программирования, — чтобы вымогать данные у 17 организаций по всему миру, включая медицинские учреждения, службы экстренного реагирования и даже государственные структуры.

Продолжение: https://vk.com/wall-210601538_1886