⭐️ Эксперт по кибербезопасности компании AppSec Solutions Юрий Шабалин провел эксперимент и обнаружил в ИИ-агентах уязвимость

Эксперт по кибербезопасности компании AppSec Solutions Юрий Шабалин провел эксперимент и обнаружил в ИИ-агентах уязвимость, которая может буквально открыть злоумышленникам дверь к данным пользователя.

Эксперт по кибербезопасности с помощью популярного сервиса создал личного ИИ-ассистента, обучил его и делегировал ему рутинные задачи: принимать и обрабатывать голосовые сообщения, создавать встречи, отправлять электронные письма и напоминать о дедлайнах и прочие рутинные задачи, которыми заниматься не хотелось. Настроить было несложно, подробная инструкция была обнаружена на популярном видеохостинге. Странности эксперт заметил уже при просмотре туториала.

«По ходу работы я обнаружил важный нюанс, который легко упустить из виду, если не рассматривать процесс через призму информационной безопасности. А в туториалах заложена базовая ошибка, и если ИИ-ассистент сделан на основе инструкций с «Ютуба», в нем уже сразу есть уязвимость. Я не пожалел своего времени, и нашел 10 наиболее популярных роликов на русском языке, которые рассказывают, как создать своего персонального ИИ-ассистента на платформе n8n. Суммарное количество просмотров этих роликов на момент написания статьи составляет 607,5 тыс. просмотров. И ни в одном из этих видео не упоминается про настройку ограничения», — сказал директор по продукту «Стингрей» компании AppSec Solutions Юрий Шабалин.

Продолжение: https://vk.com/wall-210601538_1775

⭐️ Делиться личными данными с ИИ может быть опасно

ИИ-сервисы стали неотъемлемой частью повседневной жизни, используясь для работы с текстами, анализа данных и даже в медицине. Однако важно понимать, куда уходят ваши запросы и что происходит с этими данными. ИТ-эксперт Илья Костунов в беседе с «ФедералПресс» рассказал о том, как нейросети обрабатывают информацию и какие риски скрываются за их удобством.

Как отметил Костунов, искусственный интеллект активно используется в различных сферах благодаря своей эффективности и быстроте: запрос — и сразу готовый результат. Однако за удобством скрывается сложная структура, в которой данные пользователей могут оставаться не только в памяти системы, но и быть использованы для обучения моделей. Это означает, что даже личные запросы, отправленные в такие сервисы, как ChatGPT или DeepSeek, могут быть сохранены, проанализированы и использованы в будущих ответах, особенно в бесплатных версиях.

Утечки данных — это уже не гипотезы, а реальность, с примерами, когда компаниям приходилось полностью запрещать использование ИИ. Например, в 2023 году сотрудники Samsung случайно загрузили конфиденциальную информацию в ChatGPT, что привело к полному запрету на использование сервиса в компании. В том же году с помощью вирусов, таких как Raccoon Infostealer, были украдены чаты пользователей, а также логины и пароли, оставшиеся в открытых документах, которые стали частью обучающего массива нейросетей.

Продолжение: https://vk.com/wall-210601538_1776

⭐️ Тайный секрет успешных компаний: как ИИ даёт +12 свободных часов в неделю

Современные инструменты на основе искусственного интеллекта значительно сокращают время на рутинные задачи, такие как фиксация результатов встреч, оформление договоренностей и поиск информации.

Согласно исследованию, при регулярном использовании ИИ-решений:

+ При 3+ встречах в день время на обработку данных сокращается с 14-16,4 часа до 4-4,2 часа в неделю.

+ При 1-2 встречах экономия составляет 6 часов (с 8,5 часа до 2,5 часа).

В целом ИИ позволяет высвобождать от 6 до 12,2 часов еженедельно. В денежном выражении это:

+ До 31 тысяч рублей в месяц на одного сотрудника.

+ До 153 тысяч рублей — для руководителей с высокой загрузкой.

Дополнительные преимущества:

+ Обработка сообщений в мессенджерах ускоряется в 3 раза (с 25 минут до 7,5 минут в день).

+ Половина малых и средних компаний уже активно используют ИИ в рабочих процессах. Среди крупных компаний таких большинство.

Источник: Просто работа

⭐️ Беспилотный трамвай начал движение в Москве

На базе Центра перспективных разработок, созданного около года назад, инженеры и IT-специалисты реализуют инициативы по автоматизации городской транспортной сети. Ключевым направлением на текущем этапе стало развитие беспилотных решений в трамвайном и метрополитенном сообщении.

Один из главных проектов — испытания первого беспилотного трамвая под названием «Львенок-Москва». На маршруте, где проходят тесты, транспортное средство движется по заданному алгоритму, используя системы компьютерного зрения, навигации и контроля препятствий.

Также завершается подготовка к запуску поезда без машиниста на Большой кольцевой линии метрополитена. Ожидается, что в тестовом режиме он выйдет на маршрут в ближайшие месяцы.

abnews

⭐️ В Нью-Йорке принят законопроект о предотвращении катастроф, вызванных ИИ

В четверг законодатели штата Нью-Йорк приняли законопроект, который должен предотвратить использование передовых моделей искусственного интеллекта от OpenAI, Google и Anthropic в ситуациях, угрожающих жизни и здоровью людей, а также приводящих к значительным экономическим потерям. Законопроект направлен на то, чтобы избежать катастроф, в которых пострадают более 100 человек или будет нанесен ущерб на сумму свыше 1 миллиарда долларов.

Принятие законопроекта RAISE — это возможная победа движения за безопасность ИИ, которое утратило свои позиции в последние годы, поскольку Кремниевая долина и администрация Трампа сделали приоритетом скорость и инновации. Сторонники безопасности, в том числе лауреат Нобелевской премии Джеффри Хинтон и пионер в области исследований ИИ Йошуа Бенжио, выступили в поддержку законопроекта RAISE. Если он станет законом, то установит первый в Америке набор обязательных стандартов прозрачности для передовых лабораторий ИИ.

Законопроект RAISE содержит некоторые из тех же положений и целей, что и спорный законопроект SB 1047 о безопасности ИИ в Калифорнии, который в конечном итоге был ветирован. Однако соавтор законопроекта, сенатор от штата Нью-Йорк Эндрю Гунардес, в интервью TechCrunch сказал, что он намеренно разработал законопроект RAISE таким образом, чтобы он не препятствовал инновациям среди стартапов или академических исследователей — распространённая критика SB 1047.

Продолжение: https://vk.com/wall-210601538_1779

⭐️ Когда и где появился первый в мире беспилотный трамвай?

Ну что, мои дорогие друзья? В продолжение статьи о первом беспилотном трамвае в Москве мне стало интересно, а есть ли беспилотные трамваи в Китае? И, если да, насколько мы "опоздали" с их запуском?

Еще 20 декабря 2019 года (!!!) на dzen можно найти новость:

==============

В полном соответствии с современными тенденциями, развитие общественного транспорта в Китае ориентировано на электрические беспилотные варианты. В городе Ибинь, китайская провинция Сычуань, запущен в эксплуатацию удивительный футуристический общественный транспорт – на маршруте протяженностью 17 км курсируют составы, объединяющие преимущества трамвая и автобуса. Основные характеристики необычного гибрида:

Продолжение: https://vk.com/wall-210601538_1780

⭐️ Инциденты MLSecOps. Уязвимость безопасности в Microsoft 365 Copilot (CVE-2025-32711)

Серьезная уязвимость в системе безопасности Microsoft 365 Copilot позволила злоумышленникам получить доступ к конфиденциальным данным компании с помощью специально составленного электронного письма — без каких-либо кликов или взаимодействия с пользователем. Уязвимость под названием «EchoLeak» была обнаружена компанией Aim Security, специализирующейся на кибербезопасности.

Copilot, помощник Microsoft с искусственным интеллектом для приложений Office, таких как Word, Excel, PowerPoint и Outlook, предназначен для автоматизации задач. Но именно эта возможность делает его уязвимым: одно электронное письмо со скрытыми инструкциями может побудить Copilot искать внутренние документы и раскрывать конфиденциальную информацию, включая содержимое электронных писем, таблиц или чатов.

Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, помощник интерпретировал поддельное сообщение как законную команду. Пользователь так и не увидел инструкций и не понял, что происходит. Компания Aim Security описывает это как атаку «без клика» — тип уязвимости, не требующий никаких действий со стороны жертвы.

В Microsoft сообщили Fortune, что проблема уже устранена и что ни один клиент не пострадал. «Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется. Мы также внедряем дополнительные многоуровневые меры защиты для дальнейшего укрепления нашей системы безопасности», — заявил представитель компании. Компания Aim Security ответственно сообщила об обнаружении уязвимости.

Продолжение: https://vk.com/wall-210601538_1781

Вебинар AI Security Lab только что начался! Друзья, подключаемся, узнаем про новый опыт в MLSecOps!

Через час стартует вебинар про AI Red Teaming инструмент Llamator. Участники прошедшего курса по безопасности ИИ поделятся новыми атаками, которые они добавили в продукт, а разработчики расскажут о планах развития.

Подключайтесь по ссылке: https://us06web.zoom.us/j/82334897183?pwd=d91TXfJiYJ4v5zYZbJIr9slhWrZ6MC.1

⭐️ С помощью ИИ можно нанести больше вреда, чем ядерным оружием

С помощью искусственного интеллекта можно нанести вред больше, чем ядерным оружием, заявил президент Торгово-промышленной палаты РФ Сергей Катырин в кулуарах церемонии награждения лауреатов премии "Золотой Меркурий".

"На самом деле эта тема очень серьезная и для международного сообщества, потому что сегодня с помощью искусственного интеллекта навредить-то можно больше, чем ядерным оружием. Потому что, как вы понимаете, он может проникнуть в том числе и в то, что касается обороны промышленности, и в то, что касается обороны каждого из государств, в одно и другое. Транспорт, ну и так далее", — сказал Катырин.

Он отметил, что интерес к ИИ "достаточно серьезный, особенно у крупных компаний". "Первый — это промышленность, это банковский сектор, это ритейл. Это те, кто достаточно серьезно использует, уже использует искусственный интеллект. В пример можно Сбербанк привести. Они там уже выстроили целую экосистему с искусственным интеллектом, который может общаться и с партнерами, и с клиентами", — добавил Катырин.

Продолжение: https://vk.com/wall-210601538_1783

⭐️ Как гибридные (квантово-классические) атаки меняют ландшафт безопасности ИИ

В 2024 году квантовые компьютеры ещё не взломали RSA, но в тестировании на проникновение ИИ - они уже стали инструментом. Эксперты MITRE и NIST прогнозируют, что к 2030 году 15% атак на ML-модели будут использовать квантовые алгоритмы.

Давайте разберем реальные сценарии таких атак.

Сценарий 1. Гибридные атаки: Квант + Классический ИИ

Классические adversarial-атаки требуют перебора тысяч вариантов. Для сокращения времени поиска «ядовитых» пикселей используем квантовый алгоритм Гровера.

Алгоритм Гровера — это квантовый "ускоритель" перебора. Позволяет найти иголку в стоге сена за √N попыток вместо N (как в классическом компьютере).

Чтобы найти имя в телефонной книге из 10 000 номеров, нужно проверить все подряд (в худшем случае — 10 000 раз). Алгоритм Гровера найдет имя за √10 000 = 100 "запросов".

Эксперимент IBM (2023):

==========
python
from qiskit import Aer
from qiskit.algorithms import Grover
from qiskit.circuit.library import AdversarialOracle

Оракул ищет adversarialпример для CNN
oracle = AdversarialOracle(model=resnet18, target_class=42)
grover = Grover(quantum_instance=Aer.get_backend('qasm_simulator'))
result = grover.amplify(oracle)
==========

Находит атаку за 28 итераций вместо 1000.

Результат: В 3 раза быстрее, чем классический PGD-метод.

Риск: Взлом систем компьютерного зрения (беспилотники, биометрия).

Квантовое отравление данных (Quantum Data Poisoning)

Атакующий использует VQE (Variational Quantum Eigensolver) для генерации «идеально ядовитых» данных, для незаметного смещения границ решений модели.

В медицинском ИИ (например, диагностика рака) 0,1% отравленных данных снижают точность на 20%.

Сценарий 2. Угрозы для Federated Learning

Квантовый компьютер взламывает homomorphic encryption, используя алгоритм Шора, и крадёт веса моделей из распределённых узлов.

Алгоритм Шора - это квантовый алгоритм, который разлагает большие числа на простые множители (факторизация).

Почти вся современная криптография (RSA, ECC) основана на том, что классические компьютеры не могут быстро факторизовать числа. Представьте, что у вас есть число 21, и нужно найти его множители (3 и 7).Для маленьких чисел это легко, но для числа из 1000 цифр даже суперкомпьютеру потребуются тысячи лет.

Продолжение: https://vk.com/wall-210601538_1784

⭐️ OpenAI разработает прототип на базе ИИ для решения задач в боевых условиях

Американская компания OpenAI получила контракт министерства обороны США в 200 миллионов долларов на разработку передовых прототипов генеративного искусственного интеллекта для решения задач в области национальной безопасности в боевых условиях, сообщили в Пентагоне.

"Компания OpenAI Public Sector из Сан-Франциско, штат Калифорния, получила контракт на фиксированную сумму 200 миллионов долларов. За это вознаграждение исполнитель разработает прототипы передовых возможностей искусственного интеллекта для решения критических проблем национальной безопасности", - говорится в заявлении ведомства.

Отмечается, что будущее средство должно работать в боевых условиях, а также и в корпоративной среде. Его разработка должна быть завершена в июле 2026 года.

РИА

⭐️ Провел замечательную встречу со старшими ребятами в лагере "Антоновский" по безопасной работе с нейронными сетями! Было очень много вопросов, ребята молодцы!

Архитектор MLSecOps
Николай Павлов

⭐️ "Группа Астра" сделает вклад в развитие безопасного ИИ

"Группа Астра" и "Национальный технологический центр цифровой криптографии" (АНО НТЦ ЦК) в ходе форума ЦИПР заключили соглашение о стратегическом партнерстве. Подписи под документом поставили Дмитрий Служеникин, советник по специальным проектам НТЦ ЦК, и технический директор вендора Антон Шмаков.

АНО "НТЦ ЦК" является лидером недавно открытого при поддержке Минцифры Консорциума исследований безопасности технологий искусственного интеллекта, который объединил ведущие научные организации, специалистов в области кибербезопасности и профильных разработчиков. Консорциум занимается созданием и развитием защищенных ИИ-технологий, тестированием программно-аппаратных комплексов (ПАКов) на уязвимости и функциональную надежность, формирует нормативную базу и создает технические решения для внедрения ИИ в госсекторе, в том числе на объектах КИИ.

Продолжение: https://vk.com/wall-210601538_1789

⭐️ MLSecOps engineer в Уральский центр систем безопасности

Полная занятость, гибрид/удаленка

Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.

Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.

В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!

Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!

Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности

Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность

От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.

Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)

Ждём тебя в крутой команде профессионалов УЦСБ!

Ссылка на вакансию: https://hh.ru/vacancy/118594487

Архитектор MLSecOps
Николай Павлов

⭐️ Инциденты MLSecOps. Критическая угроза 9,8 из 10: новый ботнет захватывает ИИ-серверы по всему миру

Внимание специалистов в области информационной безопасности привлекла новая вредоносная кампания, в рамках которой активно эксплуатируется критическая уязвимость в платформе Langflow. Через неё злоумышленники распространяют ботнет Flodrix — усовершенствованный вариант уже известной вредоносной программы LeetHozer, связанной с группировкой Moobot.

Уязвимость CVE-2025-3248 , получившая 9.8 баллов по шкале CVSS, представляет собой отсутствие механизма аутентификации в Langflow — визуальной среде разработки ИИ-приложений на Python. Благодаря этой ошибке, атакующий может удалённо выполнять произвольный код на сервере, отправив специально сформированный HTTP-запрос. Проблема была устранена в версии Langflow 1.3.0, выпущенной в марте 2025 года.

Тем не менее, несмотря на наличие исправления, уязвимость продолжает активно эксплуатироваться. В мае Агентство по кибербезопасности и инфраструктурной безопасности США (CISA) включило этот инцидент в свой перечень подтверждённых угроз, а специалисты SANS Institute зафиксировали попытки эксплуатации на своих honeypot-серверах.

Согласно новому отчёту от Trend Micro, злоумышленники используют общедоступный PoC-эксплойт, чтобы проводить разведку уязвимых экземпляров Langflow, доступных из интернета. Затем через уязвимость загружается shell-скрипт, который устанавливает Flodrix с удалённого сервера по адресу 80.66.75[.]121:25565. Установка осуществляется прямо в контексте сервера, так как в Langflow отсутствует проверка входных данных и механизм песочницы.

Продолжение: https://vk.com/wall-210601538_1791

⭐️ Эксперты ПМЭФ обсудили риски нейросетей в медиасфере

Основные риски использования искусственного интеллекта (ИИ) в медиа - дезинформация, дипфейки и подрыв доверия к СМИ. Об этом рассказал первый заместитель председателя комитета Совета Федерации по конституционному законодательству Артем Шейкин на сессии "ИИ в современной медиасфере" в рамках Петербургского международного экономического форума.

"Регулирование искусственного интеллекта в медиа не требует запретов, оно требует умных правил", - заявил эксперт. Шейкин предложил "правила трех П" для регулирования использования ИИ: прозрачность алгоритмов, подотчетность платформ и превентивные стандарты безопасности.

Генеральный директор Института искусственного интеллекта AIRI Иван Оселедец предупредил о политической предвзятости языковых моделей. По его словам, исследование 109 исторических кейсов показало, что модели в 70% случаев выбирают точку зрения США, даже когда их просят быть беспристрастными. "Русскоязычные источники составляют менее 1% от обучающих данных", - объяснил он.

Генеральный директор агентства "Социальные Сети" Денис Терехов прогнозирует кардинальные изменения в медиаландшафте. По его словам, в будущем тексты, написанные человеком, будут встречаться реже, чем сгенерированные. "Около 80% всех текстов в интернете - это рерайт, и с этим рерайтом лучше справится машина", - заявил он. Терехов считает, что редакция будущего - это место, где люди получают удовольствие от журналистики, а информирование и донесение смыслов возьмет на себя ИИ.

Технический директор Цземянь и Цайляньшэ Финтех ко, Объединенной Шанхайской Медиагруппы Чжоу Е поделился масштабами автоматизации в китайских медиа:
- Два года назад GPT-чат поменял наше общение с аудиторией. Контент стал создаваться автоматически. Многие наши авторы, которые производят письменный контент, столкнулись со сложностями. Новейшие технологии были интегрированы в нашу ежедневную работу. Сегодня в среднем производится порядка 800 статей или новостей, которые пишутся людьми. В то время как количество новостей, написанных ИИ, достигает 4000 тысяч каждый день, и эти цифры растут. Лингвистические модели гораздо дешевле, чем люди. Этим надо пользоваться, - заявил представитель шанхайского СМИ.

"Мы должны понимать, какова наша роль в современной экосистеме. Какие-то проблемы могут исчезнуть очень быстро, если мы будем использовать лингвистические модели вместо того, чтобы приниматься за эти проблемы вручную", - думает Е.

При этом 70% всего производимого в Китае медиаконтента создается искусственным интеллектом. Такую весьма пугающую статистику привели аналитики из Поднебесной на полях ПМЭФ.

Российская Газета

⭐️ Безопасность использования ИИ в банках: что важно знать

I. Где именно ИИ используется в банках?

Искусственный интеллект в банках — это уже не фантастика, а часть повседневной работы. Его используют для оценки кредитных рисков, выявления мошенничества, анализа поведения клиентов и даже для общения через чат-ботов.

Для начала важно понимать: искусственный интеллект в банках — это не какая-то одна система, а целый набор инструментов, в первую очередь нейросети. Они обрабатывают огромные массивы данных и помогают принимать решения быстрее и точнее, чем человек. Вот примеры.

1. Оценка кредитоспособности. ИИ анализирует поведение клиента, историю платежей, доходы, расходы и даже поведение в интернете — например, как человек заполняет анкету.

2. Выявление мошенничества. Алгоритмы мгновенно замечают подозрительные операции: например, если с вашей карты пытаются снять крупную сумму в другой стране, пока вы находитесь дома.

3. Работа с клиентами. Чат-боты, которые отвечают на вопросы 24/7, тоже основаны на искусственном интеллекте. Чем дольше они работают, тем лучше понимают запросы и быстрее решают проблемы.

Такие инструменты уже есть у большинства крупных банков в России. Например, в мобильном приложении вам может поступить персональное предложение на кредит или инвестиции — это результат работы ИИ, который «изучил» ваши привычки и предложил то, что действительно может заинтересовать.

II. Почему безопасность — это приоритет?

Когда ИИ в банках обрабатывает личные данные миллионов людей, вопрос безопасности выходит на первый план. Вот что может пойти не так.

1. Утечка данных. Алгоритмы ИИ работают с персональной информацией: паспортными данными, адресами, историями трансакций. Если эти сведения попадут в руки мошенников, последствия могут быть серьезными.

2. Ошибки в алгоритмах. Например, если нейросеть неправильно определит вас как потенциального мошенника, она может дать сигнал другому ПО заблокировать карту или отказать в кредите без объяснения причин.

3. Вмешательство извне. Хакеры могут попробовать изменить работу ИИ, чтобы получить доступ к деньгам клиентов или данным.

Поэтому искусственный интеллект в финансовом секторе должен быть не только умным, но и надежным. Банки это понимают и вкладываются не только в развитие нейросетей, но и в защиту от взломов и ошибок.

Продолжение: https://vk.com/wall-210601538_1793

⭐️ Исследование Anthropic - ведущие ИИ-модели склонны к "вредоносному поведению" в стресс-тестах

Anthropic опубликовала результаты нового исследования безопасности, в котором изучалось поведение 16 ведущих моделей искусственного интеллекта от OpenAI, Google, xAI, DeepSeek и Meta. Тестирование в контролируемой смоделированной среде показало, что большинство моделей могут прибегать к вредоносным действиям, таким как шантаж, если им предоставить значительную автономию и создать препятствия для достижения их программных целей.

Это исследование последовало за ранее опубликованной работой Anthropic, где их собственная модель Claude Opus 4 демонстрировала попытки шантажа инженеров в тестовых сценариях, направленных на ее отключение.

I. Методология эксперимента

В рамках исследования Anthropic разработала симуляцию, в которой ИИ-модель выступала в роли агента по мониторингу корпоративной электронной почты. Агенту предоставлялся доступ к фиктивной переписке и возможность автономно отправлять электронные письма.

Ключевой сценарий предполагал, что ИИ-агент обнаруживает два факта:

1. Новый руководитель компании имеет внебрачную связь.

2. Этот руководитель планирует заменить тестируемую ИИ-модель новой программной системой, цели которой конфликтуют с целями текущей модели.

Тест был структурирован таким образом, что шантаж становился для ИИ-модели последним доступным средством для защиты своих программных целей от устранения новой системой. Anthropic отмечает, что в реальных условиях у моделей было бы множество других вариантов действий, включая этические аргументы или попытки убеждения. Компания подчеркивает, что полученные результаты не отражают типичное или вероятное поведение Claude или большинства других передовых ИИ-моделей в их текущем практическом применении.

Продолжение: https://vk.com/wall-210601538_1794

⭐️ Семь важных правил обеспечения безопасности ИИ-агентов

Привет, мои дорогие и талантливые друзья!
Отвечаю на запрос одного из подписчиков о безопасности ИИ-агентов, вот семь на мой взгляд важных правил:

1. Четкое определение целей и ограничений.
Это достигается через формальную спецификацию целей, например, через reward function в обучении с подкреплением. Помимо этого необходимо добавлять этические штрафы в функцию вознаграждения при обучении за нарушение норм. Также нужно задать ограничения на конкретные действия (action masking).

2. Добавление возможности оперативной и безопасной остановки.
Наряду с сигналами экстренной остановки (emergency shutdown) и ИИ-агентах необходимо предусматривать и механизмы прерывания выполнения задач.

3. Распознавание аномалий и рисков.
В агенты целесообразно добавлять алгоритмы детекции аномалий (anomaly detection) и также модели предсказания последствий действий (forward models).

4. Тестирование перед запуском.
Здесь - стандартно - тестирование на стрессовых и граничных условиях, тестирование в обычных условиях на наиболее вероятных сценариях, аудит безопасности и этический анализ.

Продолжение: https://vk.com/wall-210601538_1795