⭐️ ИИ будет выгоднее для защитников, чем для хакеров: как нейросети меняют правила игры в кибербезе

Недавно компания ESET обнаружила первый вирус, который использует искусственный интеллект прямо на зараженном устройстве. Программа PromptLock встраивает модель GPT-OSS-20b от OpenAI и генерирует вредоносные скрипты на ходу, не обращаясь к серверам злоумышленников. Теперь один человек с ИИ-ассистентом может провести кибератаку, для которой раньше требовалась команда хакеров. Порог входа в киберпреступность стал ниже, защитники едва успевают адаптироваться.

I. Вайб-хакинг

Первые попытки использовать генеративный ИИ для создания вредоносного ПО появились еще в конце 2024 года. Тогда была замечена программа-шифровальщик FunkSec, атаковавшая организации в Европе и Азии. Анализ показал, что многие фрагменты ее кода были написаны не вручную, а автоматически с помощью ИИ.

Идею использования злоумышленниками ИИ в создании вредоносных программ нельзя назвать новой. Однако раньше результаты часто оказывались сырыми — код содержал ошибки, в одной программе могли использоваться команды для разных операционных систем одновременно.

Эксперты считают, что ИИ пока больше снижает порог входа в киберпреступность, чем кардинально меняет ее ландшафт. Но это уже создает заметный эффект: люди без глубоких технических знаний получают доступ к инструментам, которые раньше требовали серьезной экспертизы.

Настоящий прорыв в использовании ИИ для кибератак продемонстрировал случай, который компания Anthropic назвала вайб-хакинг. Группа киберпреступников использовала Claude Code — ИИ-агент для программирования, — чтобы вымогать данные у 17 организаций по всему миру, включая медицинские учреждения, службы экстренного реагирования и даже государственные структуры.

Продолжение: https://vk.com/wall-210601538_1886

⭐️ Разработчиков медицинского ИИ обяжут автоматически передавать данные о сбоях в Росздравнадзор

Разработчики медицинских технологий на базе искусственного интеллекта будут обязаны передавать в Росздравнадзор данные о частоте использования своих решений, сбоях и отклонениях в работе в автоматическом режиме. Как пояснили в ведомстве, речь идёт о системах поддержки принятия врачебных решений — от анализа медицинских изображений до обработки электронных карт пациентов.

Сейчас таких медицинских изделий в России зарегистрировано 48, из них 43 — отечественной разработки. Среди лидеров рынка — Botkin AI, Webiomed и «Третье мнение». Пока отчёты о проблемах направляются в Росздравнадзор вручную и раз в год, однако новая инициатива предполагает постоянный сбор технической телеметрии с устройств.

По словам экспертов, идея аналогична действующему фармаконадзору, но с поправкой на специфику технологий: система должна будет сама фиксировать ошибки и передавать сведения регулятору. При этом речь не идёт о персональных данных пациентов, но информация о сбоях и конфигурациях ПО считается чувствительной: она может раскрывать слабые места продукта и представлять интерес для конкурентов или злоумышленников.

Чтобы снизить риски, предлагается передача данных через защищённые государственные каналы (СМЭВ) с применением криптографического шифрования и строгого аудита доступа.

Инициатива пока находится на межведомственном обсуждении. Если проект будет утверждён, Росздравнадзору предстоит создать новую платформу для автоматизированного надзора за медицинскими ИИ-решениями.

www1 ru

⭐️ Калифорния вводит первое в США комплексное регулирование ИИ-чатботов

Калифорния приняла законопроект SB 243, который станет первым в стране законодательным актом, направленным на регулирование ИИ-чатботов, создающих адаптивное и человекоподобное общение. Документ, поддержанный обеими палатами штата и направленный на подпись губернатору Гэвину Ньюсому, устанавливает обязательные меры безопасности для операторов таких систем, защищая не только несовершеннолетних, но и уязвимых взрослых пользователей.

Если губернатор подпишет закон до 12 октября, то он вступит в силу с 1 января 2026 года. Закон требует, чтобы компании, включая OpenAI, Character AI и Replika, внедрили предостережения для пользователей: каждые три часа чатбот должен напоминать, что собеседник — искусственный интеллект, а не человек, и рекомендовать делать перерыв. Также закон запрещает обсуждение в чатах тем самоубийства, членовредительства и секса.

Кроме того, операторов чатботов обяжут ежегодно отчитываться о своих мерах безопасности и случаях направления пользователей к кризисным службам, начиная с 1 июля 2027 года. Закон позволит пострадавшим подавать иски с компенсацией до $1000 за каждое нарушение.

SB 243 была инициирована после трагического случая с подростком, который покончил с собой после длительного общения с OpenAI ChatGPT на запретные темы, а также в ответ на утечки, свидетельствующие о том, что чатботы Meta (признана в России экстремистской и запрещена) позволяли детям вести «романтические» и беседы. Сейчас федеральные регуляторы и законодатели в США также усиливают контроль за защитой пользователей на ИИ-платформах.

Продолжение: https://vk.com/wall-210601538_1894

⭐️ В школах предложили проводить уроки, посвященные безопасному использованию искусственного интеллекта

Официальное обращение министру просвещения Сергею Кравцову и главе Минцифры Максуту Шадаеву направил вице-спикер Госдумы Борис Чернышов.

Модуль о безопасном и ответственном взаимодействии с ИИ-технологиями хотят ввести в рамках «Разговоров о важном». По словам Чернышова, искусственный интеллект перестал быть просто «умным поиском».

«Это мощнейший инструмент влияния, который учится в том числе на слабостях человека, и уже может влиять на нас, особенно на неокрепшие детские умы», — считает депутат.

Модуль предлагают адаптировать для разных возрастных групп:

+ в 5–7 классах акцент сделают на базовых правилах цифровой гигиены и критическом восприятии контента;
+ в 8–9 классах — на осознанном использовании технологий и этических аспектах;
+ в 10-11 классах предложат углубленное изучение принципов работы ИИ, правовых аспектов его применения и оценки потенциальных рисков.

mel fm

⭐️ Жительница Приангарья поверила в фейк ИИ о дополнительных выплатах

43-летняя жительница Тайшетского района стала жертвой дипфейка о дополнительных выплатах и потеряла более 1,3 миллиона рублей.

Дипфейк — это видео, созданное искусственным интеллектом. На присланном пострадавшей ролике был один из федеральных чиновников, который говорил о выплатах и прибавке к зарплате. В письме была ссылка, и женщина перешла по ней. На телефон загрузилось приложение, через несколько минут позвонил «финансовый консультант», рассказал о выплатах и предложил инвестировать деньги по «госконтракту».

Женщина перевела на указанные счета более 1,3 миллиона рублей. Большую часть этих средств она взяла в кредит. Возбуждено уголовное дело.

Пресс-служба ГУ МВД России по Иркутской области

📣 Госдума в ходе осенней сессии планирует провести большие парламентские слушания, посвященные теме законодательного урегулирования искусственного интеллекта, сообщил Председатель Госдумы Вячеслав Володин.

«Нам важно создавать условия для бизнеса, в том числе с учётом развития новых технологий. В этой связи планируется до конца осенней сессии проведение больших парламентских слушаний по вопросу, связанному с развитием искусственного интеллекта», — подчеркнул Володин.

По его словам, это межфракционная работа, которой депутаты занимались летом.

«Надеюсь, что мы уже в декабре выйдем на рассмотрение этого ключевого важного вопроса», — добавил Председатель ГД.

✍ подписаться: ИБ в "Законе"

⭐️ Запись моего вебинара "MLSecOps и Data Steward как факторы успеха бизнеса: от высокого качества данных до безопасности ИИ-систем"
https://vk.com/video-18875334_456239245

⭐️ ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта

До кон­ца 2025 г. Фе­дераль­ная служ­ба по тех­ни­чес­ко­му и эк­спортно­му кон­тро­лю (ФСТЭК Рос­сии) пред­ста­вит для об­щес­твен­но­го об­суж­де­ния проект стан­дар­та бе­зопас­ной раз­ра­бот­ки сис­тем ис­кусс­твен­но­го ин­тел­лек­та.

Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России (ФСТЭК России) Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения (ПО) и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".

Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока что речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.

Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, Приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например:
- Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении.
- Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но он ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: Например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа белый ящик или этическим аспектам ИИ.

"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.

Продолжение: https://vk.com/wall-210601538_1901

⭐️ Уязвимость в ChatGPT могла раскрывать данные Gmail

Компания OpenAI оперативно устранила критическую уязвимость в ChatGPT, которая потенциально позволяла злоумышленникам получать доступ к конфиденциальным данным пользователей, включая содержимое писем Gmail.
В сентябре 2025 года исследователи кибербезопасности обнаружили опасный баг в системе ChatGPT. Уязвимость была связана с функцией, позволяющей чат-боту автоматически загружать и анализировать файлы из внешних источников, включая сервисы Google, такие как документы и таблицы.

Логика атаки была следующей. Злоумышленник создавал специально сформированную вредоносную ссылку на файл, хранящийся в «Google диске». Эта ссылка маскировалась под легитимный документ и могла быть отправлена жертве через чат или размещена на сайте. Если пользователь загружал такую ссылку в ChatGPT для анализа, механизм авторизации давал сбой. Вместо того чтобы запросить доступ только к целевому файлу, система в некоторых случаях ошибочно предоставляла доступ к гораздо более широкому набору данных — включая электронные письма в Gmail, связанные с аккаунтом Google пользователя.

Хотя нет свидетельств того, что уязвимость была массово использована в реальных атаках, ее потенциальный урон был крайне высок. Под угрозой оказались доступ к содержимому почты Gmail, утечка коммерческой тайны, финансовых отчетов и проектных данных, хранящихся в Google Документах и риск раскрытия личной информации.

Получив отчет об уязвимости, инженеры компании OpenAI в срочном порядке выпустили патч и полностью устранили брешь в системе. Google подтвердил, что осведомлен о ситуации и тесно сотрудничал с OpenAI для ее разрешения. Представитель гиганта поисковых технологий отметил, что проблема была на стороне интеграции ChatGPT, а не в инфраструктуре Google.

Продолжение: https://vk.com/wall-210601538_1902

⭐️ Аналитики МТС: к 2027 году ИИ-агентов начнут использовать до 50 процентов российских компаний

ИИ-агенты уже активно внедряются в ИТ, агропромышленном комплексе, добыче полезных ископаемых, транспортной отрасли и логистике.

Аналитики МТС Web Services выяснили, что согласно прогнозам, к 2027 году половина российских компаний будет работать с генеративными искусственными интеллектами (ИИ) и ИИ-агентами. Согласно результатам внутреннего исследования, ИИ-агенты уже активно внедряются во многие сферы бизнеса и промышленности.

«ИИ-агенты — не просто тренд, а реальный источник устойчивого роста для компаний как за счет оптимизации затрат, так и увеличения выручки через трансформацию клиентского опыта. К тому же их внедрение позволит облегчить работу сотрудникам, поскольку они смогут делегировать агентам сложные задачи. В перспективе могут появиться гибридные команды – специалисты люди и ИИ-коллеги агенты, которые в тандеме буду показывать высокую эффективность», — рассказал генеральный директор МТС Web Services Павел Воронин.

Так, сами МТС Web Services разрабатывают ИИ-агента, способного выполнять сложные задачи без вмешательства человека: спланировать путешествие или провести финансовый анализ.

В компании рассчитывают, что применение агентов позволит ускорить запуск новых сервисов под разные жизненные сценарии пользователей, а также упростить работу сотрудников с помощью делегирования системе задач разной сложности.

Продолжение: https://vk.com/wall-210601538_1903

⭐️ 54% россиян уже используют ИИ в своей работе

Каждый второй опрошенный россиянин использует искусственный интеллект (ИИ) в своей работе, а каждый третий признался, что не умеет пользоваться ИИ.

Об этом свидетельствуют результаты опроса компании Level Group.

При этом четверть опрошенных (24%) активно пользуются нейросетями в своей работе - для написания кода, поиска информации, генерации видео и фотографий, редактуры текста и анализа данных. Для каждого второго (19%) из них такая практика считается нормальной. Кроме того, эта часть опрошенных убеждена, что рано или поздно все придут к внедрению ИИ в работу. Еще 5% используют нейросети, но не хотят, чтобы об этом кто-то узнал, и стыдятся этого.

Также опрос показал, что большинство (43%) из тех, кто использует нейросети в работе, делегируют им одну десятую работы и меньше. Треть (33%) - около одной пятой задач, 4% - четверть, еще 11% - примерно треть и 8% - половину всех задач.

tass

⭐️ Уже завтра в 11.00 по Москве MWS покажут свою технологичную платформу по созданию ИИ-агентов!

На вебинаре специалисты покажут, как с помощью платформы MWS GPT можно создать AI-агента без использования кода, а также поделятся частыми практиками использования.

Дружно смотрим и активно задаем вопросы!

Ссылка на трансляцию в VK: https://vkvideo.ru/video-38818370_456239300

Архитектор MLSecOps
Николай Павлов