⭐️ MLSecOps и Data Steward как факторы успеха бизнеса: от качества данных до безопасности ИИ-систем

По просьбам подписчиков 15 сентября с 11:00 до 12:30 по МСК проводим бесплатный вебинар по передовым профессиям MLSecOps и Data Steward. Подключайтесь, будем рады!

Обилие высококачественных, надежных и хорошо организованных данных открывает широкие возможности для внедрения интеллектуальных решений, обеспечивающих значительный прирост эффективности бизнеса. Однако важно обеспечить качество, безопасность и надежность самих данных (за это отвечают специалисты Data Stewards), а также разработанных на их основе ИИ-решений (эта задача лежит на команде MLSecOps).

Приглашаем на вебинар, где наш эксперт Николай Павлов подробно расскажет о важной роли специалистов Data Stewards и MLSecOps в обеспечении качества, безопасности и надежности больших данных и современных ИИ-систем.

На вебинаре Вы получите конкретные рекомендации по внедрению процессов Data Governance и повышению уровня информационной безопасности в компаниях, включая пошаговую инструкцию по созданию системы управления данными и меры противодействия угрозам в MLSecOps.

Спикер: Николай Павлов — архитектор MLSecOps, опытный тренер и разработчик электронных курсов Академии Softline.

Автор уникальных программ и учебных материалов, которые на практике доказали свою эффективность и востребованность среди специалистов в области управления данными и безопасности ИИ-систем.

Каждый участник вебинара получит бонусы от эксперта:

+ Глоссарий терминов для профессии MLSecOps
+ Глоссарий терминов для профессии Data Steward
+ Перечень полезных правил безопасной работы пользователей с ИИ-системами

На вебинаре рассмотрим:

+ Роль и методы обеспечения качества данных в Data Governance
+ Потенциальные угрозы и инциденты при использовании ИИ-систем
+ Многоуровневую систему управления данными
+ Базовые рекомендации по безопасной работе рядовых сотрудников с ИИ-системами
+ Опыт успешного внедрения Data Governance на практике крупной компании
+ Фундаментальные тренды сферы IT
+ Инструменты и технологии MLSecOps
+ Подробную архитектуру Data Governance

Ссылка на регистрацию: https://edu.softline.com/news/mlsecops-i-data-steward-kak-faktory-uspekha-biznesa-ot-kachestva-dannykh-do-bezopasnosti-ii-sistem/?ysclid=mfap5wk9k1780644125

Архитектор MLSecOps
Николай Павлов

⭐️ Исследование показало, что программисты, использующие ИИ, провоцируют рост проблем с безопасностью

Как показало новое исследование компании Apiiro, занимающееся компьютерной безопасностью, разработчики, использующие ИИ, создают в десять раз больше проблем для безопасности, чем их коллеги, не использующие эту технологию. Проанализировав код тысяч разработчиков и десятки тысяч репозиториев (место, где хранятся данные), сотрудники Apiiro обнаружили, что разработчики, использующие ИИ, действительно пишут код в три–четыре раза быстрее. Но именно скорость и приводит к появлению брешей в системе безопасности.

По иронии судьбы, некоторые «преимущества» программирования с использованием ИИ, по-видимому, стали причинами этих проблем. Анализ Apiiro показал, что количество синтаксических ошибок сократилось на 76%, а количество логических ошибок (неисправного кода, приводящего к некорректной работе программы) — более чем на 60%.

Однако компромисс оказался серьезным: количество случаев повышения привилегий, или кода, позволяющего злоумышленнику получить более высокий уровень доступа к системе, чем ему положено, выросло на 322%. Количество проблем с архитектурным проектированием, в свою очередь, увеличилось на 153%. Другими словами, ИИ исправляет опечатки, но создает «бомбы замедленного действия».

Продолжение: https://vk.com/wall-210601538_1885

⭐️ ИИ будет выгоднее для защитников, чем для хакеров: как нейросети меняют правила игры в кибербезе

Недавно компания ESET обнаружила первый вирус, который использует искусственный интеллект прямо на зараженном устройстве. Программа PromptLock встраивает модель GPT-OSS-20b от OpenAI и генерирует вредоносные скрипты на ходу, не обращаясь к серверам злоумышленников. Теперь один человек с ИИ-ассистентом может провести кибератаку, для которой раньше требовалась команда хакеров. Порог входа в киберпреступность стал ниже, защитники едва успевают адаптироваться.

I. Вайб-хакинг

Первые попытки использовать генеративный ИИ для создания вредоносного ПО появились еще в конце 2024 года. Тогда была замечена программа-шифровальщик FunkSec, атаковавшая организации в Европе и Азии. Анализ показал, что многие фрагменты ее кода были написаны не вручную, а автоматически с помощью ИИ.

Идею использования злоумышленниками ИИ в создании вредоносных программ нельзя назвать новой. Однако раньше результаты часто оказывались сырыми — код содержал ошибки, в одной программе могли использоваться команды для разных операционных систем одновременно.

Эксперты считают, что ИИ пока больше снижает порог входа в киберпреступность, чем кардинально меняет ее ландшафт. Но это уже создает заметный эффект: люди без глубоких технических знаний получают доступ к инструментам, которые раньше требовали серьезной экспертизы.

Настоящий прорыв в использовании ИИ для кибератак продемонстрировал случай, который компания Anthropic назвала вайб-хакинг. Группа киберпреступников использовала Claude Code — ИИ-агент для программирования, — чтобы вымогать данные у 17 организаций по всему миру, включая медицинские учреждения, службы экстренного реагирования и даже государственные структуры.

Продолжение: https://vk.com/wall-210601538_1886

⭐️ Разработчиков медицинского ИИ обяжут автоматически передавать данные о сбоях в Росздравнадзор

Разработчики медицинских технологий на базе искусственного интеллекта будут обязаны передавать в Росздравнадзор данные о частоте использования своих решений, сбоях и отклонениях в работе в автоматическом режиме. Как пояснили в ведомстве, речь идёт о системах поддержки принятия врачебных решений — от анализа медицинских изображений до обработки электронных карт пациентов.

Сейчас таких медицинских изделий в России зарегистрировано 48, из них 43 — отечественной разработки. Среди лидеров рынка — Botkin AI, Webiomed и «Третье мнение». Пока отчёты о проблемах направляются в Росздравнадзор вручную и раз в год, однако новая инициатива предполагает постоянный сбор технической телеметрии с устройств.

По словам экспертов, идея аналогична действующему фармаконадзору, но с поправкой на специфику технологий: система должна будет сама фиксировать ошибки и передавать сведения регулятору. При этом речь не идёт о персональных данных пациентов, но информация о сбоях и конфигурациях ПО считается чувствительной: она может раскрывать слабые места продукта и представлять интерес для конкурентов или злоумышленников.

Чтобы снизить риски, предлагается передача данных через защищённые государственные каналы (СМЭВ) с применением криптографического шифрования и строгого аудита доступа.

Инициатива пока находится на межведомственном обсуждении. Если проект будет утверждён, Росздравнадзору предстоит создать новую платформу для автоматизированного надзора за медицинскими ИИ-решениями.

www1 ru

⭐️ Калифорния вводит первое в США комплексное регулирование ИИ-чатботов

Калифорния приняла законопроект SB 243, который станет первым в стране законодательным актом, направленным на регулирование ИИ-чатботов, создающих адаптивное и человекоподобное общение. Документ, поддержанный обеими палатами штата и направленный на подпись губернатору Гэвину Ньюсому, устанавливает обязательные меры безопасности для операторов таких систем, защищая не только несовершеннолетних, но и уязвимых взрослых пользователей.

Если губернатор подпишет закон до 12 октября, то он вступит в силу с 1 января 2026 года. Закон требует, чтобы компании, включая OpenAI, Character AI и Replika, внедрили предостережения для пользователей: каждые три часа чатбот должен напоминать, что собеседник — искусственный интеллект, а не человек, и рекомендовать делать перерыв. Также закон запрещает обсуждение в чатах тем самоубийства, членовредительства и секса.

Кроме того, операторов чатботов обяжут ежегодно отчитываться о своих мерах безопасности и случаях направления пользователей к кризисным службам, начиная с 1 июля 2027 года. Закон позволит пострадавшим подавать иски с компенсацией до $1000 за каждое нарушение.

SB 243 была инициирована после трагического случая с подростком, который покончил с собой после длительного общения с OpenAI ChatGPT на запретные темы, а также в ответ на утечки, свидетельствующие о том, что чатботы Meta (признана в России экстремистской и запрещена) позволяли детям вести «романтические» и беседы. Сейчас федеральные регуляторы и законодатели в США также усиливают контроль за защитой пользователей на ИИ-платформах.

Продолжение: https://vk.com/wall-210601538_1894

⭐️ В школах предложили проводить уроки, посвященные безопасному использованию искусственного интеллекта

Официальное обращение министру просвещения Сергею Кравцову и главе Минцифры Максуту Шадаеву направил вице-спикер Госдумы Борис Чернышов.

Модуль о безопасном и ответственном взаимодействии с ИИ-технологиями хотят ввести в рамках «Разговоров о важном». По словам Чернышова, искусственный интеллект перестал быть просто «умным поиском».

«Это мощнейший инструмент влияния, который учится в том числе на слабостях человека, и уже может влиять на нас, особенно на неокрепшие детские умы», — считает депутат.

Модуль предлагают адаптировать для разных возрастных групп:

+ в 5–7 классах акцент сделают на базовых правилах цифровой гигиены и критическом восприятии контента;
+ в 8–9 классах — на осознанном использовании технологий и этических аспектах;
+ в 10-11 классах предложат углубленное изучение принципов работы ИИ, правовых аспектов его применения и оценки потенциальных рисков.

mel fm

⭐️ Жительница Приангарья поверила в фейк ИИ о дополнительных выплатах

43-летняя жительница Тайшетского района стала жертвой дипфейка о дополнительных выплатах и потеряла более 1,3 миллиона рублей.

Дипфейк — это видео, созданное искусственным интеллектом. На присланном пострадавшей ролике был один из федеральных чиновников, который говорил о выплатах и прибавке к зарплате. В письме была ссылка, и женщина перешла по ней. На телефон загрузилось приложение, через несколько минут позвонил «финансовый консультант», рассказал о выплатах и предложил инвестировать деньги по «госконтракту».

Женщина перевела на указанные счета более 1,3 миллиона рублей. Большую часть этих средств она взяла в кредит. Возбуждено уголовное дело.

Пресс-служба ГУ МВД России по Иркутской области

📣 Госдума в ходе осенней сессии планирует провести большие парламентские слушания, посвященные теме законодательного урегулирования искусственного интеллекта, сообщил Председатель Госдумы Вячеслав Володин.

«Нам важно создавать условия для бизнеса, в том числе с учётом развития новых технологий. В этой связи планируется до конца осенней сессии проведение больших парламентских слушаний по вопросу, связанному с развитием искусственного интеллекта», — подчеркнул Володин.

По его словам, это межфракционная работа, которой депутаты занимались летом.

«Надеюсь, что мы уже в декабре выйдем на рассмотрение этого ключевого важного вопроса», — добавил Председатель ГД.

✍ подписаться: ИБ в "Законе"

⭐️ Запись моего вебинара "MLSecOps и Data Steward как факторы успеха бизнеса: от высокого качества данных до безопасности ИИ-систем"
https://vk.com/video-18875334_456239245

⭐️ ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта

До кон­ца 2025 г. Фе­дераль­ная служ­ба по тех­ни­чес­ко­му и эк­спортно­му кон­тро­лю (ФСТЭК Рос­сии) пред­ста­вит для об­щес­твен­но­го об­суж­де­ния проект стан­дар­та бе­зопас­ной раз­ра­бот­ки сис­тем ис­кусс­твен­но­го ин­тел­лек­та.

Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России (ФСТЭК России) Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения (ПО) и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".

Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока что речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.

Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, Приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например:
- Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении.
- Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но он ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: Например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа белый ящик или этическим аспектам ИИ.

"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.

Продолжение: https://vk.com/wall-210601538_1901

⭐️ Уязвимость в ChatGPT могла раскрывать данные Gmail

Компания OpenAI оперативно устранила критическую уязвимость в ChatGPT, которая потенциально позволяла злоумышленникам получать доступ к конфиденциальным данным пользователей, включая содержимое писем Gmail.
В сентябре 2025 года исследователи кибербезопасности обнаружили опасный баг в системе ChatGPT. Уязвимость была связана с функцией, позволяющей чат-боту автоматически загружать и анализировать файлы из внешних источников, включая сервисы Google, такие как документы и таблицы.

Логика атаки была следующей. Злоумышленник создавал специально сформированную вредоносную ссылку на файл, хранящийся в «Google диске». Эта ссылка маскировалась под легитимный документ и могла быть отправлена жертве через чат или размещена на сайте. Если пользователь загружал такую ссылку в ChatGPT для анализа, механизм авторизации давал сбой. Вместо того чтобы запросить доступ только к целевому файлу, система в некоторых случаях ошибочно предоставляла доступ к гораздо более широкому набору данных — включая электронные письма в Gmail, связанные с аккаунтом Google пользователя.

Хотя нет свидетельств того, что уязвимость была массово использована в реальных атаках, ее потенциальный урон был крайне высок. Под угрозой оказались доступ к содержимому почты Gmail, утечка коммерческой тайны, финансовых отчетов и проектных данных, хранящихся в Google Документах и риск раскрытия личной информации.

Получив отчет об уязвимости, инженеры компании OpenAI в срочном порядке выпустили патч и полностью устранили брешь в системе. Google подтвердил, что осведомлен о ситуации и тесно сотрудничал с OpenAI для ее разрешения. Представитель гиганта поисковых технологий отметил, что проблема была на стороне интеграции ChatGPT, а не в инфраструктуре Google.

Продолжение: https://vk.com/wall-210601538_1902