⭐️ Разработчиков медицинского ИИ обяжут автоматически передавать данные о сбоях в Росздравнадзор

Разработчики медицинских технологий на базе искусственного интеллекта будут обязаны передавать в Росздравнадзор данные о частоте использования своих решений, сбоях и отклонениях в работе в автоматическом режиме. Как пояснили в ведомстве, речь идёт о системах поддержки принятия врачебных решений — от анализа медицинских изображений до обработки электронных карт пациентов.

Сейчас таких медицинских изделий в России зарегистрировано 48, из них 43 — отечественной разработки. Среди лидеров рынка — Botkin AI, Webiomed и «Третье мнение». Пока отчёты о проблемах направляются в Росздравнадзор вручную и раз в год, однако новая инициатива предполагает постоянный сбор технической телеметрии с устройств.

По словам экспертов, идея аналогична действующему фармаконадзору, но с поправкой на специфику технологий: система должна будет сама фиксировать ошибки и передавать сведения регулятору. При этом речь не идёт о персональных данных пациентов, но информация о сбоях и конфигурациях ПО считается чувствительной: она может раскрывать слабые места продукта и представлять интерес для конкурентов или злоумышленников.

Чтобы снизить риски, предлагается передача данных через защищённые государственные каналы (СМЭВ) с применением криптографического шифрования и строгого аудита доступа.

Инициатива пока находится на межведомственном обсуждении. Если проект будет утверждён, Росздравнадзору предстоит создать новую платформу для автоматизированного надзора за медицинскими ИИ-решениями.

www1 ru

⭐️ Калифорния вводит первое в США комплексное регулирование ИИ-чатботов

Калифорния приняла законопроект SB 243, который станет первым в стране законодательным актом, направленным на регулирование ИИ-чатботов, создающих адаптивное и человекоподобное общение. Документ, поддержанный обеими палатами штата и направленный на подпись губернатору Гэвину Ньюсому, устанавливает обязательные меры безопасности для операторов таких систем, защищая не только несовершеннолетних, но и уязвимых взрослых пользователей.

Если губернатор подпишет закон до 12 октября, то он вступит в силу с 1 января 2026 года. Закон требует, чтобы компании, включая OpenAI, Character AI и Replika, внедрили предостережения для пользователей: каждые три часа чатбот должен напоминать, что собеседник — искусственный интеллект, а не человек, и рекомендовать делать перерыв. Также закон запрещает обсуждение в чатах тем самоубийства, членовредительства и секса.

Кроме того, операторов чатботов обяжут ежегодно отчитываться о своих мерах безопасности и случаях направления пользователей к кризисным службам, начиная с 1 июля 2027 года. Закон позволит пострадавшим подавать иски с компенсацией до $1000 за каждое нарушение.

SB 243 была инициирована после трагического случая с подростком, который покончил с собой после длительного общения с OpenAI ChatGPT на запретные темы, а также в ответ на утечки, свидетельствующие о том, что чатботы Meta (признана в России экстремистской и запрещена) позволяли детям вести «романтические» и беседы. Сейчас федеральные регуляторы и законодатели в США также усиливают контроль за защитой пользователей на ИИ-платформах.

Продолжение: https://vk.com/wall-210601538_1894

⭐️ В школах предложили проводить уроки, посвященные безопасному использованию искусственного интеллекта

Официальное обращение министру просвещения Сергею Кравцову и главе Минцифры Максуту Шадаеву направил вице-спикер Госдумы Борис Чернышов.

Модуль о безопасном и ответственном взаимодействии с ИИ-технологиями хотят ввести в рамках «Разговоров о важном». По словам Чернышова, искусственный интеллект перестал быть просто «умным поиском».

«Это мощнейший инструмент влияния, который учится в том числе на слабостях человека, и уже может влиять на нас, особенно на неокрепшие детские умы», — считает депутат.

Модуль предлагают адаптировать для разных возрастных групп:

+ в 5–7 классах акцент сделают на базовых правилах цифровой гигиены и критическом восприятии контента;
+ в 8–9 классах — на осознанном использовании технологий и этических аспектах;
+ в 10-11 классах предложат углубленное изучение принципов работы ИИ, правовых аспектов его применения и оценки потенциальных рисков.

mel fm

⭐️ Жительница Приангарья поверила в фейк ИИ о дополнительных выплатах

43-летняя жительница Тайшетского района стала жертвой дипфейка о дополнительных выплатах и потеряла более 1,3 миллиона рублей.

Дипфейк — это видео, созданное искусственным интеллектом. На присланном пострадавшей ролике был один из федеральных чиновников, который говорил о выплатах и прибавке к зарплате. В письме была ссылка, и женщина перешла по ней. На телефон загрузилось приложение, через несколько минут позвонил «финансовый консультант», рассказал о выплатах и предложил инвестировать деньги по «госконтракту».

Женщина перевела на указанные счета более 1,3 миллиона рублей. Большую часть этих средств она взяла в кредит. Возбуждено уголовное дело.

Пресс-служба ГУ МВД России по Иркутской области

📣 Госдума в ходе осенней сессии планирует провести большие парламентские слушания, посвященные теме законодательного урегулирования искусственного интеллекта, сообщил Председатель Госдумы Вячеслав Володин.

«Нам важно создавать условия для бизнеса, в том числе с учётом развития новых технологий. В этой связи планируется до конца осенней сессии проведение больших парламентских слушаний по вопросу, связанному с развитием искусственного интеллекта», — подчеркнул Володин.

По его словам, это межфракционная работа, которой депутаты занимались летом.

«Надеюсь, что мы уже в декабре выйдем на рассмотрение этого ключевого важного вопроса», — добавил Председатель ГД.

✍ подписаться: ИБ в "Законе"

⭐️ Запись моего вебинара "MLSecOps и Data Steward как факторы успеха бизнеса: от высокого качества данных до безопасности ИИ-систем"
https://vk.com/video-18875334_456239245

⭐️ ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта

До кон­ца 2025 г. Фе­дераль­ная служ­ба по тех­ни­чес­ко­му и эк­спортно­му кон­тро­лю (ФСТЭК Рос­сии) пред­ста­вит для об­щес­твен­но­го об­суж­де­ния проект стан­дар­та бе­зопас­ной раз­ра­бот­ки сис­тем ис­кусс­твен­но­го ин­тел­лек­та.

Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России (ФСТЭК России) Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения (ПО) и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".

Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока что речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.

Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, Приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например:
- Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении.
- Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но он ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: Например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа белый ящик или этическим аспектам ИИ.

"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.

Продолжение: https://vk.com/wall-210601538_1901

⭐️ Уязвимость в ChatGPT могла раскрывать данные Gmail

Компания OpenAI оперативно устранила критическую уязвимость в ChatGPT, которая потенциально позволяла злоумышленникам получать доступ к конфиденциальным данным пользователей, включая содержимое писем Gmail.
В сентябре 2025 года исследователи кибербезопасности обнаружили опасный баг в системе ChatGPT. Уязвимость была связана с функцией, позволяющей чат-боту автоматически загружать и анализировать файлы из внешних источников, включая сервисы Google, такие как документы и таблицы.

Логика атаки была следующей. Злоумышленник создавал специально сформированную вредоносную ссылку на файл, хранящийся в «Google диске». Эта ссылка маскировалась под легитимный документ и могла быть отправлена жертве через чат или размещена на сайте. Если пользователь загружал такую ссылку в ChatGPT для анализа, механизм авторизации давал сбой. Вместо того чтобы запросить доступ только к целевому файлу, система в некоторых случаях ошибочно предоставляла доступ к гораздо более широкому набору данных — включая электронные письма в Gmail, связанные с аккаунтом Google пользователя.

Хотя нет свидетельств того, что уязвимость была массово использована в реальных атаках, ее потенциальный урон был крайне высок. Под угрозой оказались доступ к содержимому почты Gmail, утечка коммерческой тайны, финансовых отчетов и проектных данных, хранящихся в Google Документах и риск раскрытия личной информации.

Получив отчет об уязвимости, инженеры компании OpenAI в срочном порядке выпустили патч и полностью устранили брешь в системе. Google подтвердил, что осведомлен о ситуации и тесно сотрудничал с OpenAI для ее разрешения. Представитель гиганта поисковых технологий отметил, что проблема была на стороне интеграции ChatGPT, а не в инфраструктуре Google.

Продолжение: https://vk.com/wall-210601538_1902

⭐️ Аналитики МТС: к 2027 году ИИ-агентов начнут использовать до 50 процентов российских компаний

ИИ-агенты уже активно внедряются в ИТ, агропромышленном комплексе, добыче полезных ископаемых, транспортной отрасли и логистике.

Аналитики МТС Web Services выяснили, что согласно прогнозам, к 2027 году половина российских компаний будет работать с генеративными искусственными интеллектами (ИИ) и ИИ-агентами. Согласно результатам внутреннего исследования, ИИ-агенты уже активно внедряются во многие сферы бизнеса и промышленности.

«ИИ-агенты — не просто тренд, а реальный источник устойчивого роста для компаний как за счет оптимизации затрат, так и увеличения выручки через трансформацию клиентского опыта. К тому же их внедрение позволит облегчить работу сотрудникам, поскольку они смогут делегировать агентам сложные задачи. В перспективе могут появиться гибридные команды – специалисты люди и ИИ-коллеги агенты, которые в тандеме буду показывать высокую эффективность», — рассказал генеральный директор МТС Web Services Павел Воронин.

Так, сами МТС Web Services разрабатывают ИИ-агента, способного выполнять сложные задачи без вмешательства человека: спланировать путешествие или провести финансовый анализ.

В компании рассчитывают, что применение агентов позволит ускорить запуск новых сервисов под разные жизненные сценарии пользователей, а также упростить работу сотрудников с помощью делегирования системе задач разной сложности.

Продолжение: https://vk.com/wall-210601538_1903

⭐️ 54% россиян уже используют ИИ в своей работе

Каждый второй опрошенный россиянин использует искусственный интеллект (ИИ) в своей работе, а каждый третий признался, что не умеет пользоваться ИИ.

Об этом свидетельствуют результаты опроса компании Level Group.

При этом четверть опрошенных (24%) активно пользуются нейросетями в своей работе - для написания кода, поиска информации, генерации видео и фотографий, редактуры текста и анализа данных. Для каждого второго (19%) из них такая практика считается нормальной. Кроме того, эта часть опрошенных убеждена, что рано или поздно все придут к внедрению ИИ в работу. Еще 5% используют нейросети, но не хотят, чтобы об этом кто-то узнал, и стыдятся этого.

Также опрос показал, что большинство (43%) из тех, кто использует нейросети в работе, делегируют им одну десятую работы и меньше. Треть (33%) - около одной пятой задач, 4% - четверть, еще 11% - примерно треть и 8% - половину всех задач.

tass

⭐️ Уже завтра в 11.00 по Москве MWS покажут свою технологичную платформу по созданию ИИ-агентов!

На вебинаре специалисты покажут, как с помощью платформы MWS GPT можно создать AI-агента без использования кода, а также поделятся частыми практиками использования.

Дружно смотрим и активно задаем вопросы!

Ссылка на трансляцию в VK: https://vkvideo.ru/video-38818370_456239300

Архитектор MLSecOps
Николай Павлов

Всем привет! Сегодня вышел новый релиз LLAMATOR: https://github.com/LLAMATOR-Core/llamator/releases/tag/v3.4.0

добавили атаку на неограниченное потребление и SOTA Composition of Principles (CoP).

⭐️ Рынок ИИ в России может вырасти в три раза к 2029 году

Несмотря на оптимистичные прогнозы, глава MWS AI в МТС раскритиковал подход бизнеса к созданию ИИ.

По итогам 2025 года объём рынка ИИ (с учётом оборудования) в России составит около 168 миллиардов рублей. В 2029 году этот показатель вырастет более чем в три раза, достигнув 516 миллиардов рублей. Оценку дал глава MWS AI (входит в состав МТС Web Services) Денис Филиппов.

Без учёта оборудования (только ПО и сервисы) объём рынка ИИ достигнет 50 миллиардов рублей по итогам 2025 года и 155 миллиардов – в 2029 году. На сегодняшний день рынок поделен на следующие направления:

34% – технологии в области компьютерного зрения;
29% – ИИ-агенты;
12% – заказная разработка ПО;
9% – обработка естественного языка (NLP);
7% – ИИ-консалтинг.

Компьютерное зрение – это технология для распознавания объектов на изображениях или видео. Применяется в:

+ промышленности – для контроля качества продукции и обеспечения безопасности;
+ медицине – для выявления рака легких, болезней сердца, остеопороза по рентгеновским снимкам и КТ;
+ розничной торговле – для предотвращения краж на кассах самообслуживания;
+ транспорте – беспилотники и роботы-курьеры;
+ видеонаблюдении – для распознавания лиц и объектов в общественных местах;
+ банках – для идентификации клиентов, оплаты по лицу;
+ сельском хозяйстве – для анализа посевов, обнаружения сорняков, отслеживания поголовья скота.

Филиппов отметил, что в России ИИ-агенты применяются в сферах телекоммуникаций, финансов, промышленности и сельского хозяйства. Конкретных примеров он не привёл, поэтому попытаемся разобраться самостоятельно.

Продолжение: https://vk.com/wall-210601538_1906

⭐️MWS GPT: заблуждения и мифы про внедрение LLM в бизнес

На ночь глядя решил подробнее изучить платформу MWS GPT, которая в числе прочего позволяет разрабатывать ИИ-агентов с помощью No-code.

Ссылка на замечательный вебинар с Павлом Бабиным, CPO MWS GPT, и Алсу Иовковой, продакт-менеджером ИИ сервисов в MWS, на котором ребята все очень досконально разобрали и разложили по полочкам: https://vkvideo.ru/video-38818370_456239264

Архитектор MLSecOps
Николай Павлов

⭐️ AI Secure Agentic Framework Essentials (AI-SAFE) v 1.0 от Yandex Cloud

Добавлю и я свои 5 копеек про новый фреймворк от Yandex Cloud:

1. Принимает во внимание все угрозы по OWASP (в т.ч. Top-15 для ИИ-агентов)
2. Ребята хорошо прошлись по всех архитектуре агентов и на каждом этапе работы подсветили угрозы
3. Написан доступным языком, лаконично и по существу
4. Привели реальные и доказанные атаки, разобрали возможные способы, чтобы избежать подобных инцидентов
5. Предложили примерную оценку вероятностей наступления угроз, что очень ценно (далеко не все компании, выстраивая архитектуру MLSecOps, начинают с оценки вероятности реальных рисков и угроз)
6. Добавили Практический чек-лист безопасности по уровням AI-SAFE

В общем, Yandex Cloud на высоте 🫡🔥

Ссылка для субботнего чтения: https://storage.yandexcloud.net/cloud-www-assets/blog-assets/ru/posts/2025/09/ai-safe-framework/AI%20Secure%20Agentic%20Framework%20Essentials%20(AI-SAFE)%20v%201.0.pdf

Архитектор MLSecOps
Николай Павлов

⭐️ Yandex Neuro Scale 2025

Yandex Neuro Scale - это одно из основных событий года в сфере ИИ. Строго обязательно просмотру на этих выходных: https://scale.yandex.cloud/?ysclid=mg1ydxkbqf988135139

Масса уникальных ролей и технологий (нейроюристы, нейроаналитики, AI Studio), а спикеры молодцы!

Архитектор MLSecOps
Николай Павлов