⭐️ Гонка вооружений: топ-5 детекторов нейросетей

За последние пару лет генерируемые тексты начали выглядеть подозрительно натурально. Они стали грамотными, разнообразными по стилю и даже немного остроумными. И если их слегка «доработать напильником», то можно легко выдать за свою собственную работу.

И тут начинается проблема. Бизнес столкнулся с ситуацией, когда он платит за работу копирайтера или агентства, а получает красиво упакованный (а зачастую нет даже этого) текст из ChatGPT. Вроде выглядит нормально, а по факту — пустота. Нет авторской мысли, нет глубокого понимания темы, зато полно общих фраз и очевидных фактов. Если так сделать раз-другой, никто не заметит, а вот если постоянно — клиент или аудитория быстро почувствует подвох. В итоге компания платит деньги за качество, а получает посредственный контент, который только притворяется годным.

Отдельная проблема — публикации контента от имени компании. В соцсетях и блогах сегодня публикуется так много всего, что контролировать каждую строчку порой невозможно. И вот стажёр или молодой сотрудник решает не париться и запускает текст через нейросеть. Это удобно и быстро, но чревато. Например, на vc ru был случай с Авито, когда текст блога оказался настолько искусственным, что читатели буквально завалили его иронией и критикой. И если в обычных ситуациях это грозит просто неловкостью, то в чувствительных сферах вроде финансов, медицины или права ошибка нейросети может стать причиной вполне реальных проблем, вплоть до судебных разбирательств.

Пока что в России нет закона, который запрещал бы использовать нейросети для создания коммерческого контента. Но Роскомнадзор уже обсуждает возможную маркировку таких материалов. В Евросоюзе приняли AI Act, требующий, чтобы компании сообщали о контенте, сгенерированном нейросетями, особенно если речь идёт о чувствительных сферах. А значит, уже сегодня важно хотя бы уметь отличать тексты, написанные людьми, от текстов, созданных нейросетями. Это не вопрос запрета технологий, а скорее про прозрачность и доверие: никто не любит, когда его пытаются обмануть. Поэтому давайте посмотрим, что придумали в противовес нейронкам.

I. GigaCheck (Сбер)

Это один из самых точных русскоязычных детекторов. По официальным данным, на текстах объёмом от 20 до 10 000 символов точность достигает 94,7% при вероятности ложного срабатывания не более 1 %. В тестах Сбербанка система смогла обнаружить, что примерно 6 % новостных статей написаны нейросетью. Есть ограничения — пока что можно получить только общий процент ИИ‑контента в тексте, но разработчики обещают вскоре добавить возможность указания конкретных фрагментов, что уже тестируется в версии чекера в Telegram-боте.

Очень неплохо работает на длинных текстах, редко даёт ложные срабатывания. Подходит для проверки контента от подрядчиков.

II. Ai Detector от Text ru

Этот инструмент оценивает вероятность ИИ‑текста с точностью более 75 %. Причём неудобства возникают на коротких текстах (до 1 000 знаков) или в случае канцелярита и шаблонных фраз — тогда результат часто бывает ложноположительным. В ряде авторских обзоров выяснили, что на бытовых или узкоспециализированных темах детектор может неверно считать ИИ‑текст человеческим, особенно если стилистика неформальная.

Неплох как дополняющий инструмент для предварительной проверки, особенно на больших объёмах. Но нуждается в человеческой интерпретации вывода.

Продолжение: https://vk.com/wall-210601538_1883

⭐️ MLSecOps и Data Steward как факторы успеха бизнеса: от качества данных до безопасности ИИ-систем

По просьбам подписчиков 15 сентября с 11:00 до 12:30 по МСК проводим бесплатный вебинар по передовым профессиям MLSecOps и Data Steward. Подключайтесь, будем рады!

Обилие высококачественных, надежных и хорошо организованных данных открывает широкие возможности для внедрения интеллектуальных решений, обеспечивающих значительный прирост эффективности бизнеса. Однако важно обеспечить качество, безопасность и надежность самих данных (за это отвечают специалисты Data Stewards), а также разработанных на их основе ИИ-решений (эта задача лежит на команде MLSecOps).

Приглашаем на вебинар, где наш эксперт Николай Павлов подробно расскажет о важной роли специалистов Data Stewards и MLSecOps в обеспечении качества, безопасности и надежности больших данных и современных ИИ-систем.

На вебинаре Вы получите конкретные рекомендации по внедрению процессов Data Governance и повышению уровня информационной безопасности в компаниях, включая пошаговую инструкцию по созданию системы управления данными и меры противодействия угрозам в MLSecOps.

Спикер: Николай Павлов — архитектор MLSecOps, опытный тренер и разработчик электронных курсов Академии Softline.

Автор уникальных программ и учебных материалов, которые на практике доказали свою эффективность и востребованность среди специалистов в области управления данными и безопасности ИИ-систем.

Каждый участник вебинара получит бонусы от эксперта:

+ Глоссарий терминов для профессии MLSecOps
+ Глоссарий терминов для профессии Data Steward
+ Перечень полезных правил безопасной работы пользователей с ИИ-системами

На вебинаре рассмотрим:

+ Роль и методы обеспечения качества данных в Data Governance
+ Потенциальные угрозы и инциденты при использовании ИИ-систем
+ Многоуровневую систему управления данными
+ Базовые рекомендации по безопасной работе рядовых сотрудников с ИИ-системами
+ Опыт успешного внедрения Data Governance на практике крупной компании
+ Фундаментальные тренды сферы IT
+ Инструменты и технологии MLSecOps
+ Подробную архитектуру Data Governance

Ссылка на регистрацию: https://edu.softline.com/news/mlsecops-i-data-steward-kak-faktory-uspekha-biznesa-ot-kachestva-dannykh-do-bezopasnosti-ii-sistem/?ysclid=mfap5wk9k1780644125

Архитектор MLSecOps
Николай Павлов

⭐️ Исследование показало, что программисты, использующие ИИ, провоцируют рост проблем с безопасностью

Как показало новое исследование компании Apiiro, занимающееся компьютерной безопасностью, разработчики, использующие ИИ, создают в десять раз больше проблем для безопасности, чем их коллеги, не использующие эту технологию. Проанализировав код тысяч разработчиков и десятки тысяч репозиториев (место, где хранятся данные), сотрудники Apiiro обнаружили, что разработчики, использующие ИИ, действительно пишут код в три–четыре раза быстрее. Но именно скорость и приводит к появлению брешей в системе безопасности.

По иронии судьбы, некоторые «преимущества» программирования с использованием ИИ, по-видимому, стали причинами этих проблем. Анализ Apiiro показал, что количество синтаксических ошибок сократилось на 76%, а количество логических ошибок (неисправного кода, приводящего к некорректной работе программы) — более чем на 60%.

Однако компромисс оказался серьезным: количество случаев повышения привилегий, или кода, позволяющего злоумышленнику получить более высокий уровень доступа к системе, чем ему положено, выросло на 322%. Количество проблем с архитектурным проектированием, в свою очередь, увеличилось на 153%. Другими словами, ИИ исправляет опечатки, но создает «бомбы замедленного действия».

Продолжение: https://vk.com/wall-210601538_1885

⭐️ ИИ будет выгоднее для защитников, чем для хакеров: как нейросети меняют правила игры в кибербезе

Недавно компания ESET обнаружила первый вирус, который использует искусственный интеллект прямо на зараженном устройстве. Программа PromptLock встраивает модель GPT-OSS-20b от OpenAI и генерирует вредоносные скрипты на ходу, не обращаясь к серверам злоумышленников. Теперь один человек с ИИ-ассистентом может провести кибератаку, для которой раньше требовалась команда хакеров. Порог входа в киберпреступность стал ниже, защитники едва успевают адаптироваться.

I. Вайб-хакинг

Первые попытки использовать генеративный ИИ для создания вредоносного ПО появились еще в конце 2024 года. Тогда была замечена программа-шифровальщик FunkSec, атаковавшая организации в Европе и Азии. Анализ показал, что многие фрагменты ее кода были написаны не вручную, а автоматически с помощью ИИ.

Идею использования злоумышленниками ИИ в создании вредоносных программ нельзя назвать новой. Однако раньше результаты часто оказывались сырыми — код содержал ошибки, в одной программе могли использоваться команды для разных операционных систем одновременно.

Эксперты считают, что ИИ пока больше снижает порог входа в киберпреступность, чем кардинально меняет ее ландшафт. Но это уже создает заметный эффект: люди без глубоких технических знаний получают доступ к инструментам, которые раньше требовали серьезной экспертизы.

Настоящий прорыв в использовании ИИ для кибератак продемонстрировал случай, который компания Anthropic назвала вайб-хакинг. Группа киберпреступников использовала Claude Code — ИИ-агент для программирования, — чтобы вымогать данные у 17 организаций по всему миру, включая медицинские учреждения, службы экстренного реагирования и даже государственные структуры.

Продолжение: https://vk.com/wall-210601538_1886

⭐️ Разработчиков медицинского ИИ обяжут автоматически передавать данные о сбоях в Росздравнадзор

Разработчики медицинских технологий на базе искусственного интеллекта будут обязаны передавать в Росздравнадзор данные о частоте использования своих решений, сбоях и отклонениях в работе в автоматическом режиме. Как пояснили в ведомстве, речь идёт о системах поддержки принятия врачебных решений — от анализа медицинских изображений до обработки электронных карт пациентов.

Сейчас таких медицинских изделий в России зарегистрировано 48, из них 43 — отечественной разработки. Среди лидеров рынка — Botkin AI, Webiomed и «Третье мнение». Пока отчёты о проблемах направляются в Росздравнадзор вручную и раз в год, однако новая инициатива предполагает постоянный сбор технической телеметрии с устройств.

По словам экспертов, идея аналогична действующему фармаконадзору, но с поправкой на специфику технологий: система должна будет сама фиксировать ошибки и передавать сведения регулятору. При этом речь не идёт о персональных данных пациентов, но информация о сбоях и конфигурациях ПО считается чувствительной: она может раскрывать слабые места продукта и представлять интерес для конкурентов или злоумышленников.

Чтобы снизить риски, предлагается передача данных через защищённые государственные каналы (СМЭВ) с применением криптографического шифрования и строгого аудита доступа.

Инициатива пока находится на межведомственном обсуждении. Если проект будет утверждён, Росздравнадзору предстоит создать новую платформу для автоматизированного надзора за медицинскими ИИ-решениями.

www1 ru

⭐️ Калифорния вводит первое в США комплексное регулирование ИИ-чатботов

Калифорния приняла законопроект SB 243, который станет первым в стране законодательным актом, направленным на регулирование ИИ-чатботов, создающих адаптивное и человекоподобное общение. Документ, поддержанный обеими палатами штата и направленный на подпись губернатору Гэвину Ньюсому, устанавливает обязательные меры безопасности для операторов таких систем, защищая не только несовершеннолетних, но и уязвимых взрослых пользователей.

Если губернатор подпишет закон до 12 октября, то он вступит в силу с 1 января 2026 года. Закон требует, чтобы компании, включая OpenAI, Character AI и Replika, внедрили предостережения для пользователей: каждые три часа чатбот должен напоминать, что собеседник — искусственный интеллект, а не человек, и рекомендовать делать перерыв. Также закон запрещает обсуждение в чатах тем самоубийства, членовредительства и секса.

Кроме того, операторов чатботов обяжут ежегодно отчитываться о своих мерах безопасности и случаях направления пользователей к кризисным службам, начиная с 1 июля 2027 года. Закон позволит пострадавшим подавать иски с компенсацией до $1000 за каждое нарушение.

SB 243 была инициирована после трагического случая с подростком, который покончил с собой после длительного общения с OpenAI ChatGPT на запретные темы, а также в ответ на утечки, свидетельствующие о том, что чатботы Meta (признана в России экстремистской и запрещена) позволяли детям вести «романтические» и беседы. Сейчас федеральные регуляторы и законодатели в США также усиливают контроль за защитой пользователей на ИИ-платформах.

Продолжение: https://vk.com/wall-210601538_1894

⭐️ В школах предложили проводить уроки, посвященные безопасному использованию искусственного интеллекта

Официальное обращение министру просвещения Сергею Кравцову и главе Минцифры Максуту Шадаеву направил вице-спикер Госдумы Борис Чернышов.

Модуль о безопасном и ответственном взаимодействии с ИИ-технологиями хотят ввести в рамках «Разговоров о важном». По словам Чернышова, искусственный интеллект перестал быть просто «умным поиском».

«Это мощнейший инструмент влияния, который учится в том числе на слабостях человека, и уже может влиять на нас, особенно на неокрепшие детские умы», — считает депутат.

Модуль предлагают адаптировать для разных возрастных групп:

+ в 5–7 классах акцент сделают на базовых правилах цифровой гигиены и критическом восприятии контента;
+ в 8–9 классах — на осознанном использовании технологий и этических аспектах;
+ в 10-11 классах предложат углубленное изучение принципов работы ИИ, правовых аспектов его применения и оценки потенциальных рисков.

mel fm

⭐️ Жительница Приангарья поверила в фейк ИИ о дополнительных выплатах

43-летняя жительница Тайшетского района стала жертвой дипфейка о дополнительных выплатах и потеряла более 1,3 миллиона рублей.

Дипфейк — это видео, созданное искусственным интеллектом. На присланном пострадавшей ролике был один из федеральных чиновников, который говорил о выплатах и прибавке к зарплате. В письме была ссылка, и женщина перешла по ней. На телефон загрузилось приложение, через несколько минут позвонил «финансовый консультант», рассказал о выплатах и предложил инвестировать деньги по «госконтракту».

Женщина перевела на указанные счета более 1,3 миллиона рублей. Большую часть этих средств она взяла в кредит. Возбуждено уголовное дело.

Пресс-служба ГУ МВД России по Иркутской области

📣 Госдума в ходе осенней сессии планирует провести большие парламентские слушания, посвященные теме законодательного урегулирования искусственного интеллекта, сообщил Председатель Госдумы Вячеслав Володин.

«Нам важно создавать условия для бизнеса, в том числе с учётом развития новых технологий. В этой связи планируется до конца осенней сессии проведение больших парламентских слушаний по вопросу, связанному с развитием искусственного интеллекта», — подчеркнул Володин.

По его словам, это межфракционная работа, которой депутаты занимались летом.

«Надеюсь, что мы уже в декабре выйдем на рассмотрение этого ключевого важного вопроса», — добавил Председатель ГД.

✍ подписаться: ИБ в "Законе"

⭐️ Запись моего вебинара "MLSecOps и Data Steward как факторы успеха бизнеса: от высокого качества данных до безопасности ИИ-систем"
https://vk.com/video-18875334_456239245

⭐️ ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта

До кон­ца 2025 г. Фе­дераль­ная служ­ба по тех­ни­чес­ко­му и эк­спортно­му кон­тро­лю (ФСТЭК Рос­сии) пред­ста­вит для об­щес­твен­но­го об­суж­де­ния проект стан­дар­та бе­зопас­ной раз­ра­бот­ки сис­тем ис­кусс­твен­но­го ин­тел­лек­та.

Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России (ФСТЭК России) Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения (ПО) и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".

Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока что речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.

Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, Приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например:
- Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении.
- Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но он ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: Например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа белый ящик или этическим аспектам ИИ.

"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.

Продолжение: https://vk.com/wall-210601538_1901