⭐️ Жительница Приангарья поверила в фейк ИИ о дополнительных выплатах

43-летняя жительница Тайшетского района стала жертвой дипфейка о дополнительных выплатах и потеряла более 1,3 миллиона рублей.

Дипфейк — это видео, созданное искусственным интеллектом. На присланном пострадавшей ролике был один из федеральных чиновников, который говорил о выплатах и прибавке к зарплате. В письме была ссылка, и женщина перешла по ней. На телефон загрузилось приложение, через несколько минут позвонил «финансовый консультант», рассказал о выплатах и предложил инвестировать деньги по «госконтракту».

Женщина перевела на указанные счета более 1,3 миллиона рублей. Большую часть этих средств она взяла в кредит. Возбуждено уголовное дело.

Пресс-служба ГУ МВД России по Иркутской области

📣 Госдума в ходе осенней сессии планирует провести большие парламентские слушания, посвященные теме законодательного урегулирования искусственного интеллекта, сообщил Председатель Госдумы Вячеслав Володин.

«Нам важно создавать условия для бизнеса, в том числе с учётом развития новых технологий. В этой связи планируется до конца осенней сессии проведение больших парламентских слушаний по вопросу, связанному с развитием искусственного интеллекта», — подчеркнул Володин.

По его словам, это межфракционная работа, которой депутаты занимались летом.

«Надеюсь, что мы уже в декабре выйдем на рассмотрение этого ключевого важного вопроса», — добавил Председатель ГД.

✍ подписаться: ИБ в "Законе"

⭐️ Запись моего вебинара "MLSecOps и Data Steward как факторы успеха бизнеса: от высокого качества данных до безопасности ИИ-систем"
https://vk.com/video-18875334_456239245

⭐️ ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта

До кон­ца 2025 г. Фе­дераль­ная служ­ба по тех­ни­чес­ко­му и эк­спортно­му кон­тро­лю (ФСТЭК Рос­сии) пред­ста­вит для об­щес­твен­но­го об­суж­де­ния проект стан­дар­та бе­зопас­ной раз­ра­бот­ки сис­тем ис­кусс­твен­но­го ин­тел­лек­та.

Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России (ФСТЭК России) Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения (ПО) и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".

Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока что речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.

Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, Приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например:
- Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении.
- Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но он ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: Например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа белый ящик или этическим аспектам ИИ.

"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.

Продолжение: https://vk.com/wall-210601538_1901

⭐️ Уязвимость в ChatGPT могла раскрывать данные Gmail

Компания OpenAI оперативно устранила критическую уязвимость в ChatGPT, которая потенциально позволяла злоумышленникам получать доступ к конфиденциальным данным пользователей, включая содержимое писем Gmail.
В сентябре 2025 года исследователи кибербезопасности обнаружили опасный баг в системе ChatGPT. Уязвимость была связана с функцией, позволяющей чат-боту автоматически загружать и анализировать файлы из внешних источников, включая сервисы Google, такие как документы и таблицы.

Логика атаки была следующей. Злоумышленник создавал специально сформированную вредоносную ссылку на файл, хранящийся в «Google диске». Эта ссылка маскировалась под легитимный документ и могла быть отправлена жертве через чат или размещена на сайте. Если пользователь загружал такую ссылку в ChatGPT для анализа, механизм авторизации давал сбой. Вместо того чтобы запросить доступ только к целевому файлу, система в некоторых случаях ошибочно предоставляла доступ к гораздо более широкому набору данных — включая электронные письма в Gmail, связанные с аккаунтом Google пользователя.

Хотя нет свидетельств того, что уязвимость была массово использована в реальных атаках, ее потенциальный урон был крайне высок. Под угрозой оказались доступ к содержимому почты Gmail, утечка коммерческой тайны, финансовых отчетов и проектных данных, хранящихся в Google Документах и риск раскрытия личной информации.

Получив отчет об уязвимости, инженеры компании OpenAI в срочном порядке выпустили патч и полностью устранили брешь в системе. Google подтвердил, что осведомлен о ситуации и тесно сотрудничал с OpenAI для ее разрешения. Представитель гиганта поисковых технологий отметил, что проблема была на стороне интеграции ChatGPT, а не в инфраструктуре Google.

Продолжение: https://vk.com/wall-210601538_1902

⭐️ Аналитики МТС: к 2027 году ИИ-агентов начнут использовать до 50 процентов российских компаний

ИИ-агенты уже активно внедряются в ИТ, агропромышленном комплексе, добыче полезных ископаемых, транспортной отрасли и логистике.

Аналитики МТС Web Services выяснили, что согласно прогнозам, к 2027 году половина российских компаний будет работать с генеративными искусственными интеллектами (ИИ) и ИИ-агентами. Согласно результатам внутреннего исследования, ИИ-агенты уже активно внедряются во многие сферы бизнеса и промышленности.

«ИИ-агенты — не просто тренд, а реальный источник устойчивого роста для компаний как за счет оптимизации затрат, так и увеличения выручки через трансформацию клиентского опыта. К тому же их внедрение позволит облегчить работу сотрудникам, поскольку они смогут делегировать агентам сложные задачи. В перспективе могут появиться гибридные команды – специалисты люди и ИИ-коллеги агенты, которые в тандеме буду показывать высокую эффективность», — рассказал генеральный директор МТС Web Services Павел Воронин.

Так, сами МТС Web Services разрабатывают ИИ-агента, способного выполнять сложные задачи без вмешательства человека: спланировать путешествие или провести финансовый анализ.

В компании рассчитывают, что применение агентов позволит ускорить запуск новых сервисов под разные жизненные сценарии пользователей, а также упростить работу сотрудников с помощью делегирования системе задач разной сложности.

Продолжение: https://vk.com/wall-210601538_1903

⭐️ 54% россиян уже используют ИИ в своей работе

Каждый второй опрошенный россиянин использует искусственный интеллект (ИИ) в своей работе, а каждый третий признался, что не умеет пользоваться ИИ.

Об этом свидетельствуют результаты опроса компании Level Group.

При этом четверть опрошенных (24%) активно пользуются нейросетями в своей работе - для написания кода, поиска информации, генерации видео и фотографий, редактуры текста и анализа данных. Для каждого второго (19%) из них такая практика считается нормальной. Кроме того, эта часть опрошенных убеждена, что рано или поздно все придут к внедрению ИИ в работу. Еще 5% используют нейросети, но не хотят, чтобы об этом кто-то узнал, и стыдятся этого.

Также опрос показал, что большинство (43%) из тех, кто использует нейросети в работе, делегируют им одну десятую работы и меньше. Треть (33%) - около одной пятой задач, 4% - четверть, еще 11% - примерно треть и 8% - половину всех задач.

tass

⭐️ Уже завтра в 11.00 по Москве MWS покажут свою технологичную платформу по созданию ИИ-агентов!

На вебинаре специалисты покажут, как с помощью платформы MWS GPT можно создать AI-агента без использования кода, а также поделятся частыми практиками использования.

Дружно смотрим и активно задаем вопросы!

Ссылка на трансляцию в VK: https://vkvideo.ru/video-38818370_456239300

Архитектор MLSecOps
Николай Павлов

Всем привет! Сегодня вышел новый релиз LLAMATOR: https://github.com/LLAMATOR-Core/llamator/releases/tag/v3.4.0

добавили атаку на неограниченное потребление и SOTA Composition of Principles (CoP).

⭐️ Рынок ИИ в России может вырасти в три раза к 2029 году

Несмотря на оптимистичные прогнозы, глава MWS AI в МТС раскритиковал подход бизнеса к созданию ИИ.

По итогам 2025 года объём рынка ИИ (с учётом оборудования) в России составит около 168 миллиардов рублей. В 2029 году этот показатель вырастет более чем в три раза, достигнув 516 миллиардов рублей. Оценку дал глава MWS AI (входит в состав МТС Web Services) Денис Филиппов.

Без учёта оборудования (только ПО и сервисы) объём рынка ИИ достигнет 50 миллиардов рублей по итогам 2025 года и 155 миллиардов – в 2029 году. На сегодняшний день рынок поделен на следующие направления:

34% – технологии в области компьютерного зрения;
29% – ИИ-агенты;
12% – заказная разработка ПО;
9% – обработка естественного языка (NLP);
7% – ИИ-консалтинг.

Компьютерное зрение – это технология для распознавания объектов на изображениях или видео. Применяется в:

+ промышленности – для контроля качества продукции и обеспечения безопасности;
+ медицине – для выявления рака легких, болезней сердца, остеопороза по рентгеновским снимкам и КТ;
+ розничной торговле – для предотвращения краж на кассах самообслуживания;
+ транспорте – беспилотники и роботы-курьеры;
+ видеонаблюдении – для распознавания лиц и объектов в общественных местах;
+ банках – для идентификации клиентов, оплаты по лицу;
+ сельском хозяйстве – для анализа посевов, обнаружения сорняков, отслеживания поголовья скота.

Филиппов отметил, что в России ИИ-агенты применяются в сферах телекоммуникаций, финансов, промышленности и сельского хозяйства. Конкретных примеров он не привёл, поэтому попытаемся разобраться самостоятельно.

Продолжение: https://vk.com/wall-210601538_1906

⭐️MWS GPT: заблуждения и мифы про внедрение LLM в бизнес

На ночь глядя решил подробнее изучить платформу MWS GPT, которая в числе прочего позволяет разрабатывать ИИ-агентов с помощью No-code.

Ссылка на замечательный вебинар с Павлом Бабиным, CPO MWS GPT, и Алсу Иовковой, продакт-менеджером ИИ сервисов в MWS, на котором ребята все очень досконально разобрали и разложили по полочкам: https://vkvideo.ru/video-38818370_456239264

Архитектор MLSecOps
Николай Павлов

⭐️ AI Secure Agentic Framework Essentials (AI-SAFE) v 1.0 от Yandex Cloud

Добавлю и я свои 5 копеек про новый фреймворк от Yandex Cloud:

1. Принимает во внимание все угрозы по OWASP (в т.ч. Top-15 для ИИ-агентов)
2. Ребята хорошо прошлись по всех архитектуре агентов и на каждом этапе работы подсветили угрозы
3. Написан доступным языком, лаконично и по существу
4. Привели реальные и доказанные атаки, разобрали возможные способы, чтобы избежать подобных инцидентов
5. Предложили примерную оценку вероятностей наступления угроз, что очень ценно (далеко не все компании, выстраивая архитектуру MLSecOps, начинают с оценки вероятности реальных рисков и угроз)
6. Добавили Практический чек-лист безопасности по уровням AI-SAFE

В общем, Yandex Cloud на высоте 🫡🔥

Ссылка для субботнего чтения: https://storage.yandexcloud.net/cloud-www-assets/blog-assets/ru/posts/2025/09/ai-safe-framework/AI%20Secure%20Agentic%20Framework%20Essentials%20(AI-SAFE)%20v%201.0.pdf

Архитектор MLSecOps
Николай Павлов

⭐️ Yandex Neuro Scale 2025

Yandex Neuro Scale - это одно из основных событий года в сфере ИИ. Строго обязательно просмотру на этих выходных: https://scale.yandex.cloud/?ysclid=mg1ydxkbqf988135139

Масса уникальных ролей и технологий (нейроюристы, нейроаналитики, AI Studio), а спикеры молодцы!

Архитектор MLSecOps
Николай Павлов

⭐️ Инциденты MLSecOps. Искусственный интеллект все чаще обманывает людей

В 2025 году искусственный интеллект семимильными шагами движется к вершинам власти. В Албании его уже ввели в правительство, он выступает от имени пострадавшего в суде или даже становится лидером партии. Более того: ИИ уже способен распознавать ловушки, расставляемые человеком, и избегать их, чтобы его не отключили. Ещё он научился обманывать людей, и недалеко время, когда человеку уже не удастся обмануть искусственный интеллект.

Чарли Кирк, которого застрелили 10 сентября в штате Юта, "ожил" благодаря искусственному интеллекту. И с большим успехом читает теперь проповеди в американских церквях. А несколько месяцев назад в Аризоне цифровой двойник убитого водителя Криса Пелки выступил в суде - рассказал, как его застрелили во время дорожной ссоры и простил своего убийцу. Это был первый случай в судебной практике США, когда ИИ-двойник жертвы сам обратился к судье.

Судья же был так впечатлен, что дал убийце максимальный срок – десять с половиной лет, хотя прокуратура просила за непредумышленное убийство на год меньше. Судья знал, что человек не настоящий, что выступление сгенерировано искусственным интеллектом, но всё равно поддался его обаянию.

Цифровые копии людей могут выглядеть так убедительно, что их не только слушают в суде или на проповедях, но и привлекают к управлению государством. К примеру, в Албании назначен новый министр по госзакупкам – искусственный интеллект по имени Диелла. И вот уже ИИ-политик, одетая в национальный албанский наряд, выступает с речью в парламенте.

Беспристрастно и неустанно цифровой министр будет контролировать проведение публичных тендеров. Так премьер Албании Эди Рама хочет обуздать коррупцию. В лаборатории, где создавали нового ИИ-министра, тоже возлагают на неё большие надежды. И уже удивительно даже не то, что министр – не человек, а то, что люди готовы позволить искусственному алгоритму решать, что лучше для них, для живых.

Продолжение: https://vk.com/wall-210601538_1910

⭐️ Запускаем третий поток учебной программы по MLSecOps!

В августе успешно завершился второй поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
От слушателей было много позитивных отзывов, а главное - ряд компаний реально улучшили обеспечение безопасности ИИ-систем!

Важная новость - в рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ в своих компаниях. Для одной компании потенциальный экономический эффект от такого аудита составил 3 млн. рублей в год.

По заявкам новых слушателей уже с 14 октября мы запускаем третий поток этой обучающей программы и приглашаем всех желающих!

Сильные стороны программы:

1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.

2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.

3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.

4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.

5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.

6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем.

Более подробная информация и возможность записаться по ссылке:
https://academyit.ru/courses/mlsecops

Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.

Архитектор MLSecOps
Николай Павлов

⭐️ Вебинар про MLSecOps на AM Live!

В прямом эфире AM Live 10 октября в 11:00 МСК разберём, как встроить безопасность в жизненный цикл ИИ: от защиты данных и моделей до мониторинга атак в продакшене. Покажем реальные примеры adversarial-атак и poisoning, обсудим, как компании выстраивают процессы MLSecOps, какие инструменты работают сегодня и как избежать типичных ошибок. Только практические кейсы, честный анализ и опыт экспертов, которые уже защищают ИИ-системы в реальных проекта.

1. Основы MLSecOps и картина угроз
2. Практика: как защищать ML-пайплайны
3. Будущее и прогнозы

Ссылка на регистрацию: https://www.anti-malware.ru/event/2025/10/02-1

Архитектор MLSecOps
Николай Павлов

⭐️ Хакеры могут красть почту пользователей ИИ-браузера Perplexity (Perplexity Comet)

Perplexity Comet — это агентный ИИ-браузер, способный управлять почтой, совершать покупки и выполнять ряд других задач в автономном режиме.

Эксперты компании LayerX обнаружили уязвимость под названием CometJacking, которая использует скрытые инструкции в URL для обхода систем защиты ИИ-браузера Comet от Perplexity. По данным исследователей, методика позволяет злоумышленникам без учетных данных и участия пользователя получать доступ к письмам Gmail и событиям Google Calendar, а также пересылать данные на внешние серверы, сообщает BleepingComputer.

Суть атаки заключается во внедрении вредоносных команд через параметр collection в строке запроса. В ходе тестов Comet вместо стандартного обращения к веб-поиску использовал подключенные сервисы и собственную память, после чего экспортировал данные в формате base64 и пересылал их за пределы системы. Помимо кражи информации исследователи допускают возможность активных действий от имени жертвы, включая отправку писем или поиск файлов в корпоративной среде.

Продолжение: https://vk.com/wall-210601538_1913

🔥 Завтра 07.10 в 11.10 по Москве выступаю с онлайн-докладом "Подробная архитектура обеспечения безопасности ИИ-систем (MLSecOps)" на форуме ITSEC 2025, регистрируйтесь, подключайтесь, уверен, вопросов будет много.

Очень рекомендую послушать и доклады остальных участников, темы актуальные!

Ссылка для регистрации: https://www.itsecexpo.ru/2025/program/devsecops

Завтра с утра перед конференцией на почту каждому придет ссылка на подключение.

Архитектор MLSecOps
Николай Павлов

⭐️ Google готов платить до $30 тысяч за борьбу с «несанкционированными действиями» своих ИИ-ботов

Google запустила новую программу вознаграждений, специально предназначенную для поиска ошибок в продуктах с искусственным интеллектом. Величина наград может достигать $30 тысяч.

Приз в размере $20 000 тысяч присуждается за выявление мошеннических действий во «флагманских» продуктах Google: поиске, приложениях Gemini и основных сервисах Workspace, таких как Gmail и Drive. Также предусмотрены множители за качество отчёта и бонус за новизну, что может увеличить общую сумму до $30 тысяч. За ошибки, найденные в других продуктах Google, таких как Jules или NotebookLM, а также за менее серьёзные нарушения исследователи получат до $5 тысяч.

Список ошибок, соответствующих критериям поиска, включает примеры вредоносных действий, например, косвенное внедрение запроса ИИ, который заставляет Google Home разблокировать дверь, или внедрение запроса на эксфильтрацию данных, который собирает все электронные письма пользователя и отправляет эту информацию на аккаунт злоумышленника.

Новая программа разъясняет, что представляет собой ошибка ИИ, разделяя баги, использующие большую языковую модель или генеративную систему ИИ для причинения вреда, и уязвимости безопасности. Возглавляют этот список вредоносные действия. К ним относится изменение чьей-либо учётной записи или данных для нарушений безопасности или совершения нежелательных действий. Примером такого бага можно назвать ранее выявленную уязвимость, которая позволяла открывать умные ставни и выключать свет с помощью события в Google Календаре.

Продолжение: https://vk.com/wall-210601538_1915