⭐️ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?

Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.

I. Обоюдоострое оружие

Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.

То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.

Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.

Продолжение: https://vk.com/wall-210601538_1619

⭐️ Уже через два года ИИ сможет работать стандартный восьмичасовой день

Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.

Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.

В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.

Продолжение: https://vk.com/wall-210601538_1621

⭐️ Collection. Темная сторона Data Science

Всем привет, мои великие Звезды IT!

Давно не угощал Вас вкусняшными докладами, прошу прощения!

Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.

Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".

Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037

Приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ Пять вещей, которые не стоит рассказывать ChatGPT

Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.

Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.

Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.

Продолжение: https://vk.com/wall-210601538_1623

⭐️ AI в вашей почте может сыграть против вас

Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!

Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.

Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.

💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.

https://news.1rj.ru/str/borismlsec

⭐️ Карта решений по LLM и GenAI Security 2025 в MLSecOps

Дружно смотрим эту уникальную карту, погружаемся, задаем вопросы - отвечу каждому!

Архитектор MLSecOps
Николай Павлов

⭐️ Искусственный интеллект затронет 40% рабочих мест к 2033 году

По прогнозам ООН, мировой объем рынка искусственного интеллекта (ИИ) достигнет $4,8 трлн, а сами технологии ИИ затронут 40% рабочих мест. По мнению ООН, распространение ИИ повысит производительность труда, однако может существенно усилить неравенство между развитыми и развивающимися странами.

В ближайшие десять лет рынок технологий искусственного интеллекта вырастет примерно в 25 раз — с $189 млрд в 2023 году до почти $4,8 трлн в 2033 году. Такие прогнозы содержатся в опубликованном вчера, 3 апреля, докладе Конференции ООН по торговле и развитию (ЮНКТАД). Ее аналитики ожидают, что к 2033 году ИИ затронет около 40% рабочих мест в мире.

Авторы доклада отмечают, что распространение технологий ИИ будет способствовать повышению производительности труда, цифровой трансформации экономики, появлению новых отраслей и расширению возможностей работников.

Продолжение: https://vk.com/wall-210601538_1627

⭐️ Обеспечение безопасности агентского ИИ: где MLSecOps встречается с DevSecOps (пер. с англ.)

I. Понимание ИИ-агентов

Агентные системы ИИ выходят за рамки традиционных моделей ИИ, которые просто отвечают на запросы или выполняют однозадачные прогнозы. Вместо этого агентные системы ИИ могут:

+ Действовать автономно с ограниченным контролем со стороны человека
+ Принимать решения на основе целей и ограничений
+ Предпринимать действия, которые влияют на окружающую среду
+ Сохранять данные в различных взаимодействиях и контекстах
+ Изучать и адаптировать свое поведение с течением времени

В отличие от обычного ИИ, который ждет подсказок человека, агентный ИИ активно преследует цели, используя различные инструменты и источники информации для достижения своих целей. В качестве примера можно привести помощников с искусственным интеллектом, которые могут записываться на прием, виртуальных операторов, которые управляют взаимодействием со службой поддержки клиентов по нескольким каналам, и автономные системы, оптимизирующие бизнес-процессы с минимальным контролем.

Продолжение: https://vk.com/wall-210601538_1628

⭐️ Cisco предупреждает о новой волне угроз — участились кибератаки с использованием LLM

Компания Cisco в своём новом отчёте «Состояние безопасности ИИ – 2025» раскрыла тревожные данные о росте числа кибератак с использованием больших языковых моделей (LLM). Вредоносные ИИ, такие как FraudGPT, ChostGPT и DarkGPT, уже продаются в даркнете всего за $75 в месяц и применяются для фишинга, взлома систем и кражи данных.

Одна из серьезных проблем, делающих ИИ-инструменты уязвимыми для переформатирование во вредоносное ПО, — это кастомизация (или тонкая настройка) моделей LLM.

Продолжение: https://vk.com/wall-210601538_1629

⭐️ Интерес к MLSecOps продолжает расти

Привет, мои самые умные и талантливые Звезды IT! По традиции раз в месяц я оцениваю динамики роста разных направлений, профессий и навыков в сфере IT.

По MLSecOps продолжается стремительный рост - например, если в марте 2024 года в Яндекс-поиске было всего 15 запросов с указанием MLSecOps, то в марте 2025 году их стало 398 (рост в 26 раз).

Пока неясно, линейная это динамики или все же экспоненциальная. Учитывая экспоненциальный рост больших данных в мире и экспоненциальный рост кибератак, есть вероятность, что спрос на технологии MLSecOps и интерес к ним окажется даже гиперэкспоненциальным.

Архитектор MLSecOps
Николай Павлов

⭐️ OWASP повысил Gen AI Security Project до флагманского статуса

Компания Open Worldwide Application Security Project (OWASP) объявила сегодня о том, что ее список OWASP Top 10 for LLM and Generative AI стал проектом OWASP Gen AI Security Project. Изменение названия отражает популярность первоначального списка Top 10 for LLM и признание расширенной направленности проекта.

Проект OWASP Gen AI Security — это глобальная инициатива с открытым исходным кодом, направленная на выявление, снижение и документирование рисков безопасности, связанных с технологиями генеративного искусственного интеллекта. Этот новый флагманский проект, призванный расширить возможности организаций, специалистов по безопасности, практиков в области искусственного интеллекта и политиков, будет постоянно публиковать всеобъемлющие, действенные руководства и инструменты для обеспечения безопасной разработки, развертывания и управления генеративными системами искусственного интеллекта.

Продолжение: https://vk.com/wall-210601538_1631

⭐️ ИИ уже знает ваши секреты — конфиденциальность под угрозой?

Искусственный интеллект в 2025 году стал уже не чем-то фантастическим, а вполне обычным инструментом в жизни и бизнесе. Однако вместе с удобством и эффективностью встаёт вопрос: а безопасны ли наши личные данные, которые мы доверяем нейросетям?

В Нидерландах регулятор по защите данных оштрафовал на 30,5 млн евро американскую компанию Clearview AI, которая, как утверждается, собрала незаконную базу данных с миллиардами фотографий людей. Власти Италии обнаружили возможную утечку данных пользователей GPT и даже временно заблокировали сервис.

Сравним, как популярные модели защищают ваши данные или данные ваших доверителей (работодателей), если вы юрист или адвокат.

I. ChatGPT

OpenAI, известная моделью GPT, занимает лидирующие позиции на рынке ИИ. У корпоративных версий (API, Enterprise, Pro) всё строго: данные клиентов не используются по умолчанию. Ведь в случае утечки компании точно уйдут к конкурентам.

Продолжение: https://vk.com/wall-210601538_1632

⭐️ Google выпускает модели Gemini быстрее, чем отчёты по их безопасности

Google, который два года назад оказался застигнут врасплох выпуском ChatGPT от OpenAI, теперь резко ускорил темп разработки собственных ИИ-моделей. Однако эта спешка вызывает опасения у экспертов отрасли.

В конце марта компания представила модель искусственного интеллекта с улучшенными возможностями рассуждения, Gemini 2.5 Pro, которая лидирует в отрасли по нескольким ключевым показателям, оценивающим способности к программированию и математическим вычислениям. Примечательно, что релиз состоялся всего через 3 месяца после выпуска предыдущей модели Gemini 2.0 Flash, которая на момент выхода также считалась передовой.

Директор и руководитель продукта Gemini, Тулси Доши, в интервью TechCrunch подтвердила, что увеличение частоты выпуска моделей является частью целенаправленных усилий компании по соответствию быстро меняющейся индустрии искусственного интеллекта.

Продолжение: https://vk.com/wall-210601538_1633

⭐️ Эксперт предсказал рост кибератак с помощью ИИ до десятков миллионов В ближайшие три года

По словам Дмитрия Маркова, исполнительного директора MTS AI, количество кибератак с использованием технологий дипфейков в ближайшие три года может вырасти до десятков миллионов. Это связано с тем, что технологии искусственного интеллекта становятся более доступными, и в скором времени каждый сможет создать фальшивый голос или заменить лицо на фото и видео. Марков отметил, что если сегодня таких атак несколько десятков тысяч, то в будущем ситуация изменится.

Он также добавил, что число атак с дипфейками может быть ещё больше, чем сообщают официальные источники. Мошенники часто используют эти технологии для кражи денег, и пострадавшие сообщают о мошенничестве в случае, если надеются вернуть средства. При этом развитие технологий создания дипфейков опережает методы их обнаружения. Например, чтобы создать аудиодипфейк, злоумышленникам достаточно 10-15 секунд записи голоса человека.

Продолжение: https://vk.com/wall-210601538_1634

⭐️ Приглашаю на бесплатный вебинар: "На страже ИИ: как защитить системы с LLM?" (8 апреля 11:00–12:00 по МСК)

Внедряете решения с искусственным интеллектом в своём контуре? Пилотируете чат-боты с большими языковыми моделями? Собираетесь использовать ИИ в бизнес-процессах? На вебинаре специалисты из Raft расскажут, как защитить ИИ-приложения от злоумышленников и что для этого можно использовать.

На вебинаре рассмотрим:

1. Как хакерам удалось обмануть AI-агента на $50’000 и какие уязвимости есть у приложений, работающих на LLM

2. Лучшие практики тестирования безопасности AI-систем, проверка чат-ботов на русском языке с помощью open-source инструмента Llamator

3. Мониторинг AI-приложений: как HiveTrace обнаруживает атаки и генерацию токсичного контента

Спикеры:

Евгений Кокуйкин — руководитель продукта HiveTrace
Анна Тищенко — архитектор HiveTrace
Тимур Низамов — разработчик open-source фреймворка Llamator

Ссылка для регистрации: https://aisecuritylab.timepad.ru/event/3267997

Приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ Сбербанк: синтетические данные создают новую экосистему для искусственного интеллекта

Сергей Кочетков и Юлдуз Фаттахова, исполнительные директора по исследованию данных Сбербанка, – о создании экосистемы генерации и использования синтетических данных SyntData, позволяющей повысить доступность данных для обучения ИИ-моделей.

Сбер развивает сервис SyntData – экосистему генерации и использования синтетических данных. Его задачей является повышение доступности данных для обучения ИИ-моделей: снятие барьеров для обработки обезличенных данных, а также данных с конфиденциальной информацией. SyntData позволяет создавать синтетические датасеты, в которых с высокой точностью воспроизводятся все статистические зависимости и структура исходных данных. Таким образом, митигируются риски раскрытия информации и нарушения ее конфиденциальности. О проекте рассказывают исполнительные директора по исследованию данных Сбербанка Сергей Кочетков и Юлдуз Фаттахова, – номинанты на премию Data Award.

Продолжение: https://vk.com/wall-210601538_1637

⭐️ Новая директива Белого дома отменяет гарантии искусственного интеллекта во имя модернизации

Белый дом опубликовал две обновлённые директивы по искусственному интеллекту «Америка прежде всего» для модернизации федерального правительства, рискуя при этом отменить некоторые меры безопасности, введённые для защиты граждан и бизнеса.

Эти изменения являются частью усилий президента Трампа по сохранению глобального доминирования США в сфере искусственного интеллекта и отмене некоторых мер безопасности, оставшихся со времён Байдена.

Продолжение: https://vk.com/wall-210601538_1638

⭐️ ИИ в образовании: эксперты предупредили о скрытых угрозах

Игорь Ашманов, предприниматель в сфере информационных технологий и член Президентского совета по правам человека (СПЧ), сомневается в надежности ИИ для обучения. Он отметил, что системы ИИ нередко ошибаются. Ашманов привёл в пример голосовой помощник «Яндекс Алиса». На вопрос «почему зимой холодно?» «Алиса» неверно отвечает, что Земля дальше от Солнца, хотя причина – в наклоне земной оси. Однако, если задать этот вопрос ИИ от «Яндекса», ответ будет правильным и довольно развёрнутым. «Нейросети должны давать один правильный ответ на многие вопросы», – подчеркнул Ашманов. Он настаивает на строгом контроле за их использованием в школах и университетах.

Ашманов также указал на проблему обучения нейросетей. Их тренируют в основном на англосаксонской литературе, из-за чего ответы могут не соответствовать российскому дискурсу. Для решения этой проблемы он предложил обучать нейросети на отечественных кластерах и строго следить за правильностью выдаваемых ответов.

Продолжение: https://vk.com/wall-210601538_1639

⭐️ Вчера на вебинаре AI Security Lab обсудили угрозы безопасности AI-приложений, подходы к тестированию и мониторингу GenAI 📈

Запись уже на YouTube: https://youtu.be/59nQI29wT3A

https://news.1rj.ru/str/aisecuritylab

⭐️ Предложенные бизнесом правила для внедрения ИИ критикуют правозащитники

Проект Концепции развития регулирования отношений в сфере технологий искусственного интеллекта до 2030 года, подготовленный Ассоциацией «Альянс в сфере искусственного интеллекта» содержит «очевидный перекос в пользу коммерческих интересов частных компаний», говорится в экспертном заключении президентского Совета по правам человека (СПЧ).

Правозащитники заявили, что в этом документе не учитываются многие риски, связанные с внедрением ИИ – например, его использование в целях мошенничества, пропаганды и фальсификации, для ведения боевых действий, а также социальные риски.

Продолжение: https://vk.com/wall-210601538_1641

⭐️ В Госдуме создали «серьёзную» группу для надзора за развитием ИИ

В Госдуме РФ создана межфракционная рабочая группа по разработке законов о применении искусственного интеллекта. По данным источника, в состав группы вошли представители всех фракций, которые займутся законодательным обеспечением «национально ориентированного» ИИ. Группа будет работать до конца срока полномочий восьмого созыва, т.е. до 2026 года.

Возглавил группу вице-спикер нижней платы Александр Бабаков, представляющий партию «Справедливая Россия». Комментируя данный вопрос, он заявил, что регулирование сферы ИИ «не должно никого пугать». Он добавил, что это «не та сфера, которая может развиваться чисто по рыночным законам» и ориентироваться «только на нормы прибыли». По мнению Бабакова, необходимо оценивать множество факторов, включая угрозы (в том числе этические), которые несут в себе новые трансграничные технологии. Также было сказано, что есть вопросы, связанные с изучением насыщенности рынка и его развитием в сочетании с рынком энергетики.

В сообщении сказано, что рабочая группа была создана по поручению председателя Госдумы Вячеслава Володина.

Продолжение: https://vk.com/wall-210601538_1642