Forwarded from Анализ данных (Data analysis)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👎1
Forwarded from AISecHub
CyberSOCEval.pdf
6.5 MB
CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning - https://ai.meta.com/research/publications/cybersoceval-benchmarking-llms-capabilities-for-malware-analysis-and-threat-intelligence-reasoning/
Today’s cyber defenders are overwhelmed by a deluge of security alerts, threat intelligence signals, and shifting business context, creating an urgent need for AI systems that can enhance operational security work. Despite the potential of Large Language Models (LLMs) to automate and scale Security Operations Center (SOC) operations, existing evaluations are incomplete in assessing the scenarios that matter most to real-world cyber defenders. This lack of informed evaluation has significant implications for both AI developers and those seeking to apply LLMs to SOC automation.
Without a clear understanding of how LLMs perform in real-world security scenarios, AI system developers lack a north star to guide their development efforts, and users are left without a reliable way to select the most effective models. Furthermore, malicious actors have begun using AI to scale cyber attacks, emphasizing the need for open source benchmarks to drive adoption and community-driven improvement among defenders and AI model developers.
To address this gap, we introduce CyberSOCEval, a new suite of open source benchmarks that are part of CyberSecEval 4. CyberSOCEval consists of benchmarks tailored to evaluate LLMs in two tasks: Malware Analysis and Threat Intelligence Reasoning, core defensive domains that have inadequate coverage in current security benchmarks. Our evaluations reveal that larger, more modern LLMs tend to perform better, confirming the training scaling laws paradigm. We also find that reasoning models leveraging test time scaling do not achieve the boost they do in areas like coding and math, suggesting that these models have not been trained to reason about cybersecurity analysis, and pointing to a key opportunity for improvement.
Finally, we find that current LLMs are far from saturating our evaluations, demonstrating that CyberSOCEval presents a significant hill to climb for AI developers to improve AI cyber defense capabilities.
Today’s cyber defenders are overwhelmed by a deluge of security alerts, threat intelligence signals, and shifting business context, creating an urgent need for AI systems that can enhance operational security work. Despite the potential of Large Language Models (LLMs) to automate and scale Security Operations Center (SOC) operations, existing evaluations are incomplete in assessing the scenarios that matter most to real-world cyber defenders. This lack of informed evaluation has significant implications for both AI developers and those seeking to apply LLMs to SOC automation.
Without a clear understanding of how LLMs perform in real-world security scenarios, AI system developers lack a north star to guide their development efforts, and users are left without a reliable way to select the most effective models. Furthermore, malicious actors have begun using AI to scale cyber attacks, emphasizing the need for open source benchmarks to drive adoption and community-driven improvement among defenders and AI model developers.
To address this gap, we introduce CyberSOCEval, a new suite of open source benchmarks that are part of CyberSecEval 4. CyberSOCEval consists of benchmarks tailored to evaluate LLMs in two tasks: Malware Analysis and Threat Intelligence Reasoning, core defensive domains that have inadequate coverage in current security benchmarks. Our evaluations reveal that larger, more modern LLMs tend to perform better, confirming the training scaling laws paradigm. We also find that reasoning models leveraging test time scaling do not achieve the boost they do in areas like coding and math, suggesting that these models have not been trained to reason about cybersecurity analysis, and pointing to a key opportunity for improvement.
Finally, we find that current LLMs are far from saturating our evaluations, demonstrating that CyberSOCEval presents a significant hill to climb for AI developers to improve AI cyber defense capabilities.
🔥1
Forwarded from SecureTechTalks
🕶️🤫 VaultGemma LLM от Google, которая учится молчать.🔒
Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.
Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩
Простыми словами
🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.
🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.
Кто нуждается в так моделях?
🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.
⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.
Какие реальные ограничения и компромиссы ждать
⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.
🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.
⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».
Все познаётся в сравнении
📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.
🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅
Как использовать, практические советы
🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.
Коротко о рисках, которые не исчезли
🕵️♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.
🔗 Источник и подробности
Stay secure and read SecureTechTalks 📚
#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch
Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.
Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩
Простыми словами
🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.
🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.
Кто нуждается в так моделях?
🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.
⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.
Какие реальные ограничения и компромиссы ждать
⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.
🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.
⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».
Все познаётся в сравнении
📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.
🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅
Как использовать, практические советы
🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.
Коротко о рисках, которые не исчезли
🕵️♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.
🔗 Источник и подробности
Stay secure and read SecureTechTalks 📚
#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch
🔥2
Forwarded from GitHub Community
This media is not supported in your browser
VIEW IN TELEGRAM
Yoink — ИИ-агент для работы с текстами прямо в редакторе
Инструмент, который помогает писать и редактировать тексты напрямую в Google Docs и MS Word:
▫️Автоматическое редактирование в реальном времени;
▫️Подгонка текста под выбранный стиль;
▫️Быстрое сокращение или упрощение формулировок;
▫️Мгновенное форматирование документов по стандартам (включая ГОСТ).
Подходит для учебных работ, статей и любых текстов, где важна структура и оформление.
Сохраняйте тут
🐱 GitHub
Инструмент, который помогает писать и редактировать тексты напрямую в Google Docs и MS Word:
▫️Автоматическое редактирование в реальном времени;
▫️Подгонка текста под выбранный стиль;
▫️Быстрое сокращение или упрощение формулировок;
▫️Мгновенное форматирование документов по стандартам (включая ГОСТ).
Подходит для учебных работ, статей и любых текстов, где важна структура и оформление.
Сохраняйте тут
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
Mirix — это мультиагентный персональный помощник, предназначенный для отслеживания действий на экране и интеллектуального ответа на вопросы пользователей.
Собирая визуальные данные в режиме реального времени и сохраняя их в структурированной памяти, Mirix преобразует необработанные входные данные в обширную базу знаний, которая адаптируется к вашему цифровому опыту.
🐱 GitHub
Собирая визуальные данные в режиме реального времени и сохраняя их в структурированной памяти, Mirix преобразует необработанные входные данные в обширную базу знаний, которая адаптируется к вашему цифровому опыту.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
PromptForge — платформа для разработки подсказок для ИИ, которая генерирует, анализирует и систематически тестирует подсказки
Перестаньте писать подсказки с нуля. Позвольте ИИ помочь вам составить более качественные подсказки, а затем систематически проверяйте их.
Создано на Go для обеспечения скорости и надёжности.
🐱 GitHub
Перестаньте писать подсказки с нуля. Позвольте ИИ помочь вам составить более качественные подсказки, а затем систематически проверяйте их.
Создано на Go для обеспечения скорости и надёжности.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Security Harvester
Prompts as Code & Embedded Keys | The Hunt for LLM-Enabled Malware
https://www.sentinelone.com/labs/prompts-as-code-embedded-keys-the-hunt-for-llm-enabled-malware/:
1. As Large Language Models (LLMs) are increasingly incorporated into software‑development workflows, they also have the potential to become powerful new tools for adversaries; as defenders, it is important that we understand the implications of their use and how that use affects the dynamics of the security space.
2. The majority of developers leverage commercial services like OpenAI, Anthropic, Mistral, Deepseek, xAI, or Gemini, and platforms such as HuggingFace, Groq, Fireworks, and Perplexity, rather than hosting and running these models themselves.
3. Crimeware families achieve an unparalleled level of technical sophistication, APT groups are competing in fully-fledged cyber warfare, while once decentralized and scattered threat actors are forming adamant alliances of ...
@secharvester
https://www.sentinelone.com/labs/prompts-as-code-embedded-keys-the-hunt-for-llm-enabled-malware/:
1. As Large Language Models (LLMs) are increasingly incorporated into software‑development workflows, they also have the potential to become powerful new tools for adversaries; as defenders, it is important that we understand the implications of their use and how that use affects the dynamics of the security space.
2. The majority of developers leverage commercial services like OpenAI, Anthropic, Mistral, Deepseek, xAI, or Gemini, and platforms such as HuggingFace, Groq, Fireworks, and Perplexity, rather than hosting and running these models themselves.
3. Crimeware families achieve an unparalleled level of technical sophistication, APT groups are competing in fully-fledged cyber warfare, while once decentralized and scattered threat actors are forming adamant alliances of ...
@secharvester
👎2👍1
Forwarded from GitHub Community
Kreuzberg — платформа для интеллектуального анализа документов на Python.
Извлечение текста, метаданных и структурированной информации из документов различных форматов с помощью единого расширяемого API.
Создана на основе проверенных платформ с открытым исходным кодом, включая Pandoc, PDFium и Tesseract.
🐱 GitHub
Извлечение текста, метаданных и структурированной информации из документов различных форматов с помощью единого расширяемого API.
Создана на основе проверенных платформ с открытым исходным кодом, включая Pandoc, PDFium и Tesseract.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Not Boring Tech
💣 Бомба: Paper2Agent превращает любые научные работы в интерактивных ИИ-агентов!
• Достаточно загрузить PDF научной статьи и появится диалоговый агент — он объяснит её содержание, изучит гайды и сам запустит код (!) для выполнения ваших задач.
• Больше не нужно вручную копаться в репозиториях, инструкциях и API-ключах — агент настроит всё сам!
• Вау: можно закинуть пейпер об AlphaGenome и без знаний кода (!) получить агента, который умеет делать анализы ДНК со 100% точностью.
• Как работает: Paper2Agent извлекает ключевые методы из статьи, превращает их в инструменты внутри MCP-сервера и подключает его к чат-агенту.
• В каждом MCP-сервере есть всё из научной статьи, что нужно для работы — инструменты, функции, ресурсы и шаблоны рабочих процессов.
Ваш личный ИИ-учёный — тут.
@notboring_tech
• Достаточно загрузить PDF научной статьи и появится диалоговый агент — он объяснит её содержание, изучит гайды и сам запустит код (!) для выполнения ваших задач.
• Больше не нужно вручную копаться в репозиториях, инструкциях и API-ключах — агент настроит всё сам!
• Вау: можно закинуть пейпер об AlphaGenome и без знаний кода (!) получить агента, который умеет делать анализы ДНК со 100% точностью.
• Как работает: Paper2Agent извлекает ключевые методы из статьи, превращает их в инструменты внутри MCP-сервера и подключает его к чат-агенту.
• В каждом MCP-сервере есть всё из научной статьи, что нужно для работы — инструменты, функции, ресурсы и шаблоны рабочих процессов.
Ваш личный ИИ-учёный — тут.
@notboring_tech
🔥1
Forwarded from Not Boring Tech
🔎 ИИ-агенты для поиска вышли на новый уровень — появился поисковый агент Lessie, который находит любых блогеров, клиентов, инвесторов, партнеров и специалистов.
• Достаточно отправить любой запрос и согласовать план поиска.
• ИИ-агент на автопилоте изучит сотни вкладок, соберёт готовую таблицу из релевантных экспертов, добавит их место работы, должность и контакты.
• В один клик всей базе можно отправить имейлы!
Бесплатно дают 200 кредитов — хватит для поиска ≈70 человек. Лист ожидания уже открыли тут.
@notboring_tech
• Достаточно отправить любой запрос и согласовать план поиска.
• ИИ-агент на автопилоте изучит сотни вкладок, соберёт готовую таблицу из релевантных экспертов, добавит их место работы, должность и контакты.
• В один клик всей базе можно отправить имейлы!
Бесплатно дают 200 кредитов — хватит для поиска ≈70 человек. Лист ожидания уже открыли тут.
@notboring_tech
😱3
Forwarded from Агенты ИИ | AGI_and_RL
М прикольновое
Квены дропнули Qwen3Guard модельки для анализа промтов и ответов моделек на сейфти
0.6B 4B 8B
https://qwen.ai/blog?id=f0bbad0677edf58ba93d80a1e12ce458f7a80548&from=research.research-list
https://huggingface.co/collections/Qwen/qwen3guard-68d2729abbfae4716f3343a1
https://github.com/QwenLM/Qwen3Guard
Квены дропнули Qwen3Guard модельки для анализа промтов и ответов моделек на сейфти
0.6B 4B 8B
Обнаружение в реальном времени: Qwen3Guard-Stream специально оптимизирован для потоковой передачи данных, обеспечивая эффективную и своевременную модерацию при инкрементальной генерации токенов.
Трёхуровневая классификация серьёзности: обеспечивает детальную оценку рисков, разделяя выходные данные на безопасные, спорные и небезопасные уровни серьёзности, что позволяет адаптировать их к различным сценариям развертывания.
Многоязыковая поддержка: поддерживает 119 языков и диалектов, обеспечивая стабильную работу в глобальных и кросс-языковых приложениях.
https://qwen.ai/blog?id=f0bbad0677edf58ba93d80a1e12ce458f7a80548&from=research.research-list
https://huggingface.co/collections/Qwen/qwen3guard-68d2729abbfae4716f3343a1
https://github.com/QwenLM/Qwen3Guard
Forwarded from Евгений Кокуйкин - Raft
Попался на глаза небольшой отчет от сейлзов Lasso, файл выложу в комментарии к треду. Раздел про маппинг продуктов написан без должного анализа, и автору на это сразу указали в комментариях.
Самое интересное в отчете - это раздел M&A. В сентябре CalipsoAI поглотили F5, а Lakera, авторов известного Гендальфа, купил Check Point. В августе прошли еще две сделки: небольшая AIM Security и Prompt Security были проданы тоже. На зарубежном рынке идет активная консолидация, крупные игроки поглощают еще незрелые AI security компании на волне хайпа.
Самое интересное в отчете - это раздел M&A. В сентябре CalipsoAI поглотили F5, а Lakera, авторов известного Гендальфа, купил Check Point. В августе прошли еще две сделки: небольшая AIM Security и Prompt Security были проданы тоже. На зарубежном рынке идет активная консолидация, крупные игроки поглощают еще незрелые AI security компании на волне хайпа.
Forwarded from База знаний AI
Fork-Tech разработала MCP-сервер для подключения ИИ к внешним данным и инструментам
MCP-сервер (Model Context Protocol) встроен в платформу для разработки приложений и цифровых сервисов Product Web Services ИТ-компании Fork-Tech. Модуль позволяет ИИ-ассистентам получать удаленную конфигурацию (Remote Config) с платформы и использовать ее в работе.
Чат-боты службы поддержки или из сферы E-commerce при использовании MCP-сервера могут корректировать ответы без необходимости глобальных обновлений, отмечают разработчики. Для финансовых ИИ-сервисов доступна централизованная установка новых бизнес-правил. HR-ассистенты смогут динамически исправлять логику анкетирования или автоматизировать подбор по новым критериям без вмешательства разработчиков.
По оценке Fork-Tech, интеграция MCP-сервера сокращает сроки запуска новых сценариев и обновления ИИ-ассистентов в три–четыре раза. Утверждается, что риски некорректных ответов сервиса снижаются до 90%. Сокращение трудозатрат на интеграцию при масштабировании ожидается до 70%.
🔗Источник: https://www.cnews.ru/news/line/2025-09-25_fork-tech_razrabotala_rossijskij
MCP-сервер (Model Context Protocol) встроен в платформу для разработки приложений и цифровых сервисов Product Web Services ИТ-компании Fork-Tech. Модуль позволяет ИИ-ассистентам получать удаленную конфигурацию (Remote Config) с платформы и использовать ее в работе.
Чат-боты службы поддержки или из сферы E-commerce при использовании MCP-сервера могут корректировать ответы без необходимости глобальных обновлений, отмечают разработчики. Для финансовых ИИ-сервисов доступна централизованная установка новых бизнес-правил. HR-ассистенты смогут динамически исправлять логику анкетирования или автоматизировать подбор по новым критериям без вмешательства разработчиков.
По оценке Fork-Tech, интеграция MCP-сервера сокращает сроки запуска новых сценариев и обновления ИИ-ассистентов в три–четыре раза. Утверждается, что риски некорректных ответов сервиса снижаются до 90%. Сокращение трудозатрат на интеграцию при масштабировании ожидается до 70%.
🔗Источник: https://www.cnews.ru/news/line/2025-09-25_fork-tech_razrabotala_rossijskij
Forwarded from ген ИИ
Пять уровней защиты: как Яндекс предлагает обезопасить ИИ-агенты
Яндекс опубликовал AI-SAFE v1.0 — фреймворк для моделирования угроз и обеспечения безопасности ИИ-агентов и мультиагентных систем. Документ предлагает структурированный подход к их минимизации, разбивая архитектуру агента на пять логических уровней: интерфейс, исполнение, логика, инфраструктура и данные.
ИИ-агенты — не просто генераторы текста, а автономные системы, способные взаимодействовать с цифровой средой, планировать действия и использовать внешние инструменты. Это открывает новые векторы атак: от инъекций в промты и манипуляции целями агента до компрометации баз знаний и эскалации привилегий через инструменты.
Ключевые моменты:
1️⃣ Уровни угроз и рекомендации
➡️ Интерфейс (Input/Output): Prompt Injection, DoS, небезопасная обработка вывода. Рекомендации: валидация и санитизация ввода, Rate Limiting, строгая валидация вывода.
➡️ Исполнение и инструменты: Злоупотребление инструментами, эскалация привилегий, отравление метаданных. Решение: принцип минимальных привилегий, изоляция окружений, аудит инструментов.
➡️ Логика (Reasoning & Planning): Jailbreaking, манипуляция целями, зацикливание. Защита: усиление системного промта, тайм-ауты, Human-in-the-Loop.
➡️ Инфраструктура и оркестрация: Атаки на цепочку поставок, перегрузка ресурсов, межагентное отравление. Меры: SCA-сканирование, лимиты ресурсов, изоляция агентов.
➡️ Данные и знания: Отравление баз знаний, утечка конфиденциальных данных, манипуляция поиском. Контрмеры: RBAC, деперсонализация данных, проверка целостности.
2️⃣ Практический чек-лист
Документ содержит конкретные шаги для каждого уровня: от валидации входных данных и ограничения частоты запросов до изоляции инструментов и контроля доступа к базам знаний. Например, для защиты от Prompt Injection предлагается использовать Smart Web Security с кастомными правилами, а для предотвращения утечек — маскировать персональные данные перед отправкой в LLM.
3️⃣ Примеры инцидентов
Разобраны реальные кейсы: дипфейк-мошенничество в Гонконге (25 млн долларов ущерба), взлом GPT-4.1 через отравление инструментов, утечка данных DeepSeek из-за неправильной конфигурации базы данных. Для каждого случая указаны классификация по AI-SAFE и рекомендации по предотвращению.
Что на практике?
Яндекс предлагает системный подход к безопасности ИИ-агентов. Это особенно актуально для компаний, которые внедряют агенты в бизнес-процессы: от финансовых транзакций до управления инфраструктурой. Документ полезен не только специалистам по ИБ, но и ML-инженерам, архитекторам данных и руководителям, которые хотят понять, как минимизировать риски при использовании автономных ИИ-систем.
AI-SAFE — это попытка создать единый язык для обсуждения безопасности ИИ-агентов. Важно, что Яндекс приводит конкретные инструменты (например, Yandex Smart Web Security с ML WAF) и практические шаги. Однако остаётся вопрос: насколько быстро такие фреймворки будут адаптироваться к новым векторам атак, учитывая динамичность развития ИИ?
#кибербез
@gen_i_i
Яндекс опубликовал AI-SAFE v1.0 — фреймворк для моделирования угроз и обеспечения безопасности ИИ-агентов и мультиагентных систем. Документ предлагает структурированный подход к их минимизации, разбивая архитектуру агента на пять логических уровней: интерфейс, исполнение, логика, инфраструктура и данные.
ИИ-агенты — не просто генераторы текста, а автономные системы, способные взаимодействовать с цифровой средой, планировать действия и использовать внешние инструменты. Это открывает новые векторы атак: от инъекций в промты и манипуляции целями агента до компрометации баз знаний и эскалации привилегий через инструменты.
Ключевые моменты:
Документ содержит конкретные шаги для каждого уровня: от валидации входных данных и ограничения частоты запросов до изоляции инструментов и контроля доступа к базам знаний. Например, для защиты от Prompt Injection предлагается использовать Smart Web Security с кастомными правилами, а для предотвращения утечек — маскировать персональные данные перед отправкой в LLM.
Разобраны реальные кейсы: дипфейк-мошенничество в Гонконге (25 млн долларов ущерба), взлом GPT-4.1 через отравление инструментов, утечка данных DeepSeek из-за неправильной конфигурации базы данных. Для каждого случая указаны классификация по AI-SAFE и рекомендации по предотвращению.
Что на практике?
Яндекс предлагает системный подход к безопасности ИИ-агентов. Это особенно актуально для компаний, которые внедряют агенты в бизнес-процессы: от финансовых транзакций до управления инфраструктурой. Документ полезен не только специалистам по ИБ, но и ML-инженерам, архитекторам данных и руководителям, которые хотят понять, как минимизировать риски при использовании автономных ИИ-систем.
AI-SAFE — это попытка создать единый язык для обсуждения безопасности ИИ-агентов. Важно, что Яндекс приводит конкретные инструменты (например, Yandex Smart Web Security с ML WAF) и практические шаги. Однако остаётся вопрос: насколько быстро такие фреймворки будут адаптироваться к новым векторам атак, учитывая динамичность развития ИИ?
#кибербез
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Forwarded from 𝔸𝕣𝕥
Михаил_Малышев_—_Безопасные_агенты.pdf
3 MB
Безопасные
агенты
Ключевые риски и способы их предотвращения
при разработке агентских систем на базе ИИ
агенты
Ключевые риски и способы их предотвращения
при разработке агентских систем на базе ИИ
👍1
Forwarded from GitHub Community
Coze Loop — это ориентированное на разработчиков решение платформенного уровня, предназначенное для разработки и эксплуатации ИИ-агентов.
Оно решает различные проблемы, возникающие в процессе разработки ИИ-агентов, и обеспечивает полный цикл управления: от разработки, отладки и оценки до мониторинга.
🐱 GitHub
Оно решает различные проблемы, возникающие в процессе разработки ИИ-агентов, и обеспечивает полный цикл управления: от разработки, отладки и оценки до мониторинга.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
Adversarial_AI_Attacks.pdf
9.6 MB
#MLSecOps
#Tech_book
"Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional’s guide to AI attacks, threat modeling, and securing AI with MLSecOps', 2024.
// The book is for cybersecurity professionals, such as security architects, analysts, engineers, ethical hackers, pentesters, and incident responders, but also developers and engineers designing, building, and assuring AI systems
#Tech_book
"Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional’s guide to AI attacks, threat modeling, and securing AI with MLSecOps', 2024.
// The book is for cybersecurity professionals, such as security architects, analysts, engineers, ethical hackers, pentesters, and incident responders, but also developers and engineers designing, building, and assuring AI systems
🔥1