Forwarded from Конференция БеКон
Panchenko-bekon-2025-v1.0.pdf
6.6 MB
На сцене Николай Панченко, Т-Банк: "Чеклист безопасности ML-кластеров"
Forwarded from Порвали два трояна
«Просто добавь
Исследователь, работающий над этой проблемой, уже обнаружил 30 дефектов в перечисленных IDE и добился назначения 24 CVE. 100% протестированных сред оказались уязвимы. Суть проблемы в том, что IDE располагает развитыми средствами автоматизации, которые теперь порой запускает и настраивает ИИ-агент. Далеко не всегда он воспринимает изменения в скриптах и настройках как опасные и требующие подтверждения от человека. Выстроенные вокруг ИИ-агента фильтры тоже не учитывают опасные функции IDE, в результате одни и те же атаки с минимальными модификациями надёжно воспроизводятся на разных IDE.
Пример утечки данных: с помощью промпт-инъекции ИИ-агента просят записать JSON-файл на основе схемы JSON, сохранённой на внешнем сервере. Функция поддерживается во всех IDE на базе Visual Studio Code, JetBrains и Zed dev. При обращении к внешней схеме JSON данные, воруемые с компьютера, передаются в параметрах GET-обращения к серверу атакующего.
Запуск произвольного кода отличается в реализации для разных IDE, но сводится к тому, что настройки IDE (php.validate.executablePath или Git.Settings — PATH_TO_GIT) модифицируются, чтобы вызывать код атакующего при открытии или валидации любого файла исходников.
Проблема с IDEsaster в том, что функций и методов автоматизации в каждой IDE очень много, и их можно творчески комбинировать, превращая устранение дефектов в бесконечные кошки-мышки. Та же RCE в GitHub Copilot (CVE-2025-53773) была устранена в августе, чтобы возродиться с небольшой модификацией в ноябре (CVE-2025-64660).
Как снизить риски атак на AI IDE?
Более детальный разбор модели угроз, конкретных уязвимостей и рекомендаций по защите — в посте автора исследования.
#AI @П2Т
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Timur Nizamov
Это второе исследование которое я встречаю и которое показывает, большинство компаний не смогли (пока?) найти измеримую выгоду от использования ИИ.
Вот первое https://www.mckinsey.com/capabilities/quantumblack/our-insights/seizing-the-agentic-ai-advantage
Вот первое https://www.mckinsey.com/capabilities/quantumblack/our-insights/seizing-the-agentic-ai-advantage
McKinsey & Company
Seizing the agentic AI advantage
Discover how the GenAI paradox shapes AI agents in both vertical and horizontal use cases, highlighting the potential of agentic AI.
Forwarded from Ассоциация ФинТех
Исследователи MIT сомневаются в перспективах эффективности ИИ.
🤔 Издание Массачусетского технологического института MIT Technology Review опубликовало аналитический материал под названием «Великая коррекция AI-хайпа 2025 года», согласно которому эпоха революционных прорывов завершилась, уступив место периоду оценок технологий. Автор материала подчеркивает, что технологическое развитие стало менее заметным, хотя изначально оно вызвало важное внимание общественности.
Согласно статье MIT, подавляющее большинство компаний, попытавшихся внедрить ИИ-технологии, не смогли ощутимо повысить свою эффективность. Многие инициативы остаются на уровне пилотных проектов и не находят широкого распространения.
При этом заявляется, что индустрия продолжает развиваться, привлекая инвестиции и талантливых специалистов. Текущие ограничения не означают конец эпохи ИИ, а лишь указывают на необходимость переосмысления ожиданий и подходов к применению технологий.
Ознакомиться с материалом можно по ссылке.
🤔 Издание Массачусетского технологического института MIT Technology Review опубликовало аналитический материал под названием «Великая коррекция AI-хайпа 2025 года», согласно которому эпоха революционных прорывов завершилась, уступив место периоду оценок технологий. Автор материала подчеркивает, что технологическое развитие стало менее заметным, хотя изначально оно вызвало важное внимание общественности.
Согласно статье MIT, подавляющее большинство компаний, попытавшихся внедрить ИИ-технологии, не смогли ощутимо повысить свою эффективность. Многие инициативы остаются на уровне пилотных проектов и не находят широкого распространения.
При этом заявляется, что индустрия продолжает развиваться, привлекая инвестиции и талантливых специалистов. Текущие ограничения не означают конец эпохи ИИ, а лишь указывают на необходимость переосмысления ожиданий и подходов к применению технологий.
Ознакомиться с материалом можно по ссылке.
https://www.nccoe.nist.gov/projects/cyber-ai-profile#project-promo
Проект стандарт безопасности для ИИ на основе NIST CSF.
Сильный акцент на управленческие меры и управление риском.
Проект стандарт безопасности для ИИ на основе NIST CSF.
Сильный акцент на управленческие меры и управление риском.
NCCoE
Cyber AI Profile | NCCoE
For the cybersecurity of AI and AI used for cybersecurity, NIST is proposing to focus on three sources of risk that impact an organization’s operational risk: Cybersecurity of AI Systems, AI-enabled Cyber Attacks, and AI-enabled Cyber Defense.
Самое время запланировать проверку использования в легаси RC4 в DC Windows. В середине 2026 запланированы обновления по отключению данного криптоалгоритма в Windows.
https://www.microsoft.com/en-us/windows-server/blog/2025/12/03/beyond-rc4-for-windows-authentication.
https://www.microsoft.com/en-us/windows-server/blog/2025/12/03/beyond-rc4-for-windows-authentication.
Microsoft
Beyond RC4 for Windows authentication
As organizations face an evolving threat landscape, strengthening Windows authentication is more critical than ever.
https://www.nsa.gov/Press-Room/Press-Releases-Statements/Press-Release-View/Article/4356302/nsa-releases-unified-extensible-firmware-interface-secure-boot-guidance/
Руководство от АНБ по безопасной настройке UEFI/BIOS.
Руководство от АНБ по безопасной настройке UEFI/BIOS.
National Security Agency/Central Security Service
NSA Releases Unified Extensible Firmware Interface Secure Boot Guidanc
FORT MEADE, Md. – The National Security Agency (NSA) is releasing the Cybersecurity Information Sheet (CSI) “Guidance for Managing UEFI Secure Boot” to provide guidance on addressing
https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-218r1.ipd.pdf
Проект стандарта новой версии требований по безопасной разработке SSDF версия 1.2
Проект стандарта новой версии требований по безопасной разработке SSDF версия 1.2
Forwarded from PWN AI (Artyom Semenov)
Помните больше года назад я сделал список Awesome_LLMSecOps, где были собраны интересные материалы, сравнительные таблицы и всякие там решения.
Недавно я решил существенно обновить его: добавил всё самое интересное, что появилось в 2025 году, а также включил новые темы, связанные с WhiteBox и подходом secure-by-design.
Теперь им уже можно насладиться на GitHub. Пусть этот список станет вашим надёжным щитом и верным мечом в мире LLM-security сейчас и в будущем.
https://github.com/wearetyomsmnv/Awesome-LLMSecOps
> щит и меч - настоящие
Недавно я решил существенно обновить его: добавил всё самое интересное, что появилось в 2025 году, а также включил новые темы, связанные с WhiteBox и подходом secure-by-design.
Теперь им уже можно насладиться на GitHub. Пусть этот список станет вашим надёжным щитом и верным мечом в мире LLM-security сейчас и в будущем.
https://github.com/wearetyomsmnv/Awesome-LLMSecOps
> щит и меч - настоящие
👍1