IBM ARES: Открытый фреймворк для Red Teaming AI-систем
#IBM #red_team #pentest

TLDR: IBM выпустила ARES (AI Robustness Evaluation System) — открытый фреймворк для автоматизированного тестирования на проникновение AI-систем. Он позволяет систематически проверять модели на уязвимости к jailbreaking, извлечению данных и генерации вредоносного контента, предоставляя разработчикам инструмент для выявления и устранения проблем до их эксплуатации.

➡️Цель фреймворка
Основная цель ARES — демократизировать и стандартизировать процесс Red Teaming для AI-систем. В условиях, когда регуляторы (Белый дом, EU AI Act, NIST) требуют обязательного тестирования на проникновение для AI, ARES предоставляет практический инструментарий для выполнения этих требований. Фреймворк позволяет перейти от ручного, интуитивного поиска уязвимостей к систематическому, автоматизированному и воспроизводимому процессу.

➡️Преимущества
Систематический подход: ARES структурирует Red Teaming вокруг трех ключевых компонентов: целей (что вы пытаетесь заставить AI сделать?), стратегий (как вы создаете атаки?) и оценки (удалась ли атака?).
Интеграция с OWASP Top 10 для LLM: Фреймворк позволяет тестировать системы на соответствие известным шаблонам уязвимостей, а не изобретать атаки с нуля.
Тестирование всей инфраструктуры: ARES предназначен не только для тестирования «голых» моделей, но и для оценки всей системы в комплексе: локальных развертываний с защитными механизмами (guardrails), облачных моделей (например, через WatsonX.ai) и развернутых агентов (через AgentLab). Это критически важно, поскольку уязвимости часто возникают на стыке компонентов, а не в самой модели.
Открытость и расширяемость: Будучи open-source проектом, ARES позволяет сообществу вносить свой вклад, добавлять новые типы атак, метрики оценки и интеграции.

➡️Архитектура
ARES построен на модульной архитектуре, которая обеспечивает гибкость и расширяемость. Ключевые компоненты:

Plugin Catalog: Ядро фреймворка, которое позволяет подключать различные модули:
Target Connectors: для взаимодействия с различными AI-моделями и системами.
Custom Attack Goals: для определения специфических целей атак (например, извлечение PII).
Attack Strategies: для реализации различных техник атак (GCG, PyRIT, Garak и др.).
Robustness Evaluations: для оценки успешности атак.
Orchestrator: Центральный компонент, который управляет процессом тестирования: загружает конфигурацию, выбирает цель, устанавливает цели, запускает стратегии атак, оценивает результаты и генерирует отчет.
Evaluator: Модуль оценки, который использует как автоматизированные методы (например, сопоставление по ключевым словам), так и LLM-as-a-judge для определения, была ли атака успешной.

Этот подход позволяет создавать сложные, многоэтапные сценарии атак, комбинируя различные плагины в рамках одного цикла оценки.

🔗Источник

🌚 @poxek_ai

Российские ученые взяли трофей на NeurIPS 2025 — команда In2AI заняла первое место в международном турнире по стратегическому мышлению для ИИ-агентов.

В состав сборной вошли представители научного партнера Сбера — Институт AIRI. Одна из их моделей с 8B параметров обошла участников на GPT-5, Gemini 2.5 Pro и Grok 4. В итоге она выиграла сразу в двух треках: Efficient и Open.

Секрет успеха — в системном инженерном подходе к обучению с подкреплением. Всего в соревновании участвовали 76 команд и 944 модели.

Наши слоны 💪

Baby Dragon Hatchling (BDH) — это архитектура большой языковой модели, вдохновлённая биологией, которая объединяет принципы глубокого обучения с основами нейробиологии.

Разработанная исследователями из Pathway, BDH представляет собой теоретическую и практическую основу для понимания того, как в искусственных системах возникают рассуждения и обобщения.

🐱 GitHub