hackertraining.org

На одном из онлайн-курсов на LinkedIn Learning тренер поделился своим репозиторием, где он прикапывает полезные, по его мнению, материалы.

Мне репозиторий показался тоже полезным, да и наши интересы с тренером пересекаются, поэтому прикопаю его здесь:
hackertraining.org
The-Art-of-Hacking/h4cker

Курс был, в общем-то, про машобуч, поэтому поделюсь еще одним полезным репозиторием:
jivoi/awesome-ml-for-cybersecurity

#саморазвитие

n8n Guardrails - New Node!

https://www.piotr-sikora.com/blog/2025-11-17-n8n-guardrails-testing | https://docs.n8n.io/release-notes/#guardrails-node

The Guardrails node provides a set of rules and policies that control an AI agent's behavior by filtering its inputs and outputs. This helps safeguard from malicious input and from generating unsafe or undesirable responses.

There are two operations:

- Check Text for Violations: Validate text against a set of policies (e.g. NSFW, prompt injection).
- Sanitize Text: Detects and replaces specific data such as PII, URLs, or secrets with placeholders.

Agentic AI Security Scoping Matrix

The Agentic AI Security Scoping Matrix provides a structured mental model and framework for understanding and addressing the security challenges of autonomous agentic AI systems across four distinct scopes. By accurately assessing your current scope and implementing appropriate controls across all six security dimensions, organizations can confidently deploy agentic AI while managing the landscape of associated risks.

Source: https://aws.amazon.com/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/

Математическая модель нарушителя при совершении кибератаки

Моя статья)

https://link.springer.com/chapter/10.1007/978-3-032-07275-7_43

#Whitepaper
"Cambridge Taxonomy of Digital Technology Risk", 2025.

// This report builds a framework of analysis for identifying the various risks associated with the three themes to the new revolution in digital technology. Subsequently, risks are categorised into the framework of the Cambridge risk taxonomy to provide an overview of the key risk factors and uncertainties that could emerge in this new era

Большая коллекция security-отчетов

Реально огромная коллекция годовых репортов от разных вендоров. Контент разделен на категории: аналитические отчеты и отчеты-опросы.

Репозиторий пригодится не только руководителям (CIO, CISO или даже, CTO, если он отвечает за ИБ), которые следят за трендами и на их основе планируют свои годовые бюджеты, но и всем, кому нужны полезные данные для подтверждения гипотез.

Загружаем репозиторий в NotebookLM и получаем цифры, которые улетают в презентацию по защите бюджета, диплом или статью.

#MLSecOps
"InfoFlood (Information Overload) Attack:
Jailbreaking Large Language Models with Information Overload", Jun 2025.

// In this work, we identify a new vulnerability in which excessive linguistic complexity can disrupt built-in safety mechanisms-without the need for any added prefixes or suffixes-allowing attackers to elicit harmful outputs directly

⚙️Изучить на выходных: устройство фреймворка MAESTRO

Команда Института искусственного интеллекта AIRI в материале на «Хабре» рассказала о технических особенностях нового фреймворка MAESTRO. Он предназначен для построения мультиагентных систем и цифровых ассистентов на базе LLM.

Авторы описывают устройство программной платформы, а также приводят примеры использования фреймворка и рассказывают о планах по улучшению системы до конца 2026 года.

👉🏻Изучить материал

Circuit Tracing от Anthropic: как мы в R&D by red_mad_robot решили заглянуть внутрь LLM при использовании в RAG-пайплайнах

Ищем галлюцинации под микроскопом!

29 мая Anthropic выложили в open-source свои инструменты Circuit Tracing методологию механической интерпретируемости, которую мы в R&D подразделении red_mad_robot первыми применили для решения практической задачи детекции галлюцинаций в RAG-системах!

В начале 2025 года, когда я возглавил новое R&D направление, я поставил амбициозную задачу: не просто оценивать качество ответов LLM "снаружи", а заглянуть внутрь процесса генерации и понять, откуда берутся галлюцинации.

Почему именно RAG-пайплайны и Circuit Tracing?

Проблема была очевидна: RAG-системы часто смешивают информацию из контекста с "внутренними знаниями" модели, создавая правдоподобные, но неточные ответы
Существующие методы детекции работают post-factum, а нам нужно было понять механизм принятия решений в реальном времени

Circuit Tracing от Anthropic давал именно это возможность построить атрибуционные графы и проследить, как токены входного контекста влияют на финальный ответ модели

Конкретные результаты нашего исследования

85% точность детекции галлюцинаций вот что мы получили на тестовом датасете с нашей реализацией на базе Qwen2.5-7B.

Как отмечает наш исследователь Ирина Кошкина:
"Основная идея — измерение доли влияния от токенов входа, соответствующих контексту, среди всего влияния от всех активных токенов."

Наша метрика Groundedness включает:
- Контекстную долю влияния (Gctx)
- Replacement Score — качество признаков vs ошибок
- Completeness Score — полнота объяснения через атрибуционный граф

Технические вызовы и решения

Cross-Layer Transcoders (CLT) стали ключевым компонентом системы
Вместо анализа отдельных слоев мы научились отслеживать влияние признаков между несколькими архитектурными уровнями трансформера

Основные проблемы, которые пришлось решать:
1. Вычислительная сложность процедура анализа на порядки медленнее генерации
2. Зависимость от качества обученного транскодера
3. Токен-уровневое сопоставление, приводящее к ложным срабатываниям

Но результат того стоил мы получили рабочий инструмент для анализа внутренних процессов модели во время генерации ответов в RAG-системах


Отдельное спасибо отделу маркетинга red_mad_robot за подготовку детальной статьи оформления и валидации на Хабре

Отдельное спасибо Саше (@dealerAI) за экспертную валидацию нашей гипотезы на старте проекта

Когда предлагаешь исследовать "атрибуционные графы для детекции галлюцинаций в RAG", поддержка опытных друзей по цеху критически важна для получения ресурсов и мотивации команды

Полный технический разбор с кодом, формулами и результатами экспериментов доступен в нашей статье на Хабре закидываем в закладки и ставим +