Schema-Guided Reasoning

В профильных LLM-каналах начал набирать популярность термин SGR (Schema-Guided Reasoning), но по какой-то причине народ не всегда понимает, что он обозначает, и зачем нужен. Никакого секрета нет, главное запомнить одно уравнение:

SGR = SO + COT

Из чего складывается Schema-Guided Reasoning:

1️⃣Во-первых, нам нужна модель, которая поддерживает Stuctured Output (SO) - возможность управлять результатом работы LLM, "зануляя" вероятности токенов, не подходящих под описанную нами грамматику, прямо во время выполнения.

2️⃣Во-вторых, нам нужно определить структуру желаемого ответа так, чтобы она "помогала" модели мыслить (тот самый Chain-Of-Thought).
Мы как бы «заставляем» модель пройти определенные этапы размышления перед тем как дать ответ, чтобы в результате вероятность корректных токенов ответа была выше.

Отличным примером использования такой техники является бот для дип-ресерча на открытых модельках sgr-deep-research, разработанный автором канала @neuraldeep:

🟢Сначала (скриншот 1 в комментах) мы определяем несколько классов, которые описывают шаги размышления модели. Например, когда модель хочет сгенерировать список уточняющих вопросов - она должна сначала описать себе причину, зачем ей это уточнение потребовалось, далее перечислить список терминов, которые она не поняла, предположить что они обозначают, и только после этого сгенерировать вопросы пользователя

🟢Одновременно с этим, для описания шагов размышления мы используем Pydantic-классы. Зачем? Чтобы можно было их отправить в LLM в качестве грамматики, ограничивающей результат. Теперь, если LLM решит выполнить шаг «Уточнение вопроса», она обязательно должна будет пройти указанные выше шаги, и это ограничение будет завернуто прямо в движок ее инференса. Модель просто физически не сможет отойти от схемы и начать генерировать что-то нерелевантное (почти всегда, но об этом позже)

Далее, эти шаги объединяются в цепочку (скриншот 2), которая представляет собой финальный ответ, и структура которой будет отправлена в LLM в качестве промпта.

И вот на этом этапе, становится понятно, зачем понадобился вообще SGR, и в чем его преимущество относительно других методов. Для того, чтобы сгенерировать следующий шаг в размышлениях, LLM обязательно сгенерирует:
🟢1-4 предложения, как она видит текущую ситуацию;
🟢статус выполнения плана исследования, закончен ли он, сколько еще шагов нужно пройти
🟢сколько еще шагов поиска она может сделать
🟢достаточно ли ей данных для отчета
🟢и только после этого, она сможет выбрать инструмент, который будет запускать (или доуточнение, или веб-поиск, или генерация ответа).

Для больших моделей, такой подход часто избыточен - они и так достаточно умные, чтобы рассуждать прямо "из коробки", и всегда следовать нужной инструкции.
Но если ваша модель относительно небольшая, и может легко отклоняться от инструкций, или она недостаточно хорошо их выполняет, то такие вот "рельсы" в виде Structured Output + зашитый в ответ процесс размышлений в стиле Chain-Of-Thought могут дать значительный прирост качества на ряде задач.

Конечно, у такого подхода есть и минусы, и его тоже нужно правильно готовить, но об этом как-нибудь в другой раз

@korneychukov

WaterCrawl — это мощное веб-приложение, использующее Python, Django, Scrapy и Celery для сканирования веб-страниц и извлечения необходимых данных.

Особенности:
— Расширенное веб-сканирование и парсинг — сканирование веб-сайтов с широкими возможностями настройки глубины, скорости и таргетинга на конкретный контент
— Мощная поисковая система — находите нужный контент в интернете с помощью различных уровней поиска (базовый, расширенный, максимальный)
— Поддержка нескольких языков — поиск и сканирование контента на разных языках с учётом особенностей страны

🐱 GitHub

🔎 И снова он, безопасный ИИ в каждый дом каждую организацию

IBM и Anthropic выпустили руководство под названием «Проектирование безопасных корпоративных AI-агентов с использованием MCP». Оно определяет жизненный цикл разработки агентов (ADLC) на основе привычных принципов DevSecOps и эталонную архитектуру для создания, управления и эксплуатации безопасных, соответствующих регуляторным требованиям ИИ-агентов в корпоративных масштабах с использованием протокола (MCP).

Ключевые моменты:

🔵 Переход от «is it up» к «is it right». Агенты — это вероятностные, адаптивные системы, способные давать разные ответы на один и тот же запрос. Поэтому в разработке нужно явно определять границы полномочий, давать человеку удобные инструменты отслеживания решений и действий ИИ-агента. В дополнение к стандартному DevSecOps, жизненный цикл включает экспериментирование и оптимизацию во время работы, тестирование поведения (галлюцинации, предвзятость, дрейф), песочницы и защитные механизмы, а также постоянный мониторинг использования моделью инструментов.

🔵 Принципы проектирования для предприятий: Допустимый уровень автономности, конструктивная безопасность (security by design), интероперабельность через открытые стандарты, сильные наблюдаемость и управление (observability and governance).

🔵 Модель безопасности для агентов: Новые риски включают отравление памяти, промпт-инъекции, неправильное использование инструментов/API, повышение привилегий, дрейф поведения агентов. Эти риски снижаются за счёт внедрения идентификации и ролевой модели прав агентов, глубокой фильтрации на уровне MCP-шлюза, постоянного контроля рисков и регуляторного соответствия.

🔵 Управление и сертификация: Корпоративные каталоги содержат описание целей, владельцев, инструментов, политик и других данных по каждому ИИ-агенту. Также необходимы подпись артефактов, SBOM, отслеживание и версионирование, которые обеспечивают возможность аудита и отката изменений.

🔵 Серверы MCP представлены как ключевой инструмент для контроля над агентами и их доступом к ИТ-ресурсам организации. На уровне MCP-шлюза должны быть реализованы принцип наименьших привилегий, управляемые и аудируемые вызовы инструментов. Основные функции MCP-шлюза: управление идентификацией и доступами агента, маршрутизация запросов и проверки состояния модели, ограничения скорости и квоты, обеспечение соблюдения политик, аудит, а также аварийное отключение ИИ.

В документе приведена эталонная архитектура и требования для платформы агентского ИИ, учитывающие вопросы безопасности, наблюдаемости, управления, устойчивости и переносимости, а также возможности для хранения памяти/состояний, планирования/выполнения, интероперабельности, управления знаниями (RAG), взаимодействия человека и агента.

IBM и Anthropic утверждают, что компании могут безопасно расширять использование AI-агентов, внедряя ADLC на всех этапах — от создания агента до управления им. При этом обязательно обеспечить многослойную защиту, управление агентами и серверами MCP через каталоги, сертификационные механизмы, подписанные артефакты и так далее. Принятие MCP в качестве стандартного интерфейса инструментов, строгий контроль за рисками и наблюдаемость позволяют применять ИИ-агентов в соответствии с бизнес-целями и регуляторными требованиями.

#AI @П2Т