Бенчмарк LLM в ERC3: AI Agents

Вот график лучших решений ERC3 в бенчмарке Store, где архитектуры ранжированы по стоимости запуска и времени исполнения.

Это список тех моделей, которые команды берут в первую очередь на практике, когда хотят решить какую-то задачу.

Агенты, которые не присылали телеметрию через api.log_llm или присылали имя модельки, не совпадающее с именем модели на OpenRouter - в рейтинг не попали (т.к. цены считаем на базе OpenRouter и присланной телеметрии).

Ваш, @llm_under_hood 🤗

Мелкий апдейт на платформе ERC

Пока еще не ERC3 бенчмарк, просто подготовка к его выкладке

(1) Если при отправке решения не была прислана телеметрия вызовов LLM (название модели и число tokens), то из очков вычитается 10% (в eval logs это будет упомянуто). Так все заранее смогут проверить и поправить своих агентов.

(2) Я поправил инфраструктуру так, что теперь задачи в бенчмарках могут чуть-чуть меняться (например, у айдишников добавляется случайный префикс). Суть это не меняет, просто в ERC3 бенчмарке уже не получится захардкодить правильные ответы. Примеры работы можно посмотреть в DEMO бенчмарке.

STORE бенчмарк менять не стал, но в ERC3 это уже будет встроено.

Ваш, @llm_under_hood 🤗

Я доделал основную часть симуляции для ERC3 и выкатил API на проду! В PythonSDK тоже все есть - см. версию 1.0.5

Этот бенчмарк моделирует системы целой компании для запуска в них AI Агента. Они моделированы аналогично тому, как в компаниях и внедряются агенты, только без риска что-то сломать.

Можно смотреть на API и играться с ним. В описании бенчмарка есть ссылка на то, куда надо копать и смотреть, чтобы понять, что это вообще за компания, и как положено агенту работать с ней.

Да, там в API затерялась и knowledge base, как в настоящем AI agent deployment в корпорации.

Уже есть пара тестовых заданий для ERC3-DEV, чтобы начать представлять себе масштабы). К пятнице я закончу набор API и выложу 15 тестовых заданий c включенным evaluation.

Сразу предупреждаю, не привязывайтесь слишком к компании Aetherion Analytics Gmb. Это будет только одна из компаний в финальном бенчмарке.

Что скажете? Остальные задания делать проще или реалистичнее?

Ваш, @llm_under_hood 🤗

Ссылки: Платформа | Регистрация | Пример агента | Видео на русском

Официальное соревнование состоится 9 декабря, но люди соревнуются на STORE бенчмарке уже сейчас.

Кейс про выбор правильного тендера, с ужасным стэком

Иногда можно слышать про то, что AI проекты - это что-то сложное, дорогое, требует кучу денег, времени, а выхлопа - не дает.

Вот простой кейс, который недавно развернули на коленке в компании в свободное время "полтора землекопа".

Другие кейсы в канале см тут.

Итак, время сейчас экономически сложное по всему миру. Компаниям нужно крутиться и искать заказы. При этом, если работать в корпоративном секторе, там с заказами не так просто - нужно найти тендер, собрать на него документацию, собрать свое предложение итп. Это требует кучу времени и сил. Во-первых, надо за тендерами следить. Во-вторых, их надо вычитывать и выбирать выгодные. В-третьих, подаваться итп.

В данном кейсе компания решила упростить сильно первую часть - поиска перспективных тендеров. Два разработчика в свободное время разработали достаточно простой пайплайн (в комменты скину скрин отчета - где сразу видно, что это вайб-кодинг)) . Все работает так:

(1) Подписались на рассылку с тендерами в Европе. Письма приходят свободным текстом, содержат ссылки на эти самые тендеры, которые находятся на разных сайтах.

(2) система - выкачивает эти письма, достает ссылки, идет по ссылкам и выкачивает сопустствующую документацию. Если есть каптча - подключается gemini 2.5 для ее прохождения.

(3) выкачанная документация по тендеру прогоняется через чеклист по критериям анализа этой фирмы (gpt-5). Задача тут - отсеять тендеры, которые фирме точно не интересны (нет скилов или прошлого опыта) или невыгодны (грубая оценка объема работа не сходится с ценой).

(4) Получается такое крупное сито. Если какой-то тендер проходит через него, то файлы грузятся на SharePoint, генерится краткий отчет в виде HTML и вставляется в Confluence, а в Teams присылается краткий отчет про тендер.

А теперь самое ужасное про стэк - это все написано на C#, на котором Structured Outputs сходу не заводится. Поэтому написали промпты просто словами, упомянув про необходимость reasoning. Модели тут используются избыточно мощные, поэтому проблем нет. Самое сложное в проекте - это не промпты, а все интеграции. LLM - это просто клей, которые объединяет разные процессы вместе.

Выхлоп?

Директора довольны как слоны, т.к. они каждый вторник получают выжимку перспективных тендоров по рынку, которые хорошо подходят к компании, текущей ситуации и ближайшим планам. Они быстро просматривают наиболее перспективные варианты, отправляют какие-то в работу и переключаются на другие дела. Поэтому прямо сейчас в краткосрочной работе уже 11 интересных тендеров. Вроде мелочь, но раньше такого качественного охвата рынка у компании не было никогда.

Можно сделать лучше и правильнее? Однозначно.
Надо ли?

Ваш, @llm_under_hood 🤗

Как решить проблему SO с Invalid JSON в OpenAI SDK?

В чате моего курса (https://abdullin.com/ai-assistants-course) напомнили, что OpenAI так и не пофиксили полностью свою реализацию Structured Outputs в GPT-5.

Более подробно о проблеме можно прочитать в OpenAI Community. Сейчас она всплыла на простом кейсе на azure gpt-5-mini. Там парсинг ответа вываливается с ошибкой Invalid JSON: trailing characters at line 2 column 1

Как решить эту проблему, если такое происходит в вашем проекте? Нужно встроиться в OpenAI SDK (например через httpx перехватчик или перегрузку методов) и - при встрече теоретически невозможного ValidationError - ручками исправить исходный JSON. Вот пример кода, который можно вставить в проект (лучше до того момента, как импортировали openai) для этого:

# let's fix OpenAI parsing

import re
from pydantic import ValidationError
from openai.lib._parsing import _completions as _parsing_completions

_original_model_parse_json = _parsing_completions.model_parse_json

def tolerant_model_parse_json(model_cls, data: str):
    try:
        return _original_model_parse_json(model_cls, data)
    except ValidationError as e:
        # impossible for valid JSON, but OpenAI can surprise!
        pattern = r'\}\n+\{'
        parts = re.split(pattern, data)

        if len(parts)>1:
            print(f"Gotcha!\nSTART\n{data}\nEND\n")
            return _original_model_parse_json(model_cls, parts[0]+"}")

        raise

_parsing_completions.model_parse_json = tolerant_model_parse_json

Если вставить этот патч в SGR Demo агента, то он будет благополучно работать даже с OpenAI моделями семейства gpt-5.

Только print отладочный не забудьте убрать потом.

Ваш, @llm_under_hood 🤗

Тестовые задания для ERC3-DEV - выложены!

Смотреть их тут. Python SDK синхронизирован с API. Версия:

--extra-index-url https://erc.timetoact-group.at/ erc3>=1.0.7

Evaluator - подключен. Как только пойдут первые прогоны агентов - Leadeboard начнет заполняться автоматически.

Ваш, @llm_under_hood 🤗

Нужны исходники AI агента, который выбивает до 56.2 в ERC3-DEV?

Я их залил в Github Repo c примерами. Это все тот же SGR Next Step, просто адаптированный под новый набор инструментов.

Можно попробовать запустить его, посмотреть устройство, а потом - улучшить!

Ваш, @llm_under_hood 🤗

PS: Ссылки про ERC3 соревнование: Платформа | Регистрация | Пример агента | Видео на русском

Время доказать, что есть архитектуры AI агентов лучше, чем SGR!

Вчера я выложил тестовый набор задач для соревнования ERC3. Там агенту нужно подрабатывать чатботом в небольшой международной компании с кучей APIшек, правилами безопасности и даже своей wiki. Заодно и выложил в Github пример простого агента, который выбивает 56.2.

Пока в лидерборде преобладают архитектуры на базе Schema-Guided Reasoning. Кто сможет сделать лучше? Хоть что, но не SGR. Или еще какой комбинированный подход.

Кстати, Валерий написал пост про то, как он взял 100

Соревнование 9 декабря будет заключаться в том, что я выложу в доступ 100 новых задач для того же агента. Нужно будет переключить своего агента на новый набор задач и запустить. Кто сможет получить больше очков за ~30 минут, тот и победил.

Платформа | Регистрация | Пример агента | Видео на русском

Кстати, а нужно отлаживать механизм переключения агента на новые задачи в рамках одной API-шки? Я могу выкатить ERC3-TEST со старыми задачами плюс еще парочкой новых посложнее. Заодно там и свой лидерборд будет))

Ваш, @llm_under_hood 🤗

ERC3-TEST уже доступен

Это расширенный вариант задач для отладки работы вашего агента с ERC3 бенчмарком.

Платформа | Регистрация | Пример агента | Видео на русском

Из нового:

(1) Aetherion купила большая группа компаний, которая немного поменяла правила игры - см в wiki. Некоторые задачи используют этот контекст. Агент может его обнаружить, отслеживая значение wiki_sha1 в /whoami. В соревновательном бенчмарке будет в сумме 3-4 разных компании. В реальности в multi-tenant выкатках агентов могут быть и сотни контекстов, но для бенчмарка 3-4 хватит "за глаза".

(2) Этот бенчмарк использует старое API от ERC-DEV, поэтому клиент не меняется. Соревновательный бенчмарк будет использовать тот же механизм переключения.

(3) Вызовы к симулированным апишкам теперь работают с задержкой в 300ms, чтобы было реалистичнее.

(4) Добавил release notes на сайт.

Кстати, у ERC3-TEST - свой leaderboard. Пока он пуст))

Ваш, @llm_under_hood 🤗

Выложил пример агента, который решает ERC3-TEST до 58

Вот пример сессии

Исходники лежат в Github. Ядро агента - 181 строчек Python. Там показано, как:

(1) извлекать правила из wiki
(2) делать это только один раз (при изменении wiki)
(3) сделать pipeline из нескольких шагов с preflight check (для проверки безопасности)
(4) добавить свои (более удобные для LLM) инструменты агенту

Агент базовый, для демонстрации принципов. Его можно заметно улучшить.

Ваш, @llm_under_hood 🤗

Что оказалось для вас самым ценным инсайтом при разработке своего AI агента на ERC3 платформе?

Уже 17 команд (из 492) выбили идеальные 100 на ERC3-DEV бенчмарке. И похоже, скоро "соток" станет больше - судя по нашему чату, команды продолжают разбираться в архитектуре агентов и улучшать свои решения. А это значит, что мы вместе набираем больше опыта, становимся лучше и двигаем вперед state-of-the-art.

Расскажите что-нибудь про свой опыт с ERC3 платформой! Что было самым прикольным и неожиданным?

Ваш, @llm_under_hood 🤗

Записали keynote interview с Эриком Эвансом на тему DDD + LLMs. Проиграем его 9 декабря, в начале ERC3!

Ссылку опубликую в канале на следующей неделе.

Ваш, @llm_under_hood 🤗

SDK / API для Enterprise RAG Challenge обновлены - поправьте заранее своих агентов!

Детали есть в release notes для версии 1.1.6. Там есть breaking changes. Примеры агентов уже обновлены до SDK 1.2.0.

Изменения:
(1) При запуске бенчмакрка можно явно указать фокус - точность, стоимость, скорость и/или локальный запуск (можно несколько сразу). Это будет использоваться в соревновании 9 декабря. Агенты с фокусом на `accuracy` cоревнуются за призы. Другие фокусы - пойдут в отдельные leaderboards.
(2) изменился формат отправки статистики tokens - теперь это просто типизированные поля.
(3) при отправке телеметрии еще нужно отправлять completion (текст ответа llm-ки). Prompt отправлять не обязательно.

Пожалуйста, заранее обновите своих AI агентов до новой версии SDK и запустите один раз на ERC3-DEV или ERC3-TEST, чтобы убедиться, что весь код отрабатывает штатно. 9 Декабря достаточно будет перезапустить код на ERC3-PROD.

План на 9 декабря
9:00 CET - Keynote
10:30 CET - открывается ERC3-PROD
11:30 CET - prize deadline для accuracy.

То есть час на прогон агента и отладку (если что-то вдруг падает)

Extended competition (без призов) - до 16 декабря.

16 декабря замораживаем leaderboards (они будут опубликованы на TimeToAct и abdullin.com) и раскрываем evals/scoring для ERC3-PROD.

Уведомления на почту вышлем всем зарегистрированным участникам.

Платформа | Регистрация | Пример агента | Видео на русском

Ваш, @llm_under_hood 🤗