ИИ отправили на практику: GDPval — новый бенчмарк, измеряющий влияние ИИ на экономику

OpenAI представила GDPval, новую методику оценки эффективности больших языковых моделей при выполнении экономически значимых задач по 44 профессиям.

Если раньше интеллект моделей оценивали по тестам вроде MMLU (широта и глубина знаний в разных областях) или SWE-Bench (способность писать и чинить код в реальных open-source проектах), то теперь ИИ проверяют на умение решать многослойные кейсы с контекстом, документами, таблицами и требованием создать готовый продукт, а не просто текст.

Как устроен бенчмарк

Для измерения были отобраны 9 крупнейших секторов экономики США с наибольшим вкладом в ВВП. Из каждого выбрали по 5 профессий, связанных с цифровой работой и высокими зарплатами (см. список на иллюстрациях). В создании тестов участвовали специалисты с опытом более 4 лет, которые подготовили более 1000 задач, основанных на реальных артефактах — контрактах, технических чертежах, записях колл-центров и т. д. Каждая задача предполагала практический результат: документ, презентацию, таблицу или даже видео.
Все кейсы проходили до пяти раундов проверки — от коллег-экспертов до валидации через LLM. На одно эталонное человеческое решение уходило в среднем 6,5 часов. Решения ИИ затем вручную сравнивались с человеческими: экспертам показывали два варианта (человеческий и машинный) и просили выбрать лучший.

Результаты

🛑 Claude Opus 4.1 (Anthropic) — 49 % (в половине случаев ответы модели были на уровне или выше экспертов).
🛑 GPT-5-high (OpenAI) — 40,6 %.
🛑 Модели хорошо справляются с кодом и анализом данных.
🛑 В аудите, бухгалтерии и медицине пока рано заменять человека — слишком много ошибок.

Открытая часть на Hugging Face

Страница openai/gdpval на платформе Hugging Face содержит официальную открытую часть бенчмарка. Каждая запись включает описание задачи, профессию, отрасль и артефакты (документы, таблицы и т. д.), по которым можно оценивать, как модели ИИ справляются с прикладными профессиональными сценариями.
Этот датасет может использоваться исследователями и компаниями для тестирования и сравнения производительности моделей на реальных бизнес-кейcах.

ИИ — «новая пандемия»?

Бывший исследователь DeepMind Джулиан Шриттвизер сравнивает текущую ситуацию развития ИИ с пандемией COVID-19: экспонента роста уже идёт, просто не все её замечают. По его прогнозам, к 2026–2027 году хотя бы одна модель достигнет уровня лучших отраслевых экспертов — и тогда компании начнут массово заменять специалистов ИИ-системами.

А вы что думаете?

#Динамика_в_ИИ_отрасли
🌐Ваш O2Consulting