ИИ отправили на практику: GDPval — новый бенчмарк, измеряющий влияние ИИ на экономику

OpenAI представила GDPval, новую методику оценки эффективности больших языковых моделей при выполнении экономически значимых задач по 44 профессиям.

Если раньше интеллект моделей оценивали по тестам вроде MMLU (широта и глубина знаний в разных областях) или SWE-Bench (способность писать и чинить код в реальных open-source проектах), то теперь ИИ проверяют на умение решать многослойные кейсы с контекстом, документами, таблицами и требованием создать готовый продукт, а не просто текст.

Как устроен бенчмарк

Для измерения были отобраны 9 крупнейших секторов экономики США с наибольшим вкладом в ВВП. Из каждого выбрали по 5 профессий, связанных с цифровой работой и высокими зарплатами (см. список на иллюстрациях). В создании тестов участвовали специалисты с опытом более 4 лет, которые подготовили более 1000 задач, основанных на реальных артефактах — контрактах, технических чертежах, записях колл-центров и т. д. Каждая задача предполагала практический результат: документ, презентацию, таблицу или даже видео.
Все кейсы проходили до пяти раундов проверки — от коллег-экспертов до валидации через LLM. На одно эталонное человеческое решение уходило в среднем 6,5 часов. Решения ИИ затем вручную сравнивались с человеческими: экспертам показывали два варианта (человеческий и машинный) и просили выбрать лучший.

Результаты

🛑 Claude Opus 4.1 (Anthropic) — 49 % (в половине случаев ответы модели были на уровне или выше экспертов).
🛑 GPT-5-high (OpenAI) — 40,6 %.
🛑 Модели хорошо справляются с кодом и анализом данных.
🛑 В аудите, бухгалтерии и медицине пока рано заменять человека — слишком много ошибок.

Открытая часть на Hugging Face

Страница openai/gdpval на платформе Hugging Face содержит официальную открытую часть бенчмарка. Каждая запись включает описание задачи, профессию, отрасль и артефакты (документы, таблицы и т. д.), по которым можно оценивать, как модели ИИ справляются с прикладными профессиональными сценариями.
Этот датасет может использоваться исследователями и компаниями для тестирования и сравнения производительности моделей на реальных бизнес-кейcах.

ИИ — «новая пандемия»?

Бывший исследователь DeepMind Джулиан Шриттвизер сравнивает текущую ситуацию развития ИИ с пандемией COVID-19: экспонента роста уже идёт, просто не все её замечают. По его прогнозам, к 2026–2027 году хотя бы одна модель достигнет уровня лучших отраслевых экспертов — и тогда компании начнут массово заменять специалистов ИИ-системами.

А вы что думаете?

#Динамика_в_ИИ_отрасли
🌐Ваш O2Consulting

Ранее мы писали о планах Toyota построить Woven City — экспериментальный город будущего, где технологии и урбанизм сплетаются в живую исследовательскую платформу.

В сентябре Woven City был официально запущен, сюда заселились первые жители — сотрудники Toyota и их семьи, началась работа партнеров-инноваторов. В новом умном городе компании, стартапы и исследовательские институты смогут тестировать в реальном контексте автономную мобильность и умную инфраструктуру.

Жители округа и эксперты ожидают позитивного эффекта: улучшения среды, технологического прогресса, экономического роста, появления новых рабочих мест. Однако стоит отметить и возможные проблемы: конфликт интересов корпорации и местного сообщества, утечки данных, технологическое неравенство.

Woven City не первый корпоративный умный город, который был создан с нуля, другие яркие примеры: Масдар в Абу-Даби, Объединенные Арабские Эмираты (Masdar) и Fujisawa Sustainable Smart Town в Канагаве, Япония (Panasonic).

Смотрите также:

🛑Кейс по разработке стратегии нового города-спутника Владивостока
🛑Как меняются «умные города»
🛑Итоги Forum.Digital.Smart City

#Умные_города #ИзМираТехнологий
🌐Ваш O2Consulting

«Роботы никогда не станут такими же ловкими, как человек!» — предрекают скептики. А команда Figure AI просто выпускает очередного гуманоида — Figure 03, на этот раз способного почувствовать вес скрепки на своем пальце. Такая тактильность, которая напрямую связана со способностью ловко взаимодействовать с объектом, ещё недавно казалась недостижимой целью.

Figure 03 — универсальное устройство, способное действовать и обучаться как в домашних, так и в коммерческих условиях. В основе технологии лежит Helix — ИИ, который позволяет роботу ориентироваться в непредсказуемой, постоянно меняющейся обстановке.

В новой, уже третьей версии, улучшен целый ряд параметров:

🛑Новая система камер: в 2 раза выше частота кадров, задержка меньше в 4 раза, поле зрения шире на 60 %.
🛑Камеры встроены в ладони — теперь робот видит, что происходит с объектом в руке, даже если обзор основной камеры перекрыт.
🛑Тактильные датчики ощущают давление от 3 г, обеспечивая сверхточный контроль захвата.
🛑Конструкция стала на 9 % легче и компактнее, а робот теперь покрыт приятным на ощупь текстилем.
🛑Беспроводная зарядка через ступни мощностью 2 кВт.
🛑Передача данных 10 Gbps — мгновенная синхронизация без кабелей.
🛑Новый динамик и микрофон — поддержка голосового управления и общения.

Массовое производство

В Figure полностью переделали производство под масштабирование, в том числе был построен завод BotQ, рассчитанный на выпуск 12 000 роботов в год, и создана новая цепочка поставок с нуля, чтобы обеспечить стабильное производство и контроль качества.

Бретт Эдкок (Brett Adcock), основатель Figure AI, имеет четкий план действий для светлого будущего на основе ИИ, которому он следует, и продвигает идею о том, что один андроид общего назначения с универсальным интерфейсом и обученный с помощью ИИ, со временем сможет выполнять миллионы разнообразных задач, которые сегодня требуют разных специализированных роботов.

А вы — на чьей стороне?

Смотрите также:

🛑Революция роботов. Clone Alpha — технология будущего, в котором роботы так похожи на нас
🛑Гуманоиды тренируют захват и учатся быть командой
🛑ASAP (Aligning Simulation and Real Physics) — двухэтапная структура, предназначенная для повышения ловкости гуманоидных роботов.

#O2Consultingweekend
🌐Ваш O2Consulting