Как мы заставили ИИ проверить олимпиаду

Это слайд из моей презентации, которую я показывал на конференции Ассоциации европейского экономического образования в Милане на прошлой неделе. По горизонтали — оценки за работы школьников, поставленные ИИ, по вертикали — профессиональным жюри.

На Международной олимпиаде по экономике мы в 2025 году второй раз проверяли работы при помощи ИИ под контролем живых членов жюри. Про первый раз я писал тут; за год и ИИ стал лучше, и мы научились лучше его использовать. Результаты довольно яркие: в 5 задачах, где участники писали развернутые решения, корреляция между оценкой ИИ и финальными оценками живых членов жюри — от 0,896 до 0,986, а из 133 медалей только две достались бы другим участникам, если бы перепроверки за ИИ вообще не было. Профессиональное жюри, состоящее в основном из профессоров сильных экономических факультетов из разных стран, перепроверило всё за ИИ вручную и пришло к выводу, что, в общем-то, можно было почти и не перепроверять.

Посмотреть, что были за задания, можно тут. Все они — сложные, требуют многоступенчатых решений, часто — графического анализа. Схемы (критерии) проверки тоже нетривиальны: предписывают ставить частичные баллы в зависимости от достигнутого продвижения, предусматривают несколько способов решения и так далее.

И мы добились такого качества путем довольно бесхитростного промптинга и только GPT o3, хотя и не с первой попытки всё так хорошо получилось.

Например, вы можете заметить, что оценки жюри в среднем выше оценки ИИ — и это сознательный выбор. Во-первых, в экспериментах с нейтральными промптами мы видели, что ИИ чаще завышает оценки, чем занижает. С другой стороны, мы заинтересованы как раз в небольшом занижении — так все существенные ошибки в проверке ИИ, не исправленные по недосмотру людьми, всплывут на апелляции (а в случае завышения баллов у участников нет стимулов сообщать об ошибке).

В следующем году выведем инициативу на новый уровень: будем использовать ансамбль моделей, перепроверку ими друг за другом, ручную перепроверку только сложных случаев (например, где разные ИИ-модели сильно разойдутся) или экстремально высоких баллов. А время профессионального жюри освободим для разрешения спорных ситуаций и общения с участниками.

Если вы хотите поговорить о применимости нашего опыта для ваших проектов, приходите в личные сообщения.

Эмпирическая экономика в школе

А вот это еще один мой слайд с той же миланской конференции, но из другого доклада — обсуждали с коллегами, как интегрировать работу с данными в школьное экономическое образование. Пример Национальной олимпиады по анализу данных DANO, запущенной в России пять лет назад, показателен для всех: учить работе с данными школьников можно, да они и сами рады учиться.

Регистрация на DANO-2025, кстати, открыта. В первом этапе могут проверить себя все желающие, не только школьники.

Почему стоит провести лето в ЛЭШ ILE?

Этот канал превратился в размышления про искусственный интеллект и сборник ссылок на интервью про олимпиады (раз, два, три), но что делать, если ИИ сейчас в фокусе у всех, а про олимпиады и похожие вещи все хотят поговорить!

На этот раз — медиацентр Летней экономической школы «I Love Economics»: про эту школу, олимпиады, IEO и поступление на экономические программы.

https://lesh.info/2025/fedorovykh

Вдруг вы не знали: оказывается, сроки действия подарочных сертификатов не имеют никакого значения, и это следует из решения Верховного суда и позиции Роспотребнадзора.

Если срок действия сертификата закончился, то считается, что продавец не исполнил свое обязательство передать товар потребителю, и потребитель может потребовать по своему выбору: 1) вернуть предоплату (= стоимость сертификата) или 2) передать товар (= реализовать сертификат) в новый установленный потребителем срок. Конечно, продавцам выгоднее второй вариант, так что они без проблем соглашаются на продление сертификатов (я несколько раз проверял).

Юридическую сторону вопроса я узнал из канала Романа Янковского «Форма права», который рекомендую.

В неделю первых в этом учебном году лекций нелишним будет вспомнить, зачем лекции собственно нужны

Сколько нужно доверия

На Дне финансиста в РБК первые лица отраслевых ассоциаций говорят про доверие на финансовом рынке. Доверия, конечно, в последнее время стало больше: например, лет 15-20 назад в банки деньги было нести страшнее, чем сейчас, сервисы были хуже и так далее. А теперь: страхование депозитов, макропруденциальная политика, банки стали супердружелюбными и суперудобными и интегрировали в себя брокеров, страховые компании и даже иногда университеты. Люди полюбили банки и стали им как никогда доверять.

Но, возможно, есть какой-то «оптимальный уровень доверия», и он не равен 100%. И даже если с банком всё в порядке, он честный и платёжеспособный, абсолютное доверие к нему порождает побочные эффекты. И наиболее хорошо это видно, когда до кого-то дозванивается «служба безопасности Сбербанка».

Когда декларировать ИИ

Когда программы для написания текстов на компьютере только появлялись, в выходных данных книг можно было прочитать: «Набрано в Aldus PageMaker 3.0 на Macintosh». Тогда это имело смысл: инструмент был новый, не до конца всем понятный, заслуживал упоминания. Сегодня никому в голову не приходит дописывать к газетной колонке или служебной записке «написано в Microsoft Word». Word — просто инструмент.

Мне кажется, мы сейчас где-то в похожей точке в дискуссиях о декларировании ИИ. В учебном контексте это понятно: для студентов, например, написание текста или решения задачи — это сама работа, и раскрытие инструментов — часть академической честности. Но в других случаях обязательная декларация даже тривиального использования ИИ, чтобы исправить ошибки в тексте и подобрать слова получше, превращает уже обычный, в общем-то, инструмент в клеймо.

В недавней статье «The transparency dilemma: How AI disclosure erodes trust» показано в экспериментах: простое раскрытие факта использования ИИ нередко снижает доверие к автору — не потому, что контент хуже, а потому что его начинают считать менее легитимным. Честность и прозрачность парадоксально могут обернуться против автора.
Я тоже за собой это замечал. Полтора-два года назад комментарий «я сделал это с помощью ChatGPT» вызывал уважение (ого как ты можешь оптимизировать рутину с помощью крутых инструментов!), а сейчас — пренебрежение (всё понятно, обленился совсем и выдаешь нам какую-то непроверенную ерунду).

Надо что-то с этим делать, и я бы предложил провести границу так:

* Декларация не требуется, если ИИ используется как письменный инструмент: грамматика, тон, структура, упрощение жаргона, верстка, перевод. То есть оборачивает в слова идеи и результаты работы, которые уже были. В таких случаях нужно относиться к ИИ как к проверке орфографии в текстовом редакторе.
* Декларация требуется, если ИИ генерирует идеи, аргументы, делает анализ, решает задачу — и читатель может приписать эти идеи самому автору. В таких случаях нужно и указывать и инструмент, и описывать его использование.

Так мы сохраняем честность там, где это важно, избегая сносок «ИИ дотронулся до этого текста», когда он никак не повлиял на суть — и мог бы лишь зря подорвать доверие. Важно, кто думал, кто проверял факты и кто несет ответственность за утверждения.

Декларация, которая не требуется: да, я использовал ИИ, чтобы сформулировать этот текст, как и примерно все тексты длинной больше пары предложений в последнее время.

И когда тебе грустно,
Казаться улыбчивым и простым —
Самое высшее в мире искусство

Два проекта дорогих моему сердцу создателей — театр одного актера «Паша читает» Паши Михайлова и книжные клубы @inhound Полины Кривых — запустили нечто совместное, и это книжный клуб к 130-летию Сергея Есенина. Вот тут детали, а если пролистать канал вниз, то можно выиграть бесплатный доступ, но Inhound — это стартап, а стартапу можно конечно и заплатить за хорошее дело.

Еще к 130-летию Есенина у Паши будут премьеры в Москве и в Питере. Я не смогу, но вы сходите.

Турнир по «предвыборной гонке»

Звездный состав друзей и коллег, в том числе не нуждающиеся в представлении в этом канале Дима Дагаев и Лёша Савватеев, запустили эксперимент. Они предлагают всем желающим сыграть против других участников и против ИИ — с реальными призами.

По условию игры вы — кандидат в президенты вымышленной страны, и вам нужно распределить ресурсы предвыборной кампании между несколькими штатами. Вы играете против другого кандидата (человека или ИИ), который решает ту же задачу. Побеждает тот, кто выиграет в наибольшем числе штатов.

В теории игр эта задача известна как «игра полковника Блотто», но не торопитесь гуглить: простого решения, гарантирующего победу, там всё равно нет.

Чтобы поучаствовать, оставьте заявку в форме. Потом на почту придет ссылка, по которой можно будет отправить свою стратегию. Дедлайн — 20 октября.

Подробнее про условия турнира — в видео ниже или в посте одного из организаторов Петра Паршакова.

Как проверять олимпиады

Центральная предметно-методическая комиссия Всероса по экономике выпустила документ — Рекомендации по проверке олимпиад. Там мы попытались сформулировать принципы, на которых основана проверка решений школьниками сложных, многоступенчатых качественных и количественных задач. Делимся со всеми: наверняка это будет полезно не только для ВсОШ и даже не только для олимпиад по экономике.

https://iloveeconomics.ru/grading

По моим наблюдениям, AI-savviness не скоррелирована вообще ни с чем

Очень опытные и авторитетные фигуры могут не знать, как задать вопрос ChatGPT (что иногда не мешает им рассуждать о неспособности ИИ что-либо сделать с теоретических позиций). С другой стороны, студенты первого курса или другие люди без подтвержденного авторитета, которые сами попытались познакомиться с LLM, часто становятся интересными собеседниками и могут делать какую-то работу, которую от них вообще-то не ожидаешь.

Почему так? Потому что современные навыки возникают не из статусов, стажа или титулов, а из любопытства, практики и умения ставить задачи. Возраст, публикации, должности, владение Python — слабые предикторы. Вдруг стало важно не кто вы, а какой результат вы можете получить со всеми доступными инструментами. Иерархии и регалии не мешают, но и не помогают — помогает насмотренность и практика.

Почему в озере Чарлстон в Канаде два острова с одинаковым названием? А потому!

Судя по сообщению Дептранса Москвы, скоро в метро в пилотном режиме поедет беспилотный поезд

А у вас какие неожиданные встречи были в последнее время?

Задавать на экзамене вопросы из серии «как зовут преподавателя?» — конечно, не самый осмысленный способ бороться с бездумным использованием ИИ, но можно хотя бы отсылки прикольные в вопросе дать