Данные рассудят: как оценить реальный экономический результат

Все чаще можно услышать термин «доказательная политика», который обозначает процесс принятия политических решений на основании результатов научных исследований. Часто этим занимаются именно экономисты-эмпирики: они, используя доступные данные, проверяют теоретические модели и оценивают эффекты политических инициатив. Подробнее о том, как экономисты анализируют политические меры, а также о том, какие выводы уже удалось сделать об эффекте программы материнского капитала или миграционной политики, вы можете узнать из лекции Евгения Яковлева, профессора РЭШ, именного профессора Благотворительного фонда «САФМАР». Мы публикуем основные тезисы.

⚡️Премию по экономике памяти Нобеля 2021 года получают Дэвид Кард «за эмпирический вклад в экономику труда», и Джошуа Ангрист и Гвидо Имбенс «за методологический вклад в анализ причинно-следственных связей»

Как в экономике произошла революция достоверности

Как найти причину явления – это ключевой вопрос экономических исследований. Поэтому не случайно Нобелевскую премию уже не первый раз получают экономисты за поиск ответа на этот вопрос.

О том, как экономисты постепенно учились отделять корреляции от причинно-следственных связей, в колонке для VPost пишут Георгий Калашнов, преподаватель экономического факультета МГУ, и Витовт Копыток, который возглавляет направление «‎Данные для исследований» в Центре перспективных управленческих решений. Долгий путь привел экономическую мысль к выводу, что чем проще проверить гипотезу, тем она надежнее. Именно в проверке предположений – доступной и понятной – скрывается достоверность. Прочитайте колонку и многое узнаете про современную доказательную экономику.

Ещё несколько материалов про нобелевку по экономике.

Константин Сонин на N+1
Максим Ананьев на Тайга.инфо

Экономический твиттер всерьез:
Arthur Netto рассказывает про свою диссертацию "Experiments in the Armchair: A History of Microeconometrics and Program Evaluation at Princeton", посвященную Ашенфельтеру и его студентам (среди которых как раз Кард и Ангрист).

Arin Dube сразу с двумя тредами
- о вкладе Карда и Крюгера в экономику труда
- о критике статьи Карда и Крюгера о МРОТ

Тред про разницу между двумя сторонами (эмпирической и методологической) приза

Социолог отвечает на вопрос о влиянии революции достоверности на роль экономики (особенно "мейнстримной") в экономической политике
А другой социолог - Kieran Healy отмечает, что теперь экономисты совсем зазнаются

Еще любопытная история от Криса Блаттмана (очень в духе Криса Блаттмана):
Оказавшись с Дэвидом Кардом в лифте они разговорились о диссертации Криса, он сказал что "делает статью в стиле Ангриста о влиянии призыва на человеческий капитал, но на данных о детях-солдатах в Уганде". Кард удивленно спросил, а кто ему предоставил такие данные и Крис ошарашил его ответом что просто сам Крис во время войны провёл этот опрос.

И не очень всерьез:
Аустан Гулсби вспомнил историю про Ангриста - для одной своей статьи Ангрист решил подработать водителем в "Убере" и задавал пассажирам столько вопросов что ему за это снижали рейтинг.

Также обсуждают довольно эпатажную цитату из статьи Ангриста (он вообще колоритный, то в парике лекцию сядет читать, то видео по эконометрике превратит в вечер фанатов кун-фу Дэвида Кэррадайна)
А в одном эконометрическом журнале пришлось угнать твиттер-аккаунт, чтобы поздравить редактора

Два значимых экономических журналиста:
Noah Smith начинает за здравие (и местами очень подробно про вещи, которые другие не так подробно описывают), а заканчивает как всегда, в одном предложении говорит про "An alternative technique is the randomized controlled trial, where economists actually use the real world as a sort of policy laboratory" а в следующим обзывает их "квази-экспериментами".
А Tim Harford хорошо замечает, что фраза про "корреляция не равно причинность", хотя и верна, сама по себе не помогает находить ответы на важные общественные вопросы, а вклад лауреатов именно в попытке конструктивного ответа

И прочие источники:
National Public Radio (у них очень хороший популярный подкаст про экономику - Planet Money)
Council of Economic Advisers (экономические советники Белого Дома) тоже поздравляет (а в комментах Колин Камерер замечает, что хотя все трое лауреатов US-based, один родился в Канаде, другой в Нидерландах, а третий, родившись в США, служил парашютистом в Армии Израиля)
Кругман в NYTimes примерно с тем же тезисом про политическую пользу, что и в твиттере до того
Scott Kominers в Блумберге
Andrew Gelman в своем блоге

Опять про нобелевскую премию, но в этот раз с картинками 🌁

Что сделать экономисту, чтобы ему поверили?

Чтобы решить проблему, например, повысить занятость, надо понять, какие факторы мешают людям успешно трудоустроиться. До так называемой революции достоверности в экономике специалисты искали решения с помощью интуиции и грубых предположений. Однако этот подход не всегда позволял верно взглянуть на ситуацию, найти её реальные причины и, соответственно, предложить эффективное решение.

Эконометристы Дэвид Кард, Хидо Имбенс и Джошуа Энгрист придумали, как сделать экономические исследования более достоверными, и получили за это Нобелевскую премию. Подробнее об их заслугах и революции достоверности в экономике рассказывают преподаватель экономического факультета МГУ Георгий Калашнов и руководитель проектного направления «‎Данные для исследований» ЦПУР Витовт Копыток в новой колонке.

ВОРКШОПЫ ОТ СКОТТА КАННИНГЕМА И CHAMBERLAIN SEMINAR С ДМИТРИЕМ АРХАНГЕЛЬСКИМ

🔸 Отличные новости для всех поклонников учебника по методам выявления причинно-следственных эффектов от Скотта Каннингема: пару дней назад он анонсировал, что с 2022 года будет проводить платные, но не очень дорогие семинары по Causal Inference и современным методам Difference in Differences и Syntetic Control. Чтобы не пропустить воркшопы, можно подписаться на рассылку, заполнив гугл-форму.

🔸 А в ближайшую пятницу (22 октября) в 19:00 МСК выпускник МГУ и РЭШ Дмитрий Архангельский (сейчас работает в CEMFI) на очередном Chamberlain Online Seminar in Econometrics расскажет про работу «On Policy Evaluation with Aggregate Time-Series Shocks» (в соавторстве с еще одним русскоязычным исследователем Василием Коровкиным). Зарегистрироваться и получить ссылку на zoom можно по ссылке.

КУРС ДМИТРИЯ АРХАНГЕЛЬСКОГО ПО ЭКСПЕРИМЕНТАЛЬНОМУ АНАЛИЗУ

На лендинге Центра перспективных управленческих решений по доказательной политике размещен курс лекций Дмитрия Архангельского (CEMFI) по экспериментальному анализу, который он прочитал летом на экономическом факультете МГУ.

🔹 В первой лекции (A/B тесты) разобрана базовая модель эксперимента, а также рассмотрены решения проблемы несбалансированности контрольной и экспериментальной групп.

🔹 Во второй лекции (Внешние эффекты) разобраны дизайны экспериментов, в которых не соблюдается ключевое предположение о стабильности воздействия (SUTVA), и на группы участников влияют различные внешние эффекты.

🔹 В третьей лекции (Адаптивные эксперименты) рассматриваются эксперименты, в которых дизайн эксперимента адаптируется к наблюдаемым данным.

🔹В четвертой лекции (Динамические эксперименты) разобраны эксперименты, результат которых может зависеть не только от недавнего воздействия, но и от предыдущих.

Ссылки на презентации лекций размещены в описаниях к видео. Силлабус курса доступен по ссылке.

Есть два способа интерпретации разрывного дизайна. Из них вытекают разные предположения, на основе которых мы оцениваем эффекты. Первый — фреймворк непрерывности: средние потенциальные исходы являются непрерывными функциями от переменной участия в точке разрыва. Второй — фреймворк локальной рандомизации: вблизи точки разрыва наблюдения распределяются практически случайно.

Подробнее — в материале по ссылке.

https://telegra.ph/Dva-vzglyada-na-razryvnyj-dizajn-10-26

Говорить об эконометрических методах и анализе причинно-следственных связей на русском сложно и даже длинно: устоявшейся терминологии нет, возникает путаница с интерпретацией. В 2007-2014 в отличном русскоязычном журнале по эконометрике «Квантиль», который, к сожалению, уже два года как перестал выходить, была опубликована серия статей, в которых были предложены переводы терминов и разобрана их интерпретация:

🔹 Первая часть: про dummy, sample, population, score и inference.
🔹 Вторая часть: про skewness, significance level, confidence level, hazard, proxy.
🔹 Третья часть: про estimator и estimation, quantile, eigenvalue, marginal, smoothing, bandwidth, time-domain.

Число подписчиков канала пробило сотню (спасибо вам за интерес). Пора закрывать доказательные пробелы. Пока что не своими силами, а с помощью наших более опытных коллег. В этой подборке рассмотрим два исследования на российских данных, которые вышли в 2021 году.

🏭 Белёв С.Г., Ветеринаров В.В., Сучкова О.В. Территории опережающего развития и производительность в российских городах. Экономический журнал ВШЭ.

Оцениваемая политика: создание территорий опережающего развития в моногородах с льготными условиями для бизнеса.
Что доказали? Прирост общей факторной производительности в моногородах после присвоения статуса территории опережающего развития (со специальными условиями для предпринимателей) в 2017-2018 гг. оказывается на 32 процентных пункта выше, чем в похожих городах без такого статуса. А прирост добавленной стоимости — на 36 процентных пункта выше. Основной источник роста — рост производительности компаний, которые существовали до создания ТОР. Оценка проводилась при помощи сопоставления городов на основе мер склонности (Propensity Score Matching) — для каждого моногорода с ТОР подбирались похожие по характеристикам города без ТОР.

💊 Khvan M., Yakovlev E. Death Toll of Price Limits and Protectionism in the Russian Pharmaceutical Market. SSRN. Колонка от авторов в Новой Газете — по ссылке.

Оцениваемая политика: ограничение цен на лекарства из списка жизненно необходимых и протекционистские меры.
Что доказали? Установление верхнего лимита цен на лекарства и протекционистские меры в закупках привели к существенному росту смертности (на десятки процентов) от заболеваний, для лечения которых используются лекарства, попавшие под регулирование. Оценка проводилась с помощью метода «‎разность разностей» (Difference in Differences). Сравнивалось изменение смертности для двух групп причин и болезней: тех, на которые регулирование сильно повлияло (например, диабет или рак крови), и тех, на которых регулирование почти не сказалось. Чем большую роль играет медикаментозное лечение, тем выше негативный эффект. Также негативный эффект от государственной политики сильнее для пожилых людей, сельской местности и регионов, в которых аукционы по закупке лекарств отменяются чаще.

Это исследование демонстрирует, что доказательная политика — это не всегда красиво. Иногда исследования на данных показывают, что государственное регулирование в какой-то области оказалось полностью провальным, и даже стоило большого числа человеческих жизней. Хорошо, если у тех, кто принимает решения, находятся силы это признать.

Использование методов причинно-следственного вывода в большей степени ассоциируются со Stata и R. Однако если вас интересует доступный и подробный гайд по использованию методов причинно-следственного вывода в Python, то советуем обратить внимание на книгу Matheus Alves «Causal Inference for The Brave and True».

Из достоинств этой книги можем отметить ее практический характер: содержащийся в ней материал и код изложены достаточно понятно и лаконично. Что касается недостатков, то некоторая скупость изложения с лихвой компенсируется его последовательностью и наглядностью. Наконец, эта книга представляет собой наиболее полный источник мемов по методам причинного-следственного вывода из известных авторам. Уже одно это заставляет обратить внимание на книгу.

В продолжение темы использования методов причинно-следсвенных связей с использованием Python также может быть интересным курс Бруно Гонсалвеса (экс-исследователя Центра науки о данных Нью-Йорка) на основе книги выдающегося Джуда Перла - создателя математического аппарата байесовских сетей и математической базы вероятностного вывода - Causal Inference in Statistics (доступная реплика книги).

Курс доступен по ссылке.