Использование решающих деревьев для оценки гетерогенных эффектов в разрывном дизайне

🧑‍🎓 Agoston Reguly (Central European University), Heterogeneous Treatment Effects in Regression Discontinuity Design
👉 https://arxiv.org/pdf/2106.11640.pdf (опубликовано 23 июня 2021 года)

Применение квазиэкспериментальных методов оценки обычно приводит к получению одного числа, отражающего некоторый усредненный эффект. Однако исследователей и политиков может интересовать не только оценка эффекта для целевой аудитории в общем. Меры или программы неодинаково влияют на разные группы бенефициаров (т.е. их эффект гетерогенен). В условиях ограниченного финансирования полезно понимать, для каких групп эффект от участия в программе выше, а для каких он отсутствует.

Одним из самых популярных методов квазиэкспериментальной оценки в последние годы является разрывный дизайн (Regression Discontinuity Design). Он использует тот факт, что существует некоторая переменная, значение которой полностью или частично определяет участие в программе. Например, для того чтобы поступить в ведущие университеты, необходимо набрать сумму баллов, которая превышает некоторое пороговое значение. При этом абитуриенты, немного недотянувшие до порогового значения, в среднем не отличаются от тех, кто этот порог преодолел. Тогда разница в значениях интересующей исследователя целевой переменной для этих двух групп может быть приписана именно факту поступления в ведущий университет.

Обычно для оценки гетерогенных эффектов в разрывном дизайне исследователь вручную делит выборку на несколько частей по одной из переменных, которая, предположительно определяет гетерогенность. Например, очень часто в статьях оценки эффектов приводятся отдельно для мужчин и женщин. То, какие подвыборки будут рассмотрены, полностью остается на совести исследователя. При этом более сложные сочетания атрибутов довольно легко упустить.

Agoston Reguly из CEU предлагает использовать решающие деревья для автоматического деления выборки на части с разными оценками эффекта воздействия. Автор применяет т.н. «честный алгоритм» Athey, Imbens (2016). Он заключается в том, что построение дерева и оценка эффектов осуществляется на двух независимых подвыборках, на которые случайным образом делятся исходные наблюдения. Число листов в полученном дереве отражает компромисс между разнообразием оценок для разных групп и минимизацией дисперсии полученных оценок (разнообразные, но незначимые оценки не имеют большого прикладного смысла). Симуляции и тестирование на реальных данных показывают, что классический ML-метод эффективно дополняет популярный квазиэкспериментальный дизайн: полученные оценки хорошо ловят гетерогенность и позволяют увидеть закономерности, пропущенные исследователями при ручном отборе групп.

Иллюстрация подхода: исходная выборка поделена на пять групп по значениям двух переменных. Для каждой из групп эффект воздействия оценивается отдельно.

Policy Simulation Library - проект, развивающий библиотеки микросимуляционных моделей с открытым кодом на python. Модели позволяют прогнозировать будущие эффекты от изменения налоговой политики (корректировки налоговых ставок, изменения объектов, попадающих в налогооблагаемую базу и пр.). Каждая библиотека включает репозиторий с открытым кодом и пользовательскую документацию с примерами использования моделей. В частности одна из библиотек Cost-of-Capital-Calculator позволяет, меняя параметры налогового администрирования, оценить ожидаемые изменения в инвестиционной активности со стороны коммерческого сектора.

Проект позиционируется как инструмент быстрой оценки (путем моделирования) планируемых реформ, поддерживающий решения в госсекторе.

Открытость данных – основа развития доказательной политики в госсекторе. Качественно иным измерением является не просто открытие данных, но и доступ к инструментам, которые формируют из данных информацию для принятия решений и / или для оценки действий правительства «неэкспертами», а именно – большинством граждан.

Когда мы слышим о планах введения льгот, социальных выплат, налоговых преференций для граждан, ответ на вопрос, какие группы населения выиграют от новой бюджетной политики, а какие могут проиграть, не всегда является очевидным. Однако на него могут ответить модели микромоделирования (microsimulation models), позволяющие на основе микроданных формировать будущие параметры распределения доходов, налогов, субсидий с учетом изменений входных параметров.

Есть два серьезных сдерживающих фактора для использования микромоделирования в принятии решений на уровне госсектора:

1. Качество данных, необходимых для микромоделирования
2. Недоступность микросимуляционных моделей вне академических сообществ

Если первый пункт делает в принципе невозможным использование микромоделирования, то второй пункт – снижает полезную отдачу от имеющихся микроданных.

Показательным кейсом извлечения максимальной пользы из микроданных является проект UKMOD, реализованный на предобработанных данных ежегодного опроса домохозяйств Великобритании о доходах и условиях жизни - The Family Resources Survey (один из аналогов Выборочного наблюдения доходов населения (ВНДН) Росстата). UKMOD – общедоступная микросимуляционная модель, которая позволяет создавать сценарии реформ, изменяя - через интуитивно понятный веб-интерфейс - ключевые параметры налоговой системы. UKMOD имеет режима доступа:

1. UKMOD Explore - веб-приложение в свободном доступе, не предполагает доступа к базовым данным.
2. UKMOD Light - десктоп версия UKMOD Explore, которая позволяет получить доступ к базовым (тестовым) микроданным.
3. Полная версия UKMOD, которая позволяет пользователям изменять любой параметр модели налоговой системы и моделировать совершенно новые политики. Получить доступ к полной версии можно, подтвердив цели своего проекта на портале управления долгосрочным доступом к экономическим, социальным и демографическим данным UK Data Service.

Разработанная Университетом Эссекса (University of Essex) при поддержке Фонда Наффилда (Nuffield Foundation) UKMOD фактически удовлетворяет спрос на возможности моделирования эффектов от изменения налоговой политики за пределами академических кругов (среди различных организаций и граждан, не обладающих соответствующей экспертизой) и способствует развитию доказательной базы при принятии решений о реализации мер госполитики.

#evidencespace #microsimulation #microdata

СЕМИНАРЫ И КУРСЫ ПО CAUSAL INFERENCE

🔸 6 октября (среда) — на семинаре The Center for Statistics and the Social Sciences Виктор Черножуков (MIT) презентует статью Generic Machine Learning Inference on Heterogenous Treatment Effects in RCTs. Среди соавторов — Эстер Дюфло. В практической части статьи анализируются результаты рандомизированного полевого эксперимента в Индии, посвященного оценке различных наджей, направленных на стимулирование вакцинации. 🕥 Начнется семинар в 22:30 по московскому времени, для участия организаторы просят зарегистрироваться.

🔶 14-16 октября (четверг-суббота) — трехдневный учебный семинар от Pedro H. C. Sant’Anna (Vanderbilt University, Microsoft) по классическим и современным методам Difference in Differences. Курс платный и стоит довольно дорого ($895), но при серьезном подходе может оказаться очень полезным. Тем более, Pedro H. C. Sant’Anna — один из соучастников новой волны теоретических и прикладных работ, развивающих Difference in Differences.

🔶 28-30 октября (четверг-суббота) — еще один трехдневный учебный семинар, но теперь по разрывному дизайну от Rocío Titiunik (Princeton University). Каждый, кто хоть раз приближался к разрывному дизайну, точно знаком с теоретическими работами и мануалами Rocío и ее сооавторов. Семинар тоже платный ($895), будут рассмотрены стандартные и продвинутые методы RDD.

🔶 7, 9, 14, 16, 21 декабря — интенсив по A/B-экспериментам и тестированию от одного из лидеров консалтинга на российском рынке проведения онлайн- и оффлайн-экспериментов — компании EXPF. В базовой версии курс стоит 25 тыс. рублей, с домашками и доступом к закрытым микросервисам — 32 000 тыс. рублей.

#causalinference #rdd #did #abtesting

Отличная лекция Евгения Яковлева про доказательную политику и causal inference. Видеозапись и презентация — по ссылке.

Данные рассудят: как оценить реальный экономический результат

Все чаще можно услышать термин «доказательная политика», который обозначает процесс принятия политических решений на основании результатов научных исследований. Часто этим занимаются именно экономисты-эмпирики: они, используя доступные данные, проверяют теоретические модели и оценивают эффекты политических инициатив. Подробнее о том, как экономисты анализируют политические меры, а также о том, какие выводы уже удалось сделать об эффекте программы материнского капитала или миграционной политики, вы можете узнать из лекции Евгения Яковлева, профессора РЭШ, именного профессора Благотворительного фонда «САФМАР». Мы публикуем основные тезисы.

⚡️Премию по экономике памяти Нобеля 2021 года получают Дэвид Кард «за эмпирический вклад в экономику труда», и Джошуа Ангрист и Гвидо Имбенс «за методологический вклад в анализ причинно-следственных связей»