Использование решающих деревьев для оценки гетерогенных эффектов в разрывном дизайне
🧑🎓 Agoston Reguly (Central European University), Heterogeneous Treatment Effects in Regression Discontinuity Design
👉 https://arxiv.org/pdf/2106.11640.pdf (опубликовано 23 июня 2021 года)
Применение квазиэкспериментальных методов оценки обычно приводит к получению одного числа, отражающего некоторый усредненный эффект. Однако исследователей и политиков может интересовать не только оценка эффекта для целевой аудитории в общем. Меры или программы неодинаково влияют на разные группы бенефициаров (т.е. их эффект гетерогенен). В условиях ограниченного финансирования полезно понимать, для каких групп эффект от участия в программе выше, а для каких он отсутствует.
Одним из самых популярных методов квазиэкспериментальной оценки в последние годы является разрывный дизайн (Regression Discontinuity Design). Он использует тот факт, что существует некоторая переменная, значение которой полностью или частично определяет участие в программе. Например, для того чтобы поступить в ведущие университеты, необходимо набрать сумму баллов, которая превышает некоторое пороговое значение. При этом абитуриенты, немного недотянувшие до порогового значения, в среднем не отличаются от тех, кто этот порог преодолел. Тогда разница в значениях интересующей исследователя целевой переменной для этих двух групп может быть приписана именно факту поступления в ведущий университет.
Обычно для оценки гетерогенных эффектов в разрывном дизайне исследователь вручную делит выборку на несколько частей по одной из переменных, которая, предположительно определяет гетерогенность. Например, очень часто в статьях оценки эффектов приводятся отдельно для мужчин и женщин. То, какие подвыборки будут рассмотрены, полностью остается на совести исследователя. При этом более сложные сочетания атрибутов довольно легко упустить.
Agoston Reguly из CEU предлагает использовать решающие деревья для автоматического деления выборки на части с разными оценками эффекта воздействия. Автор применяет т.н. «честный алгоритм» Athey, Imbens (2016). Он заключается в том, что построение дерева и оценка эффектов осуществляется на двух независимых подвыборках, на которые случайным образом делятся исходные наблюдения. Число листов в полученном дереве отражает компромисс между разнообразием оценок для разных групп и минимизацией дисперсии полученных оценок (разнообразные, но незначимые оценки не имеют большого прикладного смысла). Симуляции и тестирование на реальных данных показывают, что классический ML-метод эффективно дополняет популярный квазиэкспериментальный дизайн: полученные оценки хорошо ловят гетерогенность и позволяют увидеть закономерности, пропущенные исследователями при ручном отборе групп.
🧑🎓 Agoston Reguly (Central European University), Heterogeneous Treatment Effects in Regression Discontinuity Design
👉 https://arxiv.org/pdf/2106.11640.pdf (опубликовано 23 июня 2021 года)
Применение квазиэкспериментальных методов оценки обычно приводит к получению одного числа, отражающего некоторый усредненный эффект. Однако исследователей и политиков может интересовать не только оценка эффекта для целевой аудитории в общем. Меры или программы неодинаково влияют на разные группы бенефициаров (т.е. их эффект гетерогенен). В условиях ограниченного финансирования полезно понимать, для каких групп эффект от участия в программе выше, а для каких он отсутствует.
Одним из самых популярных методов квазиэкспериментальной оценки в последние годы является разрывный дизайн (Regression Discontinuity Design). Он использует тот факт, что существует некоторая переменная, значение которой полностью или частично определяет участие в программе. Например, для того чтобы поступить в ведущие университеты, необходимо набрать сумму баллов, которая превышает некоторое пороговое значение. При этом абитуриенты, немного недотянувшие до порогового значения, в среднем не отличаются от тех, кто этот порог преодолел. Тогда разница в значениях интересующей исследователя целевой переменной для этих двух групп может быть приписана именно факту поступления в ведущий университет.
Обычно для оценки гетерогенных эффектов в разрывном дизайне исследователь вручную делит выборку на несколько частей по одной из переменных, которая, предположительно определяет гетерогенность. Например, очень часто в статьях оценки эффектов приводятся отдельно для мужчин и женщин. То, какие подвыборки будут рассмотрены, полностью остается на совести исследователя. При этом более сложные сочетания атрибутов довольно легко упустить.
Agoston Reguly из CEU предлагает использовать решающие деревья для автоматического деления выборки на части с разными оценками эффекта воздействия. Автор применяет т.н. «честный алгоритм» Athey, Imbens (2016). Он заключается в том, что построение дерева и оценка эффектов осуществляется на двух независимых подвыборках, на которые случайным образом делятся исходные наблюдения. Число листов в полученном дереве отражает компромисс между разнообразием оценок для разных групп и минимизацией дисперсии полученных оценок (разнообразные, но незначимые оценки не имеют большого прикладного смысла). Симуляции и тестирование на реальных данных показывают, что классический ML-метод эффективно дополняет популярный квазиэкспериментальный дизайн: полученные оценки хорошо ловят гетерогенность и позволяют увидеть закономерности, пропущенные исследователями при ручном отборе групп.
Policy Simulation Library - проект, развивающий библиотеки микросимуляционных моделей с открытым кодом на python. Модели позволяют прогнозировать будущие эффекты от изменения налоговой политики (корректировки налоговых ставок, изменения объектов, попадающих в налогооблагаемую базу и пр.). Каждая библиотека включает репозиторий с открытым кодом и пользовательскую документацию с примерами использования моделей. В частности одна из библиотек Cost-of-Capital-Calculator позволяет, меняя параметры налогового администрирования, оценить ожидаемые изменения в инвестиционной активности со стороны коммерческого сектора.
Проект позиционируется как инструмент быстрой оценки (путем моделирования) планируемых реформ, поддерживающий решения в госсекторе.
Проект позиционируется как инструмент быстрой оценки (путем моделирования) планируемых реформ, поддерживающий решения в госсекторе.
Открытость данных – основа развития доказательной политики в госсекторе. Качественно иным измерением является не просто открытие данных, но и доступ к инструментам, которые формируют из данных информацию для принятия решений и / или для оценки действий правительства «неэкспертами», а именно – большинством граждан.
Когда мы слышим о планах введения льгот, социальных выплат, налоговых преференций для граждан, ответ на вопрос, какие группы населения выиграют от новой бюджетной политики, а какие могут проиграть, не всегда является очевидным. Однако на него могут ответить модели микромоделирования (microsimulation models), позволяющие на основе микроданных формировать будущие параметры распределения доходов, налогов, субсидий с учетом изменений входных параметров.
Есть два серьезных сдерживающих фактора для использования микромоделирования в принятии решений на уровне госсектора:
1. Качество данных, необходимых для микромоделирования
2. Недоступность микросимуляционных моделей вне академических сообществ
Если первый пункт делает в принципе невозможным использование микромоделирования, то второй пункт – снижает полезную отдачу от имеющихся микроданных.
Показательным кейсом извлечения максимальной пользы из микроданных является проект UKMOD, реализованный на предобработанных данных ежегодного опроса домохозяйств Великобритании о доходах и условиях жизни - The Family Resources Survey (один из аналогов Выборочного наблюдения доходов населения (ВНДН) Росстата). UKMOD – общедоступная микросимуляционная модель, которая позволяет создавать сценарии реформ, изменяя - через интуитивно понятный веб-интерфейс - ключевые параметры налоговой системы. UKMOD имеет режима доступа:
1. UKMOD Explore - веб-приложение в свободном доступе, не предполагает доступа к базовым данным.
2. UKMOD Light - десктоп версия UKMOD Explore, которая позволяет получить доступ к базовым (тестовым) микроданным.
3. Полная версия UKMOD, которая позволяет пользователям изменять любой параметр модели налоговой системы и моделировать совершенно новые политики. Получить доступ к полной версии можно, подтвердив цели своего проекта на портале управления долгосрочным доступом к экономическим, социальным и демографическим данным UK Data Service.
Разработанная Университетом Эссекса (University of Essex) при поддержке Фонда Наффилда (Nuffield Foundation) UKMOD фактически удовлетворяет спрос на возможности моделирования эффектов от изменения налоговой политики за пределами академических кругов (среди различных организаций и граждан, не обладающих соответствующей экспертизой) и способствует развитию доказательной базы при принятии решений о реализации мер госполитики.
#evidencespace #microsimulation #microdata
Когда мы слышим о планах введения льгот, социальных выплат, налоговых преференций для граждан, ответ на вопрос, какие группы населения выиграют от новой бюджетной политики, а какие могут проиграть, не всегда является очевидным. Однако на него могут ответить модели микромоделирования (microsimulation models), позволяющие на основе микроданных формировать будущие параметры распределения доходов, налогов, субсидий с учетом изменений входных параметров.
Есть два серьезных сдерживающих фактора для использования микромоделирования в принятии решений на уровне госсектора:
1. Качество данных, необходимых для микромоделирования
2. Недоступность микросимуляционных моделей вне академических сообществ
Если первый пункт делает в принципе невозможным использование микромоделирования, то второй пункт – снижает полезную отдачу от имеющихся микроданных.
Показательным кейсом извлечения максимальной пользы из микроданных является проект UKMOD, реализованный на предобработанных данных ежегодного опроса домохозяйств Великобритании о доходах и условиях жизни - The Family Resources Survey (один из аналогов Выборочного наблюдения доходов населения (ВНДН) Росстата). UKMOD – общедоступная микросимуляционная модель, которая позволяет создавать сценарии реформ, изменяя - через интуитивно понятный веб-интерфейс - ключевые параметры налоговой системы. UKMOD имеет режима доступа:
1. UKMOD Explore - веб-приложение в свободном доступе, не предполагает доступа к базовым данным.
2. UKMOD Light - десктоп версия UKMOD Explore, которая позволяет получить доступ к базовым (тестовым) микроданным.
3. Полная версия UKMOD, которая позволяет пользователям изменять любой параметр модели налоговой системы и моделировать совершенно новые политики. Получить доступ к полной версии можно, подтвердив цели своего проекта на портале управления долгосрочным доступом к экономическим, социальным и демографическим данным UK Data Service.
Разработанная Университетом Эссекса (University of Essex) при поддержке Фонда Наффилда (Nuffield Foundation) UKMOD фактически удовлетворяет спрос на возможности моделирования эффектов от изменения налоговой политики за пределами академических кругов (среди различных организаций и граждан, не обладающих соответствующей экспертизой) и способствует развитию доказательной базы при принятии решений о реализации мер госполитики.
#evidencespace #microsimulation #microdata
СЕМИНАРЫ И КУРСЫ ПО CAUSAL INFERENCE
🔸 6 октября (среда) — на семинаре The Center for Statistics and the Social Sciences Виктор Черножуков (MIT) презентует статью Generic Machine Learning Inference on Heterogenous Treatment Effects in RCTs. Среди соавторов — Эстер Дюфло. В практической части статьи анализируются результаты рандомизированного полевого эксперимента в Индии, посвященного оценке различных наджей, направленных на стимулирование вакцинации. 🕥 Начнется семинар в 22:30 по московскому времени, для участия организаторы просят зарегистрироваться.
🔶 14-16 октября (четверг-суббота) — трехдневный учебный семинар от Pedro H. C. Sant’Anna (Vanderbilt University, Microsoft) по классическим и современным методам Difference in Differences. Курс платный и стоит довольно дорого ($895), но при серьезном подходе может оказаться очень полезным. Тем более, Pedro H. C. Sant’Anna — один из соучастников новой волны теоретических и прикладных работ, развивающих Difference in Differences.
🔶 28-30 октября (четверг-суббота) — еще один трехдневный учебный семинар, но теперь по разрывному дизайну от Rocío Titiunik (Princeton University). Каждый, кто хоть раз приближался к разрывному дизайну, точно знаком с теоретическими работами и мануалами Rocío и ее сооавторов. Семинар тоже платный ($895), будут рассмотрены стандартные и продвинутые методы RDD.
🔶 7, 9, 14, 16, 21 декабря — интенсив по A/B-экспериментам и тестированию от одного из лидеров консалтинга на российском рынке проведения онлайн- и оффлайн-экспериментов — компании EXPF. В базовой версии курс стоит 25 тыс. рублей, с домашками и доступом к закрытым микросервисам — 32 000 тыс. рублей.
#causalinference #rdd #did #abtesting
🔸 6 октября (среда) — на семинаре The Center for Statistics and the Social Sciences Виктор Черножуков (MIT) презентует статью Generic Machine Learning Inference on Heterogenous Treatment Effects in RCTs. Среди соавторов — Эстер Дюфло. В практической части статьи анализируются результаты рандомизированного полевого эксперимента в Индии, посвященного оценке различных наджей, направленных на стимулирование вакцинации. 🕥 Начнется семинар в 22:30 по московскому времени, для участия организаторы просят зарегистрироваться.
🔶 14-16 октября (четверг-суббота) — трехдневный учебный семинар от Pedro H. C. Sant’Anna (Vanderbilt University, Microsoft) по классическим и современным методам Difference in Differences. Курс платный и стоит довольно дорого ($895), но при серьезном подходе может оказаться очень полезным. Тем более, Pedro H. C. Sant’Anna — один из соучастников новой волны теоретических и прикладных работ, развивающих Difference in Differences.
🔶 28-30 октября (четверг-суббота) — еще один трехдневный учебный семинар, но теперь по разрывному дизайну от Rocío Titiunik (Princeton University). Каждый, кто хоть раз приближался к разрывному дизайну, точно знаком с теоретическими работами и мануалами Rocío и ее сооавторов. Семинар тоже платный ($895), будут рассмотрены стандартные и продвинутые методы RDD.
🔶 7, 9, 14, 16, 21 декабря — интенсив по A/B-экспериментам и тестированию от одного из лидеров консалтинга на российском рынке проведения онлайн- и оффлайн-экспериментов — компании EXPF. В базовой версии курс стоит 25 тыс. рублей, с домашками и доступом к закрытым микросервисам — 32 000 тыс. рублей.
#causalinference #rdd #did #abtesting
Отличная лекция Евгения Яковлева про доказательную политику и causal inference. Видеозапись и презентация — по ссылке.
Forwarded from Российская экономическая школа
Данные рассудят: как оценить реальный экономический результат
Все чаще можно услышать термин «доказательная политика», который обозначает процесс принятия политических решений на основании результатов научных исследований. Часто этим занимаются именно экономисты-эмпирики: они, используя доступные данные, проверяют теоретические модели и оценивают эффекты политических инициатив. Подробнее о том, как экономисты анализируют политические меры, а также о том, какие выводы уже удалось сделать об эффекте программы материнского капитала или миграционной политики, вы можете узнать из лекции Евгения Яковлева, профессора РЭШ, именного профессора Благотворительного фонда «САФМАР». Мы публикуем основные тезисы.
Все чаще можно услышать термин «доказательная политика», который обозначает процесс принятия политических решений на основании результатов научных исследований. Часто этим занимаются именно экономисты-эмпирики: они, используя доступные данные, проверяют теоретические модели и оценивают эффекты политических инициатив. Подробнее о том, как экономисты анализируют политические меры, а также о том, какие выводы уже удалось сделать об эффекте программы материнского капитала или миграционной политики, вы можете узнать из лекции Евгения Яковлева, профессора РЭШ, именного профессора Благотворительного фонда «САФМАР». Мы публикуем основные тезисы.
guru.nes.ru
Когда классические экономические модели не работают и могут ли всех рассудить данные: конспект лекции Евгения Яковлева
Forwarded from Econ. Growth Channel
⚡️Премию по экономике памяти Нобеля 2021 года получают Дэвид Кард «за эмпирический вклад в экономику труда», и Джошуа Ангрист и Гвидо Имбенс «за методологический вклад в анализ причинно-следственных связей»
Forwarded from The Moscow Times. Мнения
Как в экономике произошла революция достоверности
Как найти причину явления – это ключевой вопрос экономических исследований. Поэтому не случайно Нобелевскую премию уже не первый раз получают экономисты за поиск ответа на этот вопрос.
О том, как экономисты постепенно учились отделять корреляции от причинно-следственных связей, в колонке для VPost пишут Георгий Калашнов, преподаватель экономического факультета МГУ, и Витовт Копыток, который возглавляет направление «Данные для исследований» в Центре перспективных управленческих решений. Долгий путь привел экономическую мысль к выводу, что чем проще проверить гипотезу, тем она надежнее. Именно в проверке предположений – доступной и понятной – скрывается достоверность. Прочитайте колонку и многое узнаете про современную доказательную экономику.
Как найти причину явления – это ключевой вопрос экономических исследований. Поэтому не случайно Нобелевскую премию уже не первый раз получают экономисты за поиск ответа на этот вопрос.
О том, как экономисты постепенно учились отделять корреляции от причинно-следственных связей, в колонке для VPost пишут Георгий Калашнов, преподаватель экономического факультета МГУ, и Витовт Копыток, который возглавляет направление «Данные для исследований» в Центре перспективных управленческих решений. Долгий путь привел экономическую мысль к выводу, что чем проще проверить гипотезу, тем она надежнее. Именно в проверке предположений – доступной и понятной – скрывается достоверность. Прочитайте колонку и многое узнаете про современную доказательную экономику.
Telegraph
Как в экономике произошла революция достоверности
Авторы – преподаватель кафедры прикладной институциональной экономики экономического факультета МГУ руководитель проектного направления «Данные для исследований» Центра перспективных управленческих решений
Ещё несколько материалов про нобелевку по экономике.
Forwarded from Экономический Кадат
Константин Сонин на N+1
Максим Ананьев на Тайга.инфо
Экономический твиттер всерьез:
Arthur Netto рассказывает про свою диссертацию "Experiments in the Armchair: A History of Microeconometrics and Program Evaluation at Princeton", посвященную Ашенфельтеру и его студентам (среди которых как раз Кард и Ангрист).
Arin Dube сразу с двумя тредами
- о вкладе Карда и Крюгера в экономику труда
- о критике статьи Карда и Крюгера о МРОТ
Тред про разницу между двумя сторонами (эмпирической и методологической) приза
Социолог отвечает на вопрос о влиянии революции достоверности на роль экономики (особенно "мейнстримной") в экономической политике
А другой социолог - Kieran Healy отмечает, что теперь экономисты совсем зазнаются
Еще любопытная история от Криса Блаттмана (очень в духе Криса Блаттмана):
Оказавшись с Дэвидом Кардом в лифте они разговорились о диссертации Криса, он сказал что "делает статью в стиле Ангриста о влиянии призыва на человеческий капитал, но на данных о детях-солдатах в Уганде". Кард удивленно спросил, а кто ему предоставил такие данные и Крис ошарашил его ответом что просто сам Крис во время войны провёл этот опрос.
И не очень всерьез:
Аустан Гулсби вспомнил историю про Ангриста - для одной своей статьи Ангрист решил подработать водителем в "Убере" и задавал пассажирам столько вопросов что ему за это снижали рейтинг.
Также обсуждают довольно эпатажную цитату из статьи Ангриста (он вообще колоритный, то в парике лекцию сядет читать, то видео по эконометрике превратит в вечер фанатов кун-фу Дэвида Кэррадайна)
А в одном эконометрическом журнале пришлось угнать твиттер-аккаунт, чтобы поздравить редактора
Два значимых экономических журналиста:
Noah Smith начинает за здравие (и местами очень подробно про вещи, которые другие не так подробно описывают), а заканчивает как всегда, в одном предложении говорит про "An alternative technique is the randomized controlled trial, where economists actually use the real world as a sort of policy laboratory" а в следующим обзывает их "квази-экспериментами".
А Tim Harford хорошо замечает, что фраза про "корреляция не равно причинность", хотя и верна, сама по себе не помогает находить ответы на важные общественные вопросы, а вклад лауреатов именно в попытке конструктивного ответа
И прочие источники:
National Public Radio (у них очень хороший популярный подкаст про экономику - Planet Money)
Council of Economic Advisers (экономические советники Белого Дома) тоже поздравляет (а в комментах Колин Камерер замечает, что хотя все трое лауреатов US-based, один родился в Канаде, другой в Нидерландах, а третий, родившись в США, служил парашютистом в Армии Израиля)
Кругман в NYTimes примерно с тем же тезисом про политическую пользу, что и в твиттере до того
Scott Kominers в Блумберге
Andrew Gelman в своем блоге
Максим Ананьев на Тайга.инфо
Экономический твиттер всерьез:
Arthur Netto рассказывает про свою диссертацию "Experiments in the Armchair: A History of Microeconometrics and Program Evaluation at Princeton", посвященную Ашенфельтеру и его студентам (среди которых как раз Кард и Ангрист).
Arin Dube сразу с двумя тредами
- о вкладе Карда и Крюгера в экономику труда
- о критике статьи Карда и Крюгера о МРОТ
Тред про разницу между двумя сторонами (эмпирической и методологической) приза
Социолог отвечает на вопрос о влиянии революции достоверности на роль экономики (особенно "мейнстримной") в экономической политике
А другой социолог - Kieran Healy отмечает, что теперь экономисты совсем зазнаются
Еще любопытная история от Криса Блаттмана (очень в духе Криса Блаттмана):
Оказавшись с Дэвидом Кардом в лифте они разговорились о диссертации Криса, он сказал что "делает статью в стиле Ангриста о влиянии призыва на человеческий капитал, но на данных о детях-солдатах в Уганде". Кард удивленно спросил, а кто ему предоставил такие данные и Крис ошарашил его ответом что просто сам Крис во время войны провёл этот опрос.
И не очень всерьез:
Аустан Гулсби вспомнил историю про Ангриста - для одной своей статьи Ангрист решил подработать водителем в "Убере" и задавал пассажирам столько вопросов что ему за это снижали рейтинг.
Также обсуждают довольно эпатажную цитату из статьи Ангриста (он вообще колоритный, то в парике лекцию сядет читать, то видео по эконометрике превратит в вечер фанатов кун-фу Дэвида Кэррадайна)
А в одном эконометрическом журнале пришлось угнать твиттер-аккаунт, чтобы поздравить редактора
Два значимых экономических журналиста:
Noah Smith начинает за здравие (и местами очень подробно про вещи, которые другие не так подробно описывают), а заканчивает как всегда, в одном предложении говорит про "An alternative technique is the randomized controlled trial, where economists actually use the real world as a sort of policy laboratory" а в следующим обзывает их "квази-экспериментами".
А Tim Harford хорошо замечает, что фраза про "корреляция не равно причинность", хотя и верна, сама по себе не помогает находить ответы на важные общественные вопросы, а вклад лауреатов именно в попытке конструктивного ответа
И прочие источники:
National Public Radio (у них очень хороший популярный подкаст про экономику - Planet Money)
Council of Economic Advisers (экономические советники Белого Дома) тоже поздравляет (а в комментах Колин Камерер замечает, что хотя все трое лауреатов US-based, один родился в Канаде, другой в Нидерландах, а третий, родившись в США, служил парашютистом в Армии Израиля)
Кругман в NYTimes примерно с тем же тезисом про политическую пользу, что и в твиттере до того
Scott Kominers в Блумберге
Andrew Gelman в своем блоге
Опять про нобелевскую премию, но в этот раз с картинками 🌁