Что сделать экономисту, чтобы ему поверили?

Чтобы решить проблему, например, повысить занятость, надо понять, какие факторы мешают людям успешно трудоустроиться. До так называемой революции достоверности в экономике специалисты искали решения с помощью интуиции и грубых предположений. Однако этот подход не всегда позволял верно взглянуть на ситуацию, найти её реальные причины и, соответственно, предложить эффективное решение.

Эконометристы Дэвид Кард, Хидо Имбенс и Джошуа Энгрист придумали, как сделать экономические исследования более достоверными, и получили за это Нобелевскую премию. Подробнее об их заслугах и революции достоверности в экономике рассказывают преподаватель экономического факультета МГУ Георгий Калашнов и руководитель проектного направления «‎Данные для исследований» ЦПУР Витовт Копыток в новой колонке.

ВОРКШОПЫ ОТ СКОТТА КАННИНГЕМА И CHAMBERLAIN SEMINAR С ДМИТРИЕМ АРХАНГЕЛЬСКИМ

🔸 Отличные новости для всех поклонников учебника по методам выявления причинно-следственных эффектов от Скотта Каннингема: пару дней назад он анонсировал, что с 2022 года будет проводить платные, но не очень дорогие семинары по Causal Inference и современным методам Difference in Differences и Syntetic Control. Чтобы не пропустить воркшопы, можно подписаться на рассылку, заполнив гугл-форму.

🔸 А в ближайшую пятницу (22 октября) в 19:00 МСК выпускник МГУ и РЭШ Дмитрий Архангельский (сейчас работает в CEMFI) на очередном Chamberlain Online Seminar in Econometrics расскажет про работу «On Policy Evaluation with Aggregate Time-Series Shocks» (в соавторстве с еще одним русскоязычным исследователем Василием Коровкиным). Зарегистрироваться и получить ссылку на zoom можно по ссылке.

КУРС ДМИТРИЯ АРХАНГЕЛЬСКОГО ПО ЭКСПЕРИМЕНТАЛЬНОМУ АНАЛИЗУ

На лендинге Центра перспективных управленческих решений по доказательной политике размещен курс лекций Дмитрия Архангельского (CEMFI) по экспериментальному анализу, который он прочитал летом на экономическом факультете МГУ.

🔹 В первой лекции (A/B тесты) разобрана базовая модель эксперимента, а также рассмотрены решения проблемы несбалансированности контрольной и экспериментальной групп.

🔹 Во второй лекции (Внешние эффекты) разобраны дизайны экспериментов, в которых не соблюдается ключевое предположение о стабильности воздействия (SUTVA), и на группы участников влияют различные внешние эффекты.

🔹 В третьей лекции (Адаптивные эксперименты) рассматриваются эксперименты, в которых дизайн эксперимента адаптируется к наблюдаемым данным.

🔹В четвертой лекции (Динамические эксперименты) разобраны эксперименты, результат которых может зависеть не только от недавнего воздействия, но и от предыдущих.

Ссылки на презентации лекций размещены в описаниях к видео. Силлабус курса доступен по ссылке.

Есть два способа интерпретации разрывного дизайна. Из них вытекают разные предположения, на основе которых мы оцениваем эффекты. Первый — фреймворк непрерывности: средние потенциальные исходы являются непрерывными функциями от переменной участия в точке разрыва. Второй — фреймворк локальной рандомизации: вблизи точки разрыва наблюдения распределяются практически случайно.

Подробнее — в материале по ссылке.

https://telegra.ph/Dva-vzglyada-na-razryvnyj-dizajn-10-26

Говорить об эконометрических методах и анализе причинно-следственных связей на русском сложно и даже длинно: устоявшейся терминологии нет, возникает путаница с интерпретацией. В 2007-2014 в отличном русскоязычном журнале по эконометрике «Квантиль», который, к сожалению, уже два года как перестал выходить, была опубликована серия статей, в которых были предложены переводы терминов и разобрана их интерпретация:

🔹 Первая часть: про dummy, sample, population, score и inference.
🔹 Вторая часть: про skewness, significance level, confidence level, hazard, proxy.
🔹 Третья часть: про estimator и estimation, quantile, eigenvalue, marginal, smoothing, bandwidth, time-domain.

Число подписчиков канала пробило сотню (спасибо вам за интерес). Пора закрывать доказательные пробелы. Пока что не своими силами, а с помощью наших более опытных коллег. В этой подборке рассмотрим два исследования на российских данных, которые вышли в 2021 году.

🏭 Белёв С.Г., Ветеринаров В.В., Сучкова О.В. Территории опережающего развития и производительность в российских городах. Экономический журнал ВШЭ.

Оцениваемая политика: создание территорий опережающего развития в моногородах с льготными условиями для бизнеса.
Что доказали? Прирост общей факторной производительности в моногородах после присвоения статуса территории опережающего развития (со специальными условиями для предпринимателей) в 2017-2018 гг. оказывается на 32 процентных пункта выше, чем в похожих городах без такого статуса. А прирост добавленной стоимости — на 36 процентных пункта выше. Основной источник роста — рост производительности компаний, которые существовали до создания ТОР. Оценка проводилась при помощи сопоставления городов на основе мер склонности (Propensity Score Matching) — для каждого моногорода с ТОР подбирались похожие по характеристикам города без ТОР.

💊 Khvan M., Yakovlev E. Death Toll of Price Limits and Protectionism in the Russian Pharmaceutical Market. SSRN. Колонка от авторов в Новой Газете — по ссылке.

Оцениваемая политика: ограничение цен на лекарства из списка жизненно необходимых и протекционистские меры.
Что доказали? Установление верхнего лимита цен на лекарства и протекционистские меры в закупках привели к существенному росту смертности (на десятки процентов) от заболеваний, для лечения которых используются лекарства, попавшие под регулирование. Оценка проводилась с помощью метода «‎разность разностей» (Difference in Differences). Сравнивалось изменение смертности для двух групп причин и болезней: тех, на которые регулирование сильно повлияло (например, диабет или рак крови), и тех, на которых регулирование почти не сказалось. Чем большую роль играет медикаментозное лечение, тем выше негативный эффект. Также негативный эффект от государственной политики сильнее для пожилых людей, сельской местности и регионов, в которых аукционы по закупке лекарств отменяются чаще.

Это исследование демонстрирует, что доказательная политика — это не всегда красиво. Иногда исследования на данных показывают, что государственное регулирование в какой-то области оказалось полностью провальным, и даже стоило большого числа человеческих жизней. Хорошо, если у тех, кто принимает решения, находятся силы это признать.

Использование методов причинно-следственного вывода в большей степени ассоциируются со Stata и R. Однако если вас интересует доступный и подробный гайд по использованию методов причинно-следственного вывода в Python, то советуем обратить внимание на книгу Matheus Alves «Causal Inference for The Brave and True».

Из достоинств этой книги можем отметить ее практический характер: содержащийся в ней материал и код изложены достаточно понятно и лаконично. Что касается недостатков, то некоторая скупость изложения с лихвой компенсируется его последовательностью и наглядностью. Наконец, эта книга представляет собой наиболее полный источник мемов по методам причинного-следственного вывода из известных авторам. Уже одно это заставляет обратить внимание на книгу.

В продолжение темы использования методов причинно-следсвенных связей с использованием Python также может быть интересным курс Бруно Гонсалвеса (экс-исследователя Центра науки о данных Нью-Йорка) на основе книги выдающегося Джуда Перла - создателя математического аппарата байесовских сетей и математической базы вероятностного вывода - Causal Inference in Statistics (доступная реплика книги).

Курс доступен по ссылке.

Вводим новую рубрику #скоттнампишет. Скотт Каннингем, автор учебника Causal Inference: The Mixtape, в своём блоге начал серию публикаций про метод синтетического контроля (Synthetic Control).

В первой серии:
🔹 история метода
🔹 личности тех, кто создавал метод
🔹 отрицательные веса и практика обходиться неотрицательными весами в синтетическом контроле
🔹 преимущества метода

Для тех, кто не очень хорошо знаком с синтетическим контролем, самое время начать разбираться. Скотт пишет доступно и подробно, да и в целом его интересно читать.

Источник иллюстрации: Abadie, A., A. Diamond, and J. Hainmueller. (2010). Synthetic Control Methods for Comparative Case Studies:Estimating the Effect of California’s Tobacco Control Program. Journal of the American Statistical Association, 105: 493-505.

📄 Вчера обновились основы госполитики РФ в сфере стратегического планирования. Доказательные подходы не фигурируют как компоненты основ: институционально документ в большей степени остается на уровне концепции New Public Management, фокусируя систему госпланирования преимущественно на достижение показателей и индикаторов, а не на итоговые эффекты. Даже научно-методическое обеспечение планирования (реализуемое согласно документу по дефолту РАН) направлено не на развитие методов выявления причинно-следственных связей, а на «развитие методологии индикативного планирования».

💻 Однако видно, что происходит «разворот» в сторону принятия решений на данных: «внедрение в практику стратегического планирования методов моделирования, <…> обработки больших данных», «развитие технологических возможностей обработки больших данных» для принятия управленческих решений, «моделирование последствий принятия управленческих решений с использованием ИИ и методов математического моделирования».

🏛 Россия в части институционализации доказательной политики сильно запаздывает от международного опыта. Про доказательную политику и ее инфраструктуру в развитых странах – в наших следующих постах.

PS: в канале небольшие изменения – начиная с этого поста, у нас появляется возможность обсуждения контента в общем чате канала 💬.

#ebpm #institutions #governance

🟡 Сегодня в 16:00 — вторая встреча Клуба экономической политики Вышки. На ней выступит Ален Паке, профессор экономики в Школе менеджмента Квебекского университета в Монреале (ESG-UQAM) с докладом «Опыт ученого в разработке и реализации макроэкономической политики: примеры и уроки».

Из аннотации:

«В докладе обсуждаются примеры и уроки использования теоретической и эмпирической макроэкономики для решения практических вопросов  в области экономической политики на основе личного опыта  академического экономиста и политика  (с 2003 по 2012 год профессор Паке был членом правительства и одним из главных советников премьер-министра Квебека)»‎.

Регистрация по ссылке.

Ещё один анонс — в пятницу и субботу состоится первый международный воркшоп «Прикладные исследования в области экономики труда и человеческого капитала». Выбрали несколько интересных докладов с оценкой эффектов на российских данных:

🔹 Пятница, 13:00-14:00. Рубен Ениколопов (РЭШ). Divided We Stay Home: Social Distancing and Ethnic Diversity.

По этой ссылке размещена working paper. В статье рассматривается, как этническое разнообразие в российских городах влияло на социальное дистанцирование. В качестве эмпирической стратегии для оценки выбран метод разности разностей (Difference in Differences): сопоставляются города с высоким и низким уровнями этнического разнообразия до и после первого зарегистрированного случая заболевания коронавирусом.

🔹 Пятница, 15:40-16:10. Alina Malkova (University of Missouri). The Impact of Formal and Informal Credit Institutions on Entrepreneurship.

К сожалению на сайте конференции отсутствуют аннотации, но похоже, что доклад основан на этой статье. С помощью данных РМЭЗ авторы показывают, что ослабление условий получения кредита повышает вероятность перехода работников из неформальной занятости в формальную. Для оценки используется мультиномиальная логистическая регрессия.

🔹Суббота, 13:20-13:50. Anna Pestova (MGIMO University, CERGE-EI). Childcare Provision and Female Labor Supply in Russia: Evidence from Household Survey Data.

Препринт нашли по этой ссылке. Авторы оценивают, как доступность инфраструктуры ухода за детьми (детских садов и ясельных групп) на уровне муниципалитетов влияет на занятость и участие в рабочей силе женщин с детьми в возрасте от 0 до 2 лет. Эмпирическая стратегия — снова разность разностей: в качестве контрольной группы выступают или бездетные женщины или женщины, у которых есть хотя бы один ребенок старше трех лет, или женщины, у которых есть хотя бы один ребенок старше шести лет. Оценки получены на данных РМЭЗ. Дополнительно авторы получили информацию о конкретных 36 муниципалитетах, в которых проводится обследование, и связали данные РМЭЗ с данными об инфраструктуре муниципальных образований.

Наши коллеги из Счетной палаты пишут про роль экспертного интервью в оценке.

Экспертные интервью часто используются в оценке госпрограмм и анализе госполитик. Это и быстрый способ разобраться в предмете, и порой возможность получить необходимый доступ в исследовательское поле. Корректная работа ведомств с экспертами - один из ключевых элементов доказательной политики.

В зависимости от целей экспертные интервью могут различными:

1) Разведывательное экспертное интервью для вхождения в новую проблематику, тему (это подготовительный этап анализа)

2) Систематизирующее экспертное интервью - получение от эксперта фактов и информации с целью систематизировать уже имеющиеся данные.

3) "Генерирующее теорию" экспертное интервью - реконструкция представлений эксперта, приводящих его или её к тому или иному выводу.

Есть и другая классификация. В её основе - различные подходы к определению экспертов.

Первый тип экспертов — эксперты как носители знаний о проблеме. Яркий пример таких экспертов — представители академического сообщества, эксперты-ученые. Они особенно полезны в рамках систематизирующих экспертных интервью, потому что обладают обширными фактологическими знаниями о проблеме.

Второй тип экспертов — это эксперты опыта. Такие эксперты обладают специализированным знанием о социальном контексте анализируемого феномена, потому что непосредственно погружены в него, обладают необходимым опытом работы. Например, при исследовании доступности городской среды экспертами опыта могут быть люди с инвалидностью. Подбор таких экспертов также может опираться на формальные критерии, но в большей степени - это традиционный поиск информантов в качественном поле.

https://telegra.ph/EHkspertnye-intervyu-kak-issledovatelskij-metod-11-15

Скотт Каннингем объявил даты новой серии курсов по анализу причинно-следственных связей:

🔸 14, 15, 21, 22, 28 января — 5-дневный общий курс по Causal Inference: про модель потенциальных исходов, DAG, разрывный дизайн, инструментальные переменные, разность в разностях и синтетический контроль. Планируется большое количество практических занятий.

🔸 18, 19, 25 февраля — 3-дневный курс по методу разность разностей, включая разбор новаций последних двух лет.

Чуть позже планируется запуск курса по методу инструментальных переменных.

Обычная стоимость каждого из курсов — 595 долларов, но для студентов, а также слушателей из развивающихся стран доступна специальная цена — 50 долларов за курс. Чтобы получить скидку, нужно отправить запрос на почту causalinf@mixtape.consulting. Мы проверили — все работает, для слушателей из России доступны специальные цены👌

#скоттнампишет

Часто исследовательские возможности оказываются ограничены доступными вычислительными мощностями. Это может быть недостаток оперативной памяти для открытия большого датасета или хранения промежуточных результатов вычислений, нехватка мощности процессора, чтобы вычисления заняли обозримый промежуток времени, или необходимость параллельно использовать компьютер для решения других задач. В этом посте мы расскажем, как использовать возможности облачных вычислений, чтобы временно получить доступ к мощному железу, не покупая его навсегда.

Подробнее — в материале по ссылке.

Завтра и послезавтра пройдет 49 научная конференция РЭШ. С программой можно познакомиться по ссылке.

🔶 18 ноября на сессии с 15:50 до 16:50 выступит Евгений Яковлев с рассказом об оценке влияния политики ограничения цен на лекарства на смертность, о которой мы писали раньше.

Завтра и послезавтра РЭШ проводит 49-ю NES Research Conference.

В четверг на ней выступят Рубен Ениколопов, Евгений Яковлев, Константин Сонин и другие эксперты. Среди спикеров в пятницу — Андрей Маркевич, Олег Шибанов, Сергей Ковбасюк и другие.

Присоединяйтесь к трансляции на YouTube по ссылкам:
▶️ 18 ноября
▶️ 19 ноября