Число подписчиков канала пробило сотню (спасибо вам за интерес). Пора закрывать доказательные пробелы. Пока что не своими силами, а с помощью наших более опытных коллег. В этой подборке рассмотрим два исследования на российских данных, которые вышли в 2021 году.

🏭 Белёв С.Г., Ветеринаров В.В., Сучкова О.В. Территории опережающего развития и производительность в российских городах. Экономический журнал ВШЭ.

Оцениваемая политика: создание территорий опережающего развития в моногородах с льготными условиями для бизнеса.
Что доказали? Прирост общей факторной производительности в моногородах после присвоения статуса территории опережающего развития (со специальными условиями для предпринимателей) в 2017-2018 гг. оказывается на 32 процентных пункта выше, чем в похожих городах без такого статуса. А прирост добавленной стоимости — на 36 процентных пункта выше. Основной источник роста — рост производительности компаний, которые существовали до создания ТОР. Оценка проводилась при помощи сопоставления городов на основе мер склонности (Propensity Score Matching) — для каждого моногорода с ТОР подбирались похожие по характеристикам города без ТОР.

💊 Khvan M., Yakovlev E. Death Toll of Price Limits and Protectionism in the Russian Pharmaceutical Market. SSRN. Колонка от авторов в Новой Газете — по ссылке.

Оцениваемая политика: ограничение цен на лекарства из списка жизненно необходимых и протекционистские меры.
Что доказали? Установление верхнего лимита цен на лекарства и протекционистские меры в закупках привели к существенному росту смертности (на десятки процентов) от заболеваний, для лечения которых используются лекарства, попавшие под регулирование. Оценка проводилась с помощью метода «‎разность разностей» (Difference in Differences). Сравнивалось изменение смертности для двух групп причин и болезней: тех, на которые регулирование сильно повлияло (например, диабет или рак крови), и тех, на которых регулирование почти не сказалось. Чем большую роль играет медикаментозное лечение, тем выше негативный эффект. Также негативный эффект от государственной политики сильнее для пожилых людей, сельской местности и регионов, в которых аукционы по закупке лекарств отменяются чаще.

Это исследование демонстрирует, что доказательная политика — это не всегда красиво. Иногда исследования на данных показывают, что государственное регулирование в какой-то области оказалось полностью провальным, и даже стоило большого числа человеческих жизней. Хорошо, если у тех, кто принимает решения, находятся силы это признать.

Использование методов причинно-следственного вывода в большей степени ассоциируются со Stata и R. Однако если вас интересует доступный и подробный гайд по использованию методов причинно-следственного вывода в Python, то советуем обратить внимание на книгу Matheus Alves «Causal Inference for The Brave and True».

Из достоинств этой книги можем отметить ее практический характер: содержащийся в ней материал и код изложены достаточно понятно и лаконично. Что касается недостатков, то некоторая скупость изложения с лихвой компенсируется его последовательностью и наглядностью. Наконец, эта книга представляет собой наиболее полный источник мемов по методам причинного-следственного вывода из известных авторам. Уже одно это заставляет обратить внимание на книгу.

В продолжение темы использования методов причинно-следсвенных связей с использованием Python также может быть интересным курс Бруно Гонсалвеса (экс-исследователя Центра науки о данных Нью-Йорка) на основе книги выдающегося Джуда Перла - создателя математического аппарата байесовских сетей и математической базы вероятностного вывода - Causal Inference in Statistics (доступная реплика книги).

Курс доступен по ссылке.

Вводим новую рубрику #скоттнампишет. Скотт Каннингем, автор учебника Causal Inference: The Mixtape, в своём блоге начал серию публикаций про метод синтетического контроля (Synthetic Control).

В первой серии:
🔹 история метода
🔹 личности тех, кто создавал метод
🔹 отрицательные веса и практика обходиться неотрицательными весами в синтетическом контроле
🔹 преимущества метода

Для тех, кто не очень хорошо знаком с синтетическим контролем, самое время начать разбираться. Скотт пишет доступно и подробно, да и в целом его интересно читать.

Источник иллюстрации: Abadie, A., A. Diamond, and J. Hainmueller. (2010). Synthetic Control Methods for Comparative Case Studies:Estimating the Effect of California’s Tobacco Control Program. Journal of the American Statistical Association, 105: 493-505.

📄 Вчера обновились основы госполитики РФ в сфере стратегического планирования. Доказательные подходы не фигурируют как компоненты основ: институционально документ в большей степени остается на уровне концепции New Public Management, фокусируя систему госпланирования преимущественно на достижение показателей и индикаторов, а не на итоговые эффекты. Даже научно-методическое обеспечение планирования (реализуемое согласно документу по дефолту РАН) направлено не на развитие методов выявления причинно-следственных связей, а на «развитие методологии индикативного планирования».

💻 Однако видно, что происходит «разворот» в сторону принятия решений на данных: «внедрение в практику стратегического планирования методов моделирования, <…> обработки больших данных», «развитие технологических возможностей обработки больших данных» для принятия управленческих решений, «моделирование последствий принятия управленческих решений с использованием ИИ и методов математического моделирования».

🏛 Россия в части институционализации доказательной политики сильно запаздывает от международного опыта. Про доказательную политику и ее инфраструктуру в развитых странах – в наших следующих постах.

PS: в канале небольшие изменения – начиная с этого поста, у нас появляется возможность обсуждения контента в общем чате канала 💬.

#ebpm #institutions #governance

🟡 Сегодня в 16:00 — вторая встреча Клуба экономической политики Вышки. На ней выступит Ален Паке, профессор экономики в Школе менеджмента Квебекского университета в Монреале (ESG-UQAM) с докладом «Опыт ученого в разработке и реализации макроэкономической политики: примеры и уроки».

Из аннотации:

«В докладе обсуждаются примеры и уроки использования теоретической и эмпирической макроэкономики для решения практических вопросов  в области экономической политики на основе личного опыта  академического экономиста и политика  (с 2003 по 2012 год профессор Паке был членом правительства и одним из главных советников премьер-министра Квебека)»‎.

Регистрация по ссылке.

Ещё один анонс — в пятницу и субботу состоится первый международный воркшоп «Прикладные исследования в области экономики труда и человеческого капитала». Выбрали несколько интересных докладов с оценкой эффектов на российских данных:

🔹 Пятница, 13:00-14:00. Рубен Ениколопов (РЭШ). Divided We Stay Home: Social Distancing and Ethnic Diversity.

По этой ссылке размещена working paper. В статье рассматривается, как этническое разнообразие в российских городах влияло на социальное дистанцирование. В качестве эмпирической стратегии для оценки выбран метод разности разностей (Difference in Differences): сопоставляются города с высоким и низким уровнями этнического разнообразия до и после первого зарегистрированного случая заболевания коронавирусом.

🔹 Пятница, 15:40-16:10. Alina Malkova (University of Missouri). The Impact of Formal and Informal Credit Institutions on Entrepreneurship.

К сожалению на сайте конференции отсутствуют аннотации, но похоже, что доклад основан на этой статье. С помощью данных РМЭЗ авторы показывают, что ослабление условий получения кредита повышает вероятность перехода работников из неформальной занятости в формальную. Для оценки используется мультиномиальная логистическая регрессия.

🔹Суббота, 13:20-13:50. Anna Pestova (MGIMO University, CERGE-EI). Childcare Provision and Female Labor Supply in Russia: Evidence from Household Survey Data.

Препринт нашли по этой ссылке. Авторы оценивают, как доступность инфраструктуры ухода за детьми (детских садов и ясельных групп) на уровне муниципалитетов влияет на занятость и участие в рабочей силе женщин с детьми в возрасте от 0 до 2 лет. Эмпирическая стратегия — снова разность разностей: в качестве контрольной группы выступают или бездетные женщины или женщины, у которых есть хотя бы один ребенок старше трех лет, или женщины, у которых есть хотя бы один ребенок старше шести лет. Оценки получены на данных РМЭЗ. Дополнительно авторы получили информацию о конкретных 36 муниципалитетах, в которых проводится обследование, и связали данные РМЭЗ с данными об инфраструктуре муниципальных образований.

Наши коллеги из Счетной палаты пишут про роль экспертного интервью в оценке.

Экспертные интервью часто используются в оценке госпрограмм и анализе госполитик. Это и быстрый способ разобраться в предмете, и порой возможность получить необходимый доступ в исследовательское поле. Корректная работа ведомств с экспертами - один из ключевых элементов доказательной политики.

В зависимости от целей экспертные интервью могут различными:

1) Разведывательное экспертное интервью для вхождения в новую проблематику, тему (это подготовительный этап анализа)

2) Систематизирующее экспертное интервью - получение от эксперта фактов и информации с целью систематизировать уже имеющиеся данные.

3) "Генерирующее теорию" экспертное интервью - реконструкция представлений эксперта, приводящих его или её к тому или иному выводу.

Есть и другая классификация. В её основе - различные подходы к определению экспертов.

Первый тип экспертов — эксперты как носители знаний о проблеме. Яркий пример таких экспертов — представители академического сообщества, эксперты-ученые. Они особенно полезны в рамках систематизирующих экспертных интервью, потому что обладают обширными фактологическими знаниями о проблеме.

Второй тип экспертов — это эксперты опыта. Такие эксперты обладают специализированным знанием о социальном контексте анализируемого феномена, потому что непосредственно погружены в него, обладают необходимым опытом работы. Например, при исследовании доступности городской среды экспертами опыта могут быть люди с инвалидностью. Подбор таких экспертов также может опираться на формальные критерии, но в большей степени - это традиционный поиск информантов в качественном поле.

https://telegra.ph/EHkspertnye-intervyu-kak-issledovatelskij-metod-11-15

Скотт Каннингем объявил даты новой серии курсов по анализу причинно-следственных связей:

🔸 14, 15, 21, 22, 28 января — 5-дневный общий курс по Causal Inference: про модель потенциальных исходов, DAG, разрывный дизайн, инструментальные переменные, разность в разностях и синтетический контроль. Планируется большое количество практических занятий.

🔸 18, 19, 25 февраля — 3-дневный курс по методу разность разностей, включая разбор новаций последних двух лет.

Чуть позже планируется запуск курса по методу инструментальных переменных.

Обычная стоимость каждого из курсов — 595 долларов, но для студентов, а также слушателей из развивающихся стран доступна специальная цена — 50 долларов за курс. Чтобы получить скидку, нужно отправить запрос на почту causalinf@mixtape.consulting. Мы проверили — все работает, для слушателей из России доступны специальные цены👌

#скоттнампишет

Часто исследовательские возможности оказываются ограничены доступными вычислительными мощностями. Это может быть недостаток оперативной памяти для открытия большого датасета или хранения промежуточных результатов вычислений, нехватка мощности процессора, чтобы вычисления заняли обозримый промежуток времени, или необходимость параллельно использовать компьютер для решения других задач. В этом посте мы расскажем, как использовать возможности облачных вычислений, чтобы временно получить доступ к мощному железу, не покупая его навсегда.

Подробнее — в материале по ссылке.

Завтра и послезавтра пройдет 49 научная конференция РЭШ. С программой можно познакомиться по ссылке.

🔶 18 ноября на сессии с 15:50 до 16:50 выступит Евгений Яковлев с рассказом об оценке влияния политики ограничения цен на лекарства на смертность, о которой мы писали раньше.

Завтра и послезавтра РЭШ проводит 49-ю NES Research Conference.

В четверг на ней выступят Рубен Ениколопов, Евгений Яковлев, Константин Сонин и другие эксперты. Среди спикеров в пятницу — Андрей Маркевич, Олег Шибанов, Сергей Ковбасюк и другие.

Присоединяйтесь к трансляции на YouTube по ссылкам:
▶️ 18 ноября
▶️ 19 ноября

Ребята из Opportunity Insights (исследовательская организация на базе Гарвардского университета) публикуют на своем сайте материалы курса «Using Big Data Solve Economic and Social Problems», который представляет собой введение в современную прикладную экономику и не требует предварительных знаний статистики. Среди тем: равенство возможностей, образование, здравоохранение, окружающая среда и правоприменительная практика. В контексте этих тем курс рассматривает основные статистические методы и методы анализа данных, включая регрессионный анализ, причинно-следственные связи (causal inference), квазиэкспериментальные методы и машинное обучение. Opportunity Insights - команда, которая на основе микроданных и административных данных разработала интерактивный «Атлас возможностей», позволяющий оценивать решения в области политики по обеспечению благосостояния населения. Своей миссией Opportunity Insights видят обучение нового поколения исследователей и политических лидеров современным методам анализа для реализации экономических возможностей.

В этот четверг с 17:45 до 19:30 при поддержке ЦПУР Экономический факультет МГУ в рамках празднования 80-летия факультета проведёт панельную дискуссию о доказательной политике в России.

Алексей Кудрин (председатель Счетной палаты), Эльвира Набиуллина (председатель ЦБ) и Александр Аузан (декан экономического факультета МГУ) обсудят:

🔸 что можно сделать для того, чтобы повысить роль научных исследований и результатов анализа данных при разработке новых и оценке уже реализуемых программ и проектов

🔸 какие данные и исследования необходимы для пополнения «банка» эффективных доказанных практик государственного вмешательства в сферах образования, рынка труда, регулирования отраслей и т.д.

🔸 на какие шаги готово пойти исследовательское сообщество в России, а на какие — органы государственной власти.

Модератор дискуссии — генеральный директор ЦПУР Мария Шклярук.

Прямо сейчас можно принять участие в голосовании о необходимых шагах для развития доказательной политики в России.

Голосование проводится в рамках панельной дискуссии «Доказательная политика в России. Как исследования на основе эмпирических данных могут помочь российскому госуправлению?».‎

Чтобы проголосовать, нужно:

🔶 Или перейти по ссылке
🔶 Или открыть сайт menti.com и ввести код 7826 8309

Выборки с микроданными переписей по индивидам и частным домохозяйствам — к новому году для исследователей.

🔶 10 процентов, 2002 год: можно скачать тут
🔶 10 процентов, 2010 год: можно скачать тут
🔷 20 процентов, 2002 год: можно получить доступ тут
🔷 20 процентов, 2010 год: можно получить доступ тут

Главная и наиболее обсуждаемая мера гос. политики минувшего года — кампания вакцинации от коронавируса. Публичные комментаторы в основном сходятся во мнении, что она была неудачной. Почему люди отказываются вакцинироваться и какие факторы это определяют? Сегодня на SSRN был опубликован препринт исследования Яны Рощиной, Сергея Рощина и Ксении Рожковой из Высшей школы экономики, которые на данных РМЭЗ пытаются ответить на эти вопросы. Колонка авторов на русском языке доступна по ссылке.

Данные

В 2020 году в вопросник панельного обследования домохозяйств РМЭЗ (вопросы 194-211 взрослого опросника) был добавлен специальный блок вопросов про коронавирус. Само обследование проводилось с октября 2020 года по январь 2021 года —до старта кампании по вакцинации, поэтому исследование рассматривает намерение респондента вакцинироваться, а не реализацию этого намерения. Кстати, с учетом панельной структуры РМЭЗ, появление данных 30 волны (за 2021 год) позволит проверить еще больше важных гипотез про коронавирус и реакцию государства на него 🧐.

Методы

Вопрос о готовности вакцинироваться («Собираетесь ли Вы пройти вакцинацию от коронавируса, когда она появится?») предполагал пять вариантов ответа («Да, в любом случае», «Да, только если будете уверены в ее безопасности и надежности», «Нет», «Уже переболели коронавирусом и считаете, что вакцинация Вам не нужна», «Уже вакцинировались»). Это определило выбор метода оценки — мультиномиальной логистической регрессии.

Основные результаты

Риск отказа от вакцинации (по сравнению с условным принятием вакцины) ниже для тех, кто живет с пожилыми людьми, имеет высшее или среднее профессионально образование, и не живет в Москве и Санкт-Петербурге. Активное использование социальных сетей повышает риск отказа от вакцинации. Люди с очень плохим или очень хорошим здоровьем (по самооценке) характеризуются более высоким риском отказа от вакцинации. При этом собственный опыт заболевания COVID-19 повышает риск отказа от вакцинации, тогда как аналогичный опыт друзей снижает этот риск. Наконец, люди с высоким общим уровнем доверия и высоким уровнем доверия к государственным институтам более склонны вакцинироваться.

Важность доверия к институтам и государству часто обсуждается в контексте результативности мер гос. политики, принимаемых в период пандемии. Например, летом дискуссию «Public trust and evidence-based policymaking: Lessons from the COVID-19 response» проводил European Policy Centre.

ЧТО ПОСЛУШАТЬ НА ASSA

Ультракороткие описания секций по доказательной политике, доступности данных и оценке причинно-следственных связей

Каждый год в начале января (в этот раз с шестого по девятое) Американская экономическая ассоциация проводит конференцию ASSA (Allied Social Sciences Associations — Объединенные ассоциации социальных наук). В программе — невозможное количество секций (почти шестьсот) по разным предметным направлениям. Мы выбрали секции, посвященные раскрытию данных, доказательной политике и causal inference:

7 января

🔶 Economists Can Influence Policy Decision Makers: Extracting More Meaning from Your Research: академические экономисты про собственный опыт влияния на решения, которые принимают политики

🔶 Machine Learning Methods for Heterogeneous Treatment Effects: машинное обучение для оценки гетерогенных эффектов воздействия (среди спикеров — Виктор Черножуков)

🔶 Using Matched Data to Address Policy Questions: связанные административные данные позволяют отвечать на важные вопросы исследователям по всему миру. Об этом и пойдет речь на секции с примерами на конкретных кейсах.

🔶 Increased Access to Administrative Data for Policy Research: Its Value and How We Get There: в январе 2019 года в США был подписан «Закон об основах доказательной политики» и создан Консультативный комитет по данным для сбора доказательств. В дискуссии с участием членов Комитета и академических исследователей будут обсуждаться необходимые шаги по повышению доступности административных данных, а также вызовы, с которыми сталкиваются ведомства, раскрывающие данные.

9 января

🔶 Econometrics and Data in the 21st Century: Reproducibility and Transparency versus Privacy and Confidentiality: про воспроизводимость и прозрачность результатов исследований на фоне необходимости защиты приватности и конфиденциальности. Среди спикеров — Радж Четти и Джон Фридман из Opportunity Insights, будет затронута тема модной дифференциальной приватности.

🔶 Advances in Difference-in-Differences: три статьи про последние достижения в классическом методе оценки. Особенно внимание — докладу Clement de Chaisemartin и Xavier D'Haultfoeuille (не рискуем переводить имена). Авторы, по сути, расскажут обо всем, что было написано и сделано за последние пару лет в части оценок гетерогенных эффектов воздействия с помощью моделей с фиксированными эффектами.

🔶 From Micro Data to Public Policy: четыре прикладных исследования, которые используют микроданные, чтобы отвечать на важные вопросы государственной политики в разных областях: от поддержки безработных до мобильности.