🟩 Неделя любви к данным… и благодарности их создателям!❤️

В честь недели любви к данным (Love Data Week 2025) мы решили сделать для вас подборку с обзором некоторых отраслевых данных, которые лежат в нашем «хранилище всего интересного» -- да-да, у нас такое есть) 🛒

🌻 Наши коллеги из ИПП ЕУ выложили в открытый доступ несколько интересных наборов данных и алгоритмов:
🧡Недавно ребята выложили данные бухгалтерской отчетности -- если у вас нет доступа к СПАРКу или вы хотите использовать его альтернативу, то вам сюда. А подробнее об этом наборе данных можно будет послушать на семинаре в ближайший четверг
🧡Если вы увлекаетесь исследованиями в области экономики права или давно искали корпус текстов для освоения NLP, то вам может быть интересно поработать с корпусом текстов российского законодательства
🧡Для тех, кто вынужден работать с запутанными структурами владения компаний, коллеги из ЕУ и Сколтеха разработали алгоритм для определения контролирующих владельцев

⚫️➕✅ Как же в признании в любви не рассказать, как можно объединить два прекрасных проекта? - Никак. Поэтому расскажем вам про Если быть точным и Сбериндекс:
🧡Если быть точным обрабатывает данные муниципальной статистики, которые уже можно использовать - там данные аж до 2024 года! Присмотритесь и к другим датасетам проекта, там много интересного
🧡Но границы муниципальных образований изменяются -- тут вам поможет версионный справочник СберИндекса, в котором есть данные по муниципальным образованиям и пространственный слой с границами муниципалитетов

♥️ Любовь к миру рождается из любви к себе ❤️❤️, поэтому расскажем вам и о тех данных, которые собраны нашими ручками и бережно положены в гитхаб:
🧡С дорогими коллегами собрали и обработали данные о ковидных ограничениях и заявках на пособия по безработице (за данные по пособиям отдельно благодарим ЦПУР) -- настоящий кладезь, который при объединении с другими датасетами может дать неиссякаемый источник работ
🧡Два года назад мы собрали и обработали данные о сделках с российскими стартапами -- с ними можно сделать много всего интересного (особенно если вы дополните ее ИНН)

И, конечно, не забывайте ссылаться на авторов, когда используете их данные -- это не просто часть концепции воспроизводимости исследований, форма поддержки авторов и возможность сделать им приятно, но и способ узнать о данных для кого-то еще. Это действительно важно, и даже тема недели любви к данным в этом году - Whose Data Is It, Anyway? 👍

#канал_рекомендует
@causal_channel

📊 Causal Inference для качественных данных

В конце февраля Риккардо Ди Франческо и Джованни Меллаче из Университета Южной Дании опубликовали препринт, где предложили новый подход, позволяющий корректно измерять причинные эффекты в случае качественных (qualitative, категориальных) зависимых переменных - то есть мультиномиальных (multinomial) или порядковых (ordered)

📖 А где до этого возникала проблема?
🟢Часто исследователей интересует, как что-то влияет на качественную переменную (исход представляет собой категорию) - например, уровень удовлетворенности, выбор вида транспорта, уровень образования, диагноз в медицине и т.д.
🟢Стандартно в таких случаях оценивается средний эффект (ATE, ATT, ATnT), но нельзя просто брать разницу между "доволен" и "очень доволен", как если бы это были непрерывные переменные
🟢В этой ситуации исследователям нужно перейти к другому способу измерения зависимой переменной или оценки эффекта

🆕 Что предлагают авторы?
🟢Они вводят Probability Shift (PS) — показатель, отражающий, как воздействие изменяет вероятность попадания в разные категории
🟢Вместо классического усреднения они оценивают, как изменяется распределение вероятностей между группами

🖥 Пакет causalQual
Риккардо Ди Франческо и Джованни Меллаче разработали R-пакет causalQual, который
🟢Адаптирует методы IV, DiD, RDD к категориальным данным
🟢Оценивает Probability Shift вместо средних эффектов

🔗 Исследование: arXiv
🔗 Документация пакета: GitHub

#канал_рекомендует
@causal_channel

💻 Новый практический гайд по difference-in-differences для исследователей

Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)

В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)

🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов

🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression

#канал_обозревает
#канал_рекомендует
@causal_channel

💬 Как делать причинные выводы, если ваши данные — это текст?

Жалобы, интервью, посты, открытые ответы в анкетах — всё это тексты, которые всё чаще становятся объектом анализа в социальных науках (Gentzkow et al., 2019)

📝 Тексты могут играть разные роли в моделях, оценивающих причинно-следственные связи (Feder et al., 2022):
🟤Воздействие (treatment): как формулировка влияет на поведение?
🟤Исход (outcome): как воздействие повлияло на текст? (результат интервенции — это тон, содержание или тема высказывания)
🟤Общая причина (confounder): текст влияет и на воздействие, и на исход

Недавно мы писали о подходе к оценке эффектов воздействия на качественных данных, а как оценить эффект воздействия, если переменная — это текст, а не число?

📍Извлечение переменных из текста и смещение выводов

Авторы работы (Egami et al., 2022) считают, что ключевая проблема идентификации, которая возникает, когда текст нужно агрегировать в интерпретируемую переменную (например, "наличие темы", "эмоциональный тон") — это фундаментальная проблема причинного вывода при наличии скрытых переменных (Fundamental Problem of Causal Inference with Latent Variables)

Если вы извлекли интерпретируемую переменную из текста на тех же данных, где оцениваете её эффект, то:
🟤возникает переобучение
🟤результат зависит от конкретной рандомизации
🟤нарушается условие условной независимости (ignorability)

Чтобы получить валидные оценки, авторы предлагают разделение выборки (sample splitting):
🟤На обучающей выборке (train) извлекать некоторую функцию кодирования текста g (например, topic model)
🟤На тестовой выборке (test) — применить g, оценить эффект (например, разность средних, регрессию)

📍Как реализовать оценку на практике?

В свежей работе (Modarressi et al., 2025) авторы реализуют идеи (Egami et al., 2022) в полноценном алгоритме, когда исход представлен в форме текста

Алгоритм оценки включает три шага:
🟤Тест на наличие эффекта (reverse prediction): можно ли по тексту определить, к тестовой группе или контрольной он относится?
🟤Выделение причинных тем (causal themes): LLM предлагает интерпретируемые шкалы различий между группами (например, «упоминание причинной идентификации»). Темы валидируются экспертами (человеческая разметка) на независимой подвыборке
🟤Оценка полноты (completeness): насколько хорошо эти темы объясняют разницу между группами (аналог коэффициента детерминации)

📍А что, так уже делают? А что? А где?
В недавней статье в Nature исследователи используют причинную модель на текстовых данных и показывают, что негативно окрашенные слова в заголовке новости на 2,3% увеличивали число кликов по ней (Robertson et al., 2023)

А какие посты чаще читаете вы? С положительными словами в заголовке или отрицательными?

#канал_обозревает
@causal_channel

🔧 До сих пор мы практически не писали про одну из самых красивых и творческих областей причинного анализа — инструментальные переменные

🔧 Инструментальные переменные — очень изящный способ поймать эффект там, где провести настоящий эксперимент невозможно. При этом поиск инструментов для идентификации искомого эффекта часто требует сочетания большого везения, мастерства и находчивости исследователя

🖥 Наши коллеги из HSE R Meet Up, на площадке которых в ноябре мы рассказывали про эксперименты, на следующей неделе проводят митап, посвящённый инструментальным переменным (29 апреля, онлайн и очно в Москве)
Особенно мы рекомендуем посетить встречу тем, кто только начинает разбираться в инструментальных переменных

А для более опытных исследователей мы подготовили продвинутый ридинг-лист из свежих публикаций Кирилла Борусяка (UC Berkeley), Питера Халла (Brown University) и Ксавье Жаравеля (London School of Economics):
🟤Quasi-Experimental Shift-Share Research Designs (Review of Economic Studies, 2022) — авторы развивают эконометрический фреймворк для shift-share инструментальных переменных, где идентификация строится на квазислучайном распределении шоков. Они предлагают анализ на уровне шоков вместо стандартного анализа на уровне наблюдений для оценки причинных эффектов​
🟤A Practical Guide to Shift-Share Instruments (Journal of Economic Perspectives, 2025) — руководство для исследователей по применению shift-share инструментов: когда они работают, как их правильно строить и тестировать. Особое внимание уделено различию между идентификацией через шоки и через доли
🟤Design-Based Identification with Formula Instruments: A Review (Econometrics Journal, 2025) — статья обзорно описывает методы идентификации при использовании формульных инструментов, комбинирующих экзогенные шоки и фиксированные характеристики. Авторы показывают, как избежать смещения через контроль ожидаемых значений инструментов и рецентрирование
🟤Optimal Formula Instruments (препринт, апрель 2025) — авторы предлагают метод построения оптимальных инструментов, учитывающий гетерогенное воздействие шоков и устраняющий смещение через рецентрирование

#канал_зовёт
#канал_обозревает
@causal_channel