🎯 Почему взаимосвязи не равны причинности? Разбираем "лестницу причинности" Джудеа Перла 🔍

Вы наверняка слышали об иерархии доказательств (hierarchy of evidence), однако это не единственная попытка систематизировать оценки. Менее известной, но оттого не менее важной является иерархия причинности Джудеа Перла (Pearl, 2009), на которую мы уже ссылались в одном из постов

Когда мы смотрим на данные, возникает главный вопрос: что за ними стоит? Простых наблюдений недостаточно, чтобы находить причины и предсказывать последствия

1️⃣ уровень: взаимосвязь (association)
"X связан с Y?"

Вы заметили, что люди, гуляющие по торговому центру в дождливую погоду, чаще заходят в кафе

🔴Понимаем, какие переменные связаны (корреляция)
🔴Не отвечает на вопросы, связанные с причинными изменениями
🔴Источник данных -- наблюдаемые данные
🔴Этот уровень -- основа, но он недостаточен для принятия решений

2️⃣ уровень: воздействие (intervention)
"Что произойдёт, если я сделаю X?"

Вы решили предложить скидку на горячий шоколад и хотите узнать, увеличит ли это продажи

🔴Изучаем, как одно изменение влияет на другое (причина)
🔴Не позволяет ответить на ретроспективные и контрфактические вопросы
🔴Источник данных -- рандомизированные эксперименты или причинные байесовские сети

3️⃣ уровень: контрфакты (counterfactuals)
"Что бы произошло, если бы X было другим?"

Произошёл бы сбой на производстве, если бы мы установили другой тип оборудования?

🔴Можем рассматривать гипотетические сценарии и делать выводы о том, что было бы, если бы условия изменились
🔴Требует наличия функциональных моделей или структурных уравнений
🔴Это самый сложный, но и самый мощный уровень

⛳ Почему это важно? Без понимания причинности вы рискуете 🥲
🔴Делать выводы на основе ложных причинно-следственных связей (корреляций)
🔴Реагировать на краткосрочные эффекты, не видя общей картины (интервенция)
🔴Не понимать, что именно привело к успеху или провалу (контрфакты)

⛳ Направленность и связность иерархии ✨
🔴Взаимосвязи помогают увидеть паттерны в данных
🔴Интервенции позволяют менять реальность и измерять эффект
🔴Контрфакты дают понимание, почему всё произошло и что можно было бы улучшить
❗️Информация с уровня контрфактов (counterfactuals) может быть использована для ответа на вопросы взаимосвязи (association) и воздействия (intervention)
❗️Однако вопросы воздействия (intervention) невозможно решить только на основе информации о взаимосвязях (association), а контрфакты (counterfactuals) нельзя полностью вывести из данных о воздействии (intervention)

Иерархия причинности помогает структурировать вопросы и выбрать подходящие инструменты анализа -- от простых наблюдений до сложных моделей для контрфактических сценариев

📖 Коротко с концепцией можно ознакомиться в ноутбуке от PyMC Labs* или записке UCLA, но мы, конечно, рекомендуем обратиться к первоисточнику (Pearl, 2009; Pearl, Mackenzie, 2018) или лекции Джудеа Перла

Автор мема Kareem Carr

*Ребята делают много хорошего про байесовость. Если вы хотите впервые познакомиться с байесовостью, то можно начать с лекции выпускника ЭФ МГУ Максима Кочурова, разработчика PyMC тут

#канал_обозревает
@causal_channel

🟩 Неделя любви к данным… и благодарности их создателям!❤️

В честь недели любви к данным (Love Data Week 2025) мы решили сделать для вас подборку с обзором некоторых отраслевых данных, которые лежат в нашем «хранилище всего интересного» -- да-да, у нас такое есть) 🛒

🌻 Наши коллеги из ИПП ЕУ выложили в открытый доступ несколько интересных наборов данных и алгоритмов:
🧡Недавно ребята выложили данные бухгалтерской отчетности -- если у вас нет доступа к СПАРКу или вы хотите использовать его альтернативу, то вам сюда. А подробнее об этом наборе данных можно будет послушать на семинаре в ближайший четверг
🧡Если вы увлекаетесь исследованиями в области экономики права или давно искали корпус текстов для освоения NLP, то вам может быть интересно поработать с корпусом текстов российского законодательства
🧡Для тех, кто вынужден работать с запутанными структурами владения компаний, коллеги из ЕУ и Сколтеха разработали алгоритм для определения контролирующих владельцев

⚫️➕✅ Как же в признании в любви не рассказать, как можно объединить два прекрасных проекта? - Никак. Поэтому расскажем вам про Если быть точным и Сбериндекс:
🧡Если быть точным обрабатывает данные муниципальной статистики, которые уже можно использовать - там данные аж до 2024 года! Присмотритесь и к другим датасетам проекта, там много интересного
🧡Но границы муниципальных образований изменяются -- тут вам поможет версионный справочник СберИндекса, в котором есть данные по муниципальным образованиям и пространственный слой с границами муниципалитетов

♥️ Любовь к миру рождается из любви к себе ❤️❤️, поэтому расскажем вам и о тех данных, которые собраны нашими ручками и бережно положены в гитхаб:
🧡С дорогими коллегами собрали и обработали данные о ковидных ограничениях и заявках на пособия по безработице (за данные по пособиям отдельно благодарим ЦПУР) -- настоящий кладезь, который при объединении с другими датасетами может дать неиссякаемый источник работ
🧡Два года назад мы собрали и обработали данные о сделках с российскими стартапами -- с ними можно сделать много всего интересного (особенно если вы дополните ее ИНН)

И, конечно, не забывайте ссылаться на авторов, когда используете их данные -- это не просто часть концепции воспроизводимости исследований, форма поддержки авторов и возможность сделать им приятно, но и способ узнать о данных для кого-то еще. Это действительно важно, и даже тема недели любви к данным в этом году - Whose Data Is It, Anyway? 👍

#канал_рекомендует
@causal_channel

📊 Causal Inference для качественных данных

В конце февраля Риккардо Ди Франческо и Джованни Меллаче из Университета Южной Дании опубликовали препринт, где предложили новый подход, позволяющий корректно измерять причинные эффекты в случае качественных (qualitative, категориальных) зависимых переменных - то есть мультиномиальных (multinomial) или порядковых (ordered)

📖 А где до этого возникала проблема?
🟢Часто исследователей интересует, как что-то влияет на качественную переменную (исход представляет собой категорию) - например, уровень удовлетворенности, выбор вида транспорта, уровень образования, диагноз в медицине и т.д.
🟢Стандартно в таких случаях оценивается средний эффект (ATE, ATT, ATnT), но нельзя просто брать разницу между "доволен" и "очень доволен", как если бы это были непрерывные переменные
🟢В этой ситуации исследователям нужно перейти к другому способу измерения зависимой переменной или оценки эффекта

🆕 Что предлагают авторы?
🟢Они вводят Probability Shift (PS) — показатель, отражающий, как воздействие изменяет вероятность попадания в разные категории
🟢Вместо классического усреднения они оценивают, как изменяется распределение вероятностей между группами

🖥 Пакет causalQual
Риккардо Ди Франческо и Джованни Меллаче разработали R-пакет causalQual, который
🟢Адаптирует методы IV, DiD, RDD к категориальным данным
🟢Оценивает Probability Shift вместо средних эффектов

🔗 Исследование: arXiv
🔗 Документация пакета: GitHub

#канал_рекомендует
@causal_channel

💻 Новый практический гайд по difference-in-differences для исследователей

Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)

В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)

🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов

🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression

#канал_обозревает
#канал_рекомендует
@causal_channel