🕵️‍♂️ Как найти причину? История развития причинного анализа

Причинно-следственный анализ стал одним из самых мощных инструментов современной науки. Сегодня он лежит в основе доказательной политики и помогает отвечать на вопросы о том, что действительно работает. Но откуда он появился? Давайте разберемся!

⛳ 1. Философские истоки: как всё начиналось?

Идея причинности уходит корнями в философию 🤯 С древних времен люди пытались понять, как одно событие влияет на другое, но систематический подход появился лишь в XVIII-XIX веках

⭐️Дэвид Юм сомневался, что мы можем доказать истинные причинно-следственные связи. Мы видим только последовательность событий, а не сами причины
⭐️Джон Стюарт Милль предложил методы согласия и различия — логические основы для анализа причинности

Эти идеи не были математически формализованы, но задали направление для будущих поколений исследователей

⛳ 2. Начало количественного подхода: статистическая революция XX века

С развитием статистики в начале XX века причинно-следственный анализ стал более строгим и количественным

⭐️Ежи Нейман предложил концепцию потенциальных исходов (potential outcomes). Каждый объект имеет два возможных результата: с воздействием и без него. Однако мы можем наблюдать только один из них. Этот факт носит название фундаментальная проблема причинного вывода (fundamental problem of causal inference)
⭐️Рональд Фишер популяризировал рандомизированные контролируемые эксперименты (Randomized controlled trial, RCT) 🎲 Показал, что случайное назначение групп позволяет устранить предвзятость и определить истинные несмещенные причинные эффекты

Эти идеи стали основой для строгого анализа данных в науке, включая исследования в сельском хозяйстве и медицине

⛳ 3. Революция в социальной науке: роль Принстона в 1970-х годах

В 1970-х годах Принстонский отдел трудовых отношений стал центром инноваций в эмпирической экономике 👍

⭐️Орли Ашенфельтер предложил метод разности разностей (Difference-in-Differences, DiD), который позволяет измерять влияние событий или программ, сравнивая изменения в двух группах — участвующих и не участвующих в программе
⭐️Роберт Лалонд показал, что традиционные методы, такие как обычный метод наименьших квадратов (Ordinary least squares, OLS), не всегда могут выявить истинные причинно-следственные связи. Это привело к повышению интереса к экспериментам и квазиэкспериментам

Принстонская школа сделала акцент на прозрачности и достоверности эмпирических исследований, критикуя недостатки существующих методов

⛳ 4. Инструментальные переменные и Гарвардская теорема LATE

В 1980–1990-х годах развитие причинно-следственного анализа вышло на новый уровень благодаря междисциплинарному подходу 👋

⭐️Джошуа Ангрист использовал метод инструментальных переменных (Instrumental variables, IV), чтобы оценить эффект службы в армии на доходы. Его работа основывалась на случайной лотерее призыва, что сделало его результаты валидными и убедительными
⭐️Хидо Имбенс и Дональд Рубин совместно разработали теорему о локальной оценке эффекта воздействия (LATE, Local Average Treatment Effect), которая объясняет, как можно измерить эффекты в условиях несоблюдения назначения групп воздействия

Теорема LATE стала важной вехой, предоставив строгую теоретическую базу для анализа сложных данных и сделав инструментальные переменные доступными для широкой аудитории

⛳ 5. Современные достижения: интеграция теории и практики

Сегодня причинно-следственный анализ — мощный инструмент для принятия решений

⭐️Доказательная политика (evidence-based policy): методы каузального анализа применяются повсеместно — от оценки образовательных программ до экономической политики
⭐Много внимания ученых сосредаточено на разработке методов для оценки сложных дизайнов воздействия 👨‍💻
⭐️Слияние теории и эмпирики: объединение философии, статистики и экономики позволило сделать революционные открытия и решать сложные социальные задачи

Источник: подготовлено на основе материалов Скотта Канингема [1, 2, 3]

#канал_обозревает
#канал_рекомендует
@causal_channel

📝 С чего начать свой путь в causal inference?

🟠Изучение новой сферы всегда проходит быстрее и эффективнее, когда рядом есть качественный проводник. Выбор литературы по причинно-следственному анализу довольно велик и очень быстро увеличивается. Обилие разных книг, учебников и хэндбуков может вызывать сложности и растерянность у начинающих 📖 Про то, с каким темпом появляются новые статьи, вообще молчим, но может расскажем в следующий раз 📖

🟠Несколько лет назад мы нашли отличную схему выбора, которая поможет вам определить, какая книга подходит именно вам, в зависимости от ваших целей, уровня подготовки и интересов, составленную Брэди Нилом. Она нам так понравилась, что мы решили её дополнить свежими изданиями, которых с тех пор появилось довольно много, и поделиться с вами (внутри ячеек издания отсортированы по году)

🟠Будем рады, если она поможет вам и станет путеводителем в этой динамичной и быстро меняющейся теме!

🟠Эти и другие полезные источники по эконометрике вы можете найти в нашем репозитории на гитхаб. Также на гитхабе есть материалы к некоторым нашим исследованиям и собранные нами данные

Дисклеймер: мы не читали все книги от начала до конца, но считаем, что достаточно с ними знакомы, чтобы учесть их специфику при составлении схемы

#канал_рекомендует
@causal_channel

📖 Обновление книги по причинно-следственному анализу

Мы постепенно возвращаемся с каникул и собираемся вновь начать радовать вас постами! 👋

А пока все отдыхали, 2 января Джейми Робинс и Мигель Эрнан опубликовали новую версию своей книги, посвящённой методам каузального анализа -- «Causal Inference: What If». Книга будет полезна всем, кто занимается изучением причинно-следственных связей: эпидемиологам, статистикам, психологам, экономистам, социологам, политологам и специалистам в области Data Science.

📥 Скачать актуальную версию книги бесплатно

Кроме того, вы можете пройти бесплатный онлайн-курс Мигеля Эрнана «Causal Diagrams: Draw Your Assumptions Before Your Conclusions», который доступен на платформе edX. В курсе вы научитесь использовать причинно-следственные диаграммы для улучшения проектирования исследований и анализа данных.

Что вы узнаете на курсе:
🟠Как перевести экспертные знания в причинно-следственную диаграмму
🟠Как строить диаграммы при разных предположениях
🟠Как выявлять распространённые типы смещения
🟠Как использовать диаграммы для корректного анализа данных

#канал_рекомендует
@causal_channel

🎯 Почему взаимосвязи не равны причинности? Разбираем "лестницу причинности" Джудеа Перла 🔍

Вы наверняка слышали об иерархии доказательств (hierarchy of evidence), однако это не единственная попытка систематизировать оценки. Менее известной, но оттого не менее важной является иерархия причинности Джудеа Перла (Pearl, 2009), на которую мы уже ссылались в одном из постов

Когда мы смотрим на данные, возникает главный вопрос: что за ними стоит? Простых наблюдений недостаточно, чтобы находить причины и предсказывать последствия

1️⃣ уровень: взаимосвязь (association)
"X связан с Y?"

Вы заметили, что люди, гуляющие по торговому центру в дождливую погоду, чаще заходят в кафе

🔴Понимаем, какие переменные связаны (корреляция)
🔴Не отвечает на вопросы, связанные с причинными изменениями
🔴Источник данных -- наблюдаемые данные
🔴Этот уровень -- основа, но он недостаточен для принятия решений

2️⃣ уровень: воздействие (intervention)
"Что произойдёт, если я сделаю X?"

Вы решили предложить скидку на горячий шоколад и хотите узнать, увеличит ли это продажи

🔴Изучаем, как одно изменение влияет на другое (причина)
🔴Не позволяет ответить на ретроспективные и контрфактические вопросы
🔴Источник данных -- рандомизированные эксперименты или причинные байесовские сети

3️⃣ уровень: контрфакты (counterfactuals)
"Что бы произошло, если бы X было другим?"

Произошёл бы сбой на производстве, если бы мы установили другой тип оборудования?

🔴Можем рассматривать гипотетические сценарии и делать выводы о том, что было бы, если бы условия изменились
🔴Требует наличия функциональных моделей или структурных уравнений
🔴Это самый сложный, но и самый мощный уровень

⛳ Почему это важно? Без понимания причинности вы рискуете 🥲
🔴Делать выводы на основе ложных причинно-следственных связей (корреляций)
🔴Реагировать на краткосрочные эффекты, не видя общей картины (интервенция)
🔴Не понимать, что именно привело к успеху или провалу (контрфакты)

⛳ Направленность и связность иерархии ✨
🔴Взаимосвязи помогают увидеть паттерны в данных
🔴Интервенции позволяют менять реальность и измерять эффект
🔴Контрфакты дают понимание, почему всё произошло и что можно было бы улучшить
❗️Информация с уровня контрфактов (counterfactuals) может быть использована для ответа на вопросы взаимосвязи (association) и воздействия (intervention)
❗️Однако вопросы воздействия (intervention) невозможно решить только на основе информации о взаимосвязях (association), а контрфакты (counterfactuals) нельзя полностью вывести из данных о воздействии (intervention)

Иерархия причинности помогает структурировать вопросы и выбрать подходящие инструменты анализа -- от простых наблюдений до сложных моделей для контрфактических сценариев

📖 Коротко с концепцией можно ознакомиться в ноутбуке от PyMC Labs* или записке UCLA, но мы, конечно, рекомендуем обратиться к первоисточнику (Pearl, 2009; Pearl, Mackenzie, 2018) или лекции Джудеа Перла

Автор мема Kareem Carr

*Ребята делают много хорошего про байесовость. Если вы хотите впервые познакомиться с байесовостью, то можно начать с лекции выпускника ЭФ МГУ Максима Кочурова, разработчика PyMC тут

#канал_обозревает
@causal_channel

🟩 Неделя любви к данным… и благодарности их создателям!❤️

В честь недели любви к данным (Love Data Week 2025) мы решили сделать для вас подборку с обзором некоторых отраслевых данных, которые лежат в нашем «хранилище всего интересного» -- да-да, у нас такое есть) 🛒

🌻 Наши коллеги из ИПП ЕУ выложили в открытый доступ несколько интересных наборов данных и алгоритмов:
🧡Недавно ребята выложили данные бухгалтерской отчетности -- если у вас нет доступа к СПАРКу или вы хотите использовать его альтернативу, то вам сюда. А подробнее об этом наборе данных можно будет послушать на семинаре в ближайший четверг
🧡Если вы увлекаетесь исследованиями в области экономики права или давно искали корпус текстов для освоения NLP, то вам может быть интересно поработать с корпусом текстов российского законодательства
🧡Для тех, кто вынужден работать с запутанными структурами владения компаний, коллеги из ЕУ и Сколтеха разработали алгоритм для определения контролирующих владельцев

⚫️➕✅ Как же в признании в любви не рассказать, как можно объединить два прекрасных проекта? - Никак. Поэтому расскажем вам про Если быть точным и Сбериндекс:
🧡Если быть точным обрабатывает данные муниципальной статистики, которые уже можно использовать - там данные аж до 2024 года! Присмотритесь и к другим датасетам проекта, там много интересного
🧡Но границы муниципальных образований изменяются -- тут вам поможет версионный справочник СберИндекса, в котором есть данные по муниципальным образованиям и пространственный слой с границами муниципалитетов

♥️ Любовь к миру рождается из любви к себе ❤️❤️, поэтому расскажем вам и о тех данных, которые собраны нашими ручками и бережно положены в гитхаб:
🧡С дорогими коллегами собрали и обработали данные о ковидных ограничениях и заявках на пособия по безработице (за данные по пособиям отдельно благодарим ЦПУР) -- настоящий кладезь, который при объединении с другими датасетами может дать неиссякаемый источник работ
🧡Два года назад мы собрали и обработали данные о сделках с российскими стартапами -- с ними можно сделать много всего интересного (особенно если вы дополните ее ИНН)

И, конечно, не забывайте ссылаться на авторов, когда используете их данные -- это не просто часть концепции воспроизводимости исследований, форма поддержки авторов и возможность сделать им приятно, но и способ узнать о данных для кого-то еще. Это действительно важно, и даже тема недели любви к данным в этом году - Whose Data Is It, Anyway? 👍

#канал_рекомендует
@causal_channel