Оценка долгосрочных эффектов

Как в индустрии, так и в академии приходится обращать внимание на долгосрочные эффекты от имплементируемых изменений. Например, в онлайн экспериментах кликбейтная вызывающая реклама может приводить в краткосрочном периоде к росту CTR (кликабельности), но в будущем вызовет отток клиентов и снижение прибыли. Многие государственные программы имеют отложенный эффект воздействия.

Основная проблема — результаты оценки для принятия решений нужны здесь и сейчас, а собирать данные долго и дорого. В онлайн-экспериментах увеличение их продолжительности приводит к дополнительным проблемам: потеря пользователей из-за неизбежного удаления куки-файлов, а также смешение тестовой и контрольной групп.

Что можно сделать? Стандартное решение — использование прокси-метрик (driver metrics, surrogate, intermediate short-term outcome), по которым можно предсказать долгосрочный эффект.

Собрали основные статьи про этот и другие подходы с примерами реализации.

@evidencespace

👩🏻‍🎓 АКАДЕМИЯ

📄Chetty et al. (2019). The Surrogate Index: Combining Short-Term Proxies to Estimate Long-Term Treatment Effects More Rapidly and Precisely
⌨️ Код (только Stata, правда😞)

📄Athey S., Chetty R., Imbens G. (2020). Combining Experimental and Observational Data to Estimate Treatment Effects on Long Term Outcomes

📄Chen J., Ritzwoller D.M. (2022). Semiparametric Estimation of Long-Term Treatment Effects
⌨️ Пакет для R

📄Imbens et al. (2022). Long-term Causal Inference Under Persistent Confounding via Data Combination

🧑🏼‍💻 ИНДУСТРИЯ

📄 Hassan et al. (2013). Beyond clicks: query reformulation as a predictor of search satisfaction

📄 Hohnhold H., O’Brien D., Tang D. (2015). Focusing on the Long-term: It’s Good for Users and Business

📄 Duan W., Ba S., Zhang C. (2019). Online Experimentation with Surrogate Metrics: Guidelines and a Case Study
📬 Пост на medium
⌨️ Код в R

📄 Yang et al. (2020). Targeting for long-term outcomes

📄 Sadeghi et al. (2022). Novelty and primacy: a long-term estimator for online experiments

📄Wang at al. (2022). Surrogate for Long-Term User Experience in Recommender Systems

@evidencespace

Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов

Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)

- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)

- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)

- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)

- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)

- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)

- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)

- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)

Ваш @Reliable ML

#tech #ab_testing #causal_inference

Открытые материалы по байесовости.

Максим Кочуров (выпускник ЭФ 2018, Сколтех 2020, партнёр PyMC Labs) прочитал магистрантам 2 года программы «Анализ данных а экономике» #ЭФМГУ курс «Машинное обучение в бизнесе». Материалы курса теперь в открытом доступе по ссылке: https://ferrine.github.io/pages/practical-bayes

—————————-
Другие материалы преподавателя:
в декабре Максим выступал на Reliable ML AB testing & Causal Inference Meetup с докладом о планировании Байесовских АБ-тестов, видеозапись доступна на канале Open Data Science: https://www.youtube.com/watch?v=1fnXvWwtFss&t=1s

Краткая история причинного вывода

Отвлечемся немного от математики методов. 🗣Скотт Каннингем опубликовал серию постов про то, как развивалась область causal inference, использующая модель потенциальных исходов:

• Часть 1: философские и статистические основания модели потенциальных исходов. Действующие лица:🗣Дэвид Юм, 🗣Джон Стюарт Милль, 🗣Ежи Нейман, 🗣Рональд Фишер и 🗣Дональд Рубин.

• Часть 2: переносимся в Принстон и наблюдаем как экономисты пользуются новыми микроданными, которые стали доступны в результате запуска масштабных государственных программ, а заодно изобретают новые методы оценки. Действующие лица: 🗣Орли Ашенфельтер, 🗣Дэвид Кард, 🗣Роберт ЛаЛонд и🗣Алан Крюгер.

• Часть 3: про важность нотации и то, как как вернуть доверие методу инструментальных переменных. Действующие лица: 🗣Джошуа Ангрист, 🗣Хидо Имбенс и🗣Дональд Рубин.

Для затравки: 🗣Орли Ашенфельтер рассказывает про то, как придумал разность разностей, чтобы не пугать чиновников регрессионными выкладками:

In fact, that was demonstrated pretty conclusively by Bob Lalonde in his paper and PhD thesis. So that was, for me, that was a great moment. And of course, the difference in differences came about in a very simple way. Here I am running regressions with hundreds of thousands of observations, you know, fixed effects for individuals, fixed effects for time periods, which is a very powerful design. And I'm trying to present this to other people in the labor department and around the government. And you walk in and say the word “regression analysis” and people's eyes glazed over. So I realized after the first time I presented this work that you can't use that word. Well, I started to think, “well, what are we doing here?” And I realized since we had a balanced longitudinal sample, we were just taking a difference and subtracting off a difference. And it was just a difference in differences. I mean, it was a regression. I did it with regressions. I never actually calculated differences except to show people.

@evidencespace

ТЗ для академии

🗣 Рон Кохави с коллегами опубликовали статью, в которой рассматривают основные узкие места статистической методологии A/B-тестирования. Они призывают академических исследователей активнее сотрудничать с бизнесом, чтобы решать эти проблемы:

• Повышение мощности тестов и оценка небольших эффектов
• Оценка гетерогенных эффектов
• Оценка долгосрочных эффектов (подборка статей про это)
• Учет сетевых эффектов

@evidencespace

Универсиада по эконометрике от МГУ

👨🏼‍🦳👦🏼 Вот вам вместо хакатонов развлечение. С этого года в Универсиаде по эконометрике экономического факультета МГУ могут поучаствовать даже выпускники (надо быть «обучающимся или закончившим обучение в бакалавриате и специалитете»). А если вы еще не заканчивали магу, то на программу «Анализ данных в экономике» можно и льготы при поступлении получить.

❕Регистрация будет открыта до 26 февраля, 23:59 по мск.
👉 Задания и решения за прошлые годы можно посмотреть здесь.

Уже год прошёл. Когда-нибудь решения будут принимать те, для кого сострадание — важный мотив. Берегите себя.

7 марта в 19:00 состоится семинар «Оценка влияния макрошоков на социально-экономические процессы в регионах России» по теме: «Policy Evaluation: Difference-in-Difference with Heterogenous Treatment» (докладчик профессор департамента прикладной экономики НИУ ВШЭ Елена Котырло).

⬇️ Контакты для регистрации по ссылке.

Семинар по Causal Inference

🔸 10 марта (пятница) в 20:00 МСК — на Chamberlain Seminar 🗣 Désiré Kédagni (UNC Chapel Hill) расскажет про «Generalized Difference-in-differences Models: Robust Bounds»‎.

Зарегистрироваться на семинар можно по ссылке.

👉 Подписаться на доказательный ⎵ пробел: https://news.1rj.ru/str/evidencespace

Семинар по Causal Inference

🔸 24 марта (пятница) в 20:00 МСК — на Chamberlain Seminar 🗣 Claudia Noack (Oxford) расскажет про «Flexible Covariate Adjustments in Regression Discontinuity Designs»‎.

Зарегистрироваться на семинар можно по ссылке.

👉 Подписаться на доказательный ⎵ пробел: https://news.1rj.ru/str/evidencespace

Наиболее подробный (хотя не уверены, что полный) список пакетов R для статистического причинно-следственного вывода (англ. Causal Inference), причем с делением на тематические разделы и даже краткими комментариями, что к чему и почему. Тысяча чертей, технологическая сингулярность наступила - пока выучишь имеющиеся сейчас, в R появится раза в четыре больше новых. Это тем не менее не повод сдаваться.
#rstats #сausal_inference

https://cran.r-project.org/web/views/CausalInference.html

Микроданные от Банка России (да еще и панельные)

🧳 Неожиданная новость по нынешним временам. Банк России выложил в открытый доступ микроданные сразу пяти волн обследования домохозяйств по потребительским финансам. Обследование включает вопросы про доходы и расходы домохозяйств, использование финансовых инструментов, ожидания, оценивает уровень финансовой грамотности. Тут обзорная преза про обследование. Из основного:

• всего проведено пять волн (2013, 2015, 2018, 2020, 2022)
• за полевую часть сейчас отвечает ООО«Демоскоп» (тот самый, который проводит РМЭЗ ВШЭ)
• в обследовании есть панельная составляющая (используется сплит-модель, чтобы в рамках одной волны сохранять репрезентативность, подробная методология описана здесь)
• опрос проводится в 38 населенных пунктах
• есть индивидуальный вопросник и вопросник для домохозяйств

@evidencespace

Секция Reliable ML на Data Fest Online 2023
Call for Papers

Друзья, рады сообщить вам, что крупнейшая русскоязычная конференция по Data Science - Data Fest от сообщества Open Data Science состоится и в 2023 г. (в конце мая).

И на ней снова будет секция от Reliable ML. Ждем ваших заявок на доклады: пишите напрямую мне или Диме.

Про секцию

Концепция Reliable ML – это о том, что делать, чтобы результат работы data команд был, во-первых, применим в бизнес-процессах компании-заказчика, а, во-вторых, приносил этой компании пользу.

Для этого нужно уметь:

- правильно собрать портфель проектов (#business)
- продумать дизайн системы каждого проекта (#ml_system_design)
- преодолеть разные трудности при разработке прототипа (#tech #causal_inference #metrics)
- объяснить бизнесу, что ваш MVP заслуживает пилота (#interpretable_ml)
- провести пилот (#causal_inference #ab_testing)
- внедрить ваше решение в бизнес-процессы (#tech #mlops #business)
- настроить мониторинг решения в проде (#tech #mlops)

Если вам есть, что сказать по темам выше, пишите! Если сомневаетесь, все-равно пишите. Много крутейших докладов предыдущих треков Reliable ML появились в результате дискуссии и совместной работы над темой.

Если вы не готовы делать доклад, но послушать интересного хочется, то вы всё ещё можете помочь! Сделать репост в релевантное сообщество/переслать другу = поучаствовать в создании хорошего контента.

Регистрация и полная инфо про Data Fest 2023 тут.

Ваш @Reliable ML

В полку годных и к тому же (что немаловажно) находящихся в открытом доступе учебников по базовой статистике прибыло. Мэттью Блэквелл из Гарварда вчера выложил на GitHub сборник своих лекций. Круто, системно (хотя и не совсем на пальцах) и просто кросивое. Ссылка в первом комментарии.

https://mattblackwell.github.io/gov2002-book/

#stats #datascience #quantmethods #textbooks

5 курсов по анализу причинно-следственных связей от Mixtape Sessions

В апреле-мае Mixtape Sessions проводит целую серию воркшопов и курсов по Causal Inference:

• Advanced DID (21 апреля, 👨🏼‍🏫 Jonathan Roth)
• Synthetic Control and Clustering (27 апреля, 👨🏻‍🏫 Alberto Abadie)
• Doing Applied Research (4 мая, 👨🏼‍🏫 Daniel Rees, 👨🏼‍🏫 Mark Anderson)
• Machine Learning and Heterogeneous Effects (15 мая, 👨🏼‍🏫 Brigham Frandsen)
• Regression Discontinuity Design (17 мая, 👩🏼‍🏫 Rocío Titunik)

Курсы платные, но есть возможность получить промокод на большую скидку, мы проверяли.

👉 Подписаться на @evidencespace

💥 Если запросите скидку на один из курсов, и пройдёте по условиям (students, postdocs, predocs and residents of middle-income countries), то вам пришлют промокоды ещё и на три других курса (на все кроме Doing Applied Research ). 50💲, к слову, специальная цена одного курса.

👇 Презентации с воркшопа по методу синтетического контроля и кластеризации стандартных ошибок Alberto Abadie. А для старта можно посмотреть седьмую лекцию межфакультетского курса Экономического факультета МГУ.