Open-source библиотека по A/B тестированию от МТС

Big Data МТС вывели в open source библиотеку Ambrosia для проведения A/B тестов и экспериментов. Инструмент позволяет работать с разными этапами жизненного цикла A/B тестирования от дизайна эксперимента до расчета эффекта, также реализованы основные методы ускорения экспериментов.

💻 Репозиторий Github
✔️ Есть несколько туториалов по работе с библиотекой

@evidencespace

SUNDAY READING LIST: НЕЗНАЧИМЫЕ РЕЗУЛЬТАТЫ

1. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Показывают, что из-за "гибкости" в сборе и анализе данных исследователь вероятнее получит ложно-положительный, чем ложно-отрицательный результат. Поэтому предлагают простые правила для авторов и рецензентов: заранее определить момент окончания сбора данных, подробно описывать все условия эксперимента, приводить список всех переменных, приводить результаты с исключаемыми наблюдениями и без них и т.д.

2. Benjamin, D.J., Berger, J.O., Johannesson, M. et al. Redefine statistical significance. Nature Human Behaviour 2, 6–10 (2018). https://doi.org/10.1038/s41562-017-0189-z
Предлагают более строгий порог для р-значения, чтобы повысить надёжность результатов.

3. A. Abadie Statistical Non-Significance in Empirical Economics // NBER working paper, 2018
https://www.nber.org/papers/w24403
Абади утверждает, что результаты эмпирического исследования в экономике интересны, если они меняют наши изначальные представления. Например, ожидаемое воздействие большинства мер государственной политики ненулевое. В этом случае незначимые результаты могут изменить наши убеждения, а значит, они не бесполезны.

4. Часто имеет место publication bias — ситуация, когда вероятнее будет опубликован значимый результат. В нескольких областях науки созданы журналы, где публикуются статьи с незначимыми результатами: психология — Journal of Articles in Support of the Null Hypothesis https://www.jasnh.com/, биомедицина — Journal of Negative Results in Biomedicine https://jnrbm.biomedcentral.com/, экология и эволюционная биология — Journal of Negative Results http://www.jnr-eeb.org/index.php/jnr/index

#sundayreadinglist_efmsu

🆎 Смотрите, какая круть

Митап ODS Reliable ML по АБ-тестированию и Causal Inference - 17 декабря
Анонсы докладов

Всем привет!

Не всё же читать про АБ-тесты, давайте про них говорить!

17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).

Регистрация на митап туть!

Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.

Программа:

11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design

Далее постараемся рассказать подробнее об отдельных докладах!

#анонс #tech #ab_testing

Что послушать на ASSA в 2023 году?

Приближаются новогодние праздники, а значит нас снова ждет конференция ASSA от Американской экономической ассоциации. Как и в прошлом году, выбрали секции про доказательную политику и оценку причинно-следственных связей.

6️⃣ января

Causal Inference Methods and Applications in Tech: экстраполяция оценок эффектов от Netflix, платформа проведения ценовых экспериментов от Amazon, оценка долгосрочных эффектов от Microsoft и компромисс между справедливостью и эффективностью на маркетплейсах от Susan Athey.

Adaptive Experimentation and Policy Learning: двурукие гауссовские бандиты при фиксированном бюджете, многорукие бандиты и общие причины (confounding), экспериментальный дизайн при наличии внешних эффектов.

Quasi-Experimental Identification and Estimation: оценка внешних эффектов, выбор валидных инструментальных переменных, анализ чувствительности при эндогенных пропущенных переменных.

Machine Learning and High Dimensional Methods for Causal and Policy Learning: оптимальные алгоритмы для многоруких бандитов, causal inference на зашумленных данных и статистический вывод в ситуации, когда точечные оценки эффекта получить невозможно.

7️⃣ января

Treatment Effects: двухшаговый метод наименьших квадратов и локальный средний эффект воздействия, эффекты воздействия при изучении двусторонних рынков, bunching design, разность в разностях с непрерывным воздействием.

Evidence Use in Policymaking: как в Китае проводят полиси-эксперименты и какие у них ограничения, как полисимейкеры адаптируют свои оценки программ на основе научной экспертизы (полисимейкеры запоминают хорошие результаты и игнорируют плохие), эффекты от обучения чиновников основам эконометрики.

8️⃣ января

Replications in Economics: определение реплицируемости, презентация the Institute for Replication (I4R) и итоги репликации результатов нескольких статей.

@evidencespace

Окей, доказательная политика.

Задача приоритизации (выбора одной из нескольких альтернатив) - самая часто встречающаяся задача в госуправлении. Речь может идти о выборе одного из нескольких инвестиционных проектов, программ с наибольшим риском для достижения цели,оптимальных технологий здоровья или нуждающихся в долговременном уходе.

При этом критерий выбора обычно не единственный. Как правило, необходимо рассматривать целый ряд критериев - например, критериев доступности, влияния
на окружающую среду, здоровья населения и т.д. Задача осложняется тем, что критерии часто имеют сложную структуру и могут конфликтовать между собой.

В таких условиях могут помочь мультикритериальные методы - один из классов алгоритмов теории принятия решений. Важно, что мультикритериальные методы могут быть инструментом, который позволяет сделать более
прозрачным процесс выбора критериев и оценки их важности - этот процесс предполагает вовлечение и диалог между заинтересованными сторонами.

Об этом и о двух полезных алгоритмах MCDA (с примерами и тетрадками Python) экспертная записка Счетной палаты.

Оценка долгосрочных эффектов

Как в индустрии, так и в академии приходится обращать внимание на долгосрочные эффекты от имплементируемых изменений. Например, в онлайн экспериментах кликбейтная вызывающая реклама может приводить в краткосрочном периоде к росту CTR (кликабельности), но в будущем вызовет отток клиентов и снижение прибыли. Многие государственные программы имеют отложенный эффект воздействия.

Основная проблема — результаты оценки для принятия решений нужны здесь и сейчас, а собирать данные долго и дорого. В онлайн-экспериментах увеличение их продолжительности приводит к дополнительным проблемам: потеря пользователей из-за неизбежного удаления куки-файлов, а также смешение тестовой и контрольной групп.

Что можно сделать? Стандартное решение — использование прокси-метрик (driver metrics, surrogate, intermediate short-term outcome), по которым можно предсказать долгосрочный эффект.

Собрали основные статьи про этот и другие подходы с примерами реализации.

@evidencespace

👩🏻‍🎓 АКАДЕМИЯ

📄Chetty et al. (2019). The Surrogate Index: Combining Short-Term Proxies to Estimate Long-Term Treatment Effects More Rapidly and Precisely
⌨️ Код (только Stata, правда😞)

📄Athey S., Chetty R., Imbens G. (2020). Combining Experimental and Observational Data to Estimate Treatment Effects on Long Term Outcomes

📄Chen J., Ritzwoller D.M. (2022). Semiparametric Estimation of Long-Term Treatment Effects
⌨️ Пакет для R

📄Imbens et al. (2022). Long-term Causal Inference Under Persistent Confounding via Data Combination

🧑🏼‍💻 ИНДУСТРИЯ

📄 Hassan et al. (2013). Beyond clicks: query reformulation as a predictor of search satisfaction

📄 Hohnhold H., O’Brien D., Tang D. (2015). Focusing on the Long-term: It’s Good for Users and Business

📄 Duan W., Ba S., Zhang C. (2019). Online Experimentation with Surrogate Metrics: Guidelines and a Case Study
📬 Пост на medium
⌨️ Код в R

📄 Yang et al. (2020). Targeting for long-term outcomes

📄 Sadeghi et al. (2022). Novelty and primacy: a long-term estimator for online experiments

📄Wang at al. (2022). Surrogate for Long-Term User Experience in Recommender Systems

@evidencespace

Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов

Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)

- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)

- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)

- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)

- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)

- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)

- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)

- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)

Ваш @Reliable ML

#tech #ab_testing #causal_inference

Открытые материалы по байесовости.

Максим Кочуров (выпускник ЭФ 2018, Сколтех 2020, партнёр PyMC Labs) прочитал магистрантам 2 года программы «Анализ данных а экономике» #ЭФМГУ курс «Машинное обучение в бизнесе». Материалы курса теперь в открытом доступе по ссылке: https://ferrine.github.io/pages/practical-bayes

—————————-
Другие материалы преподавателя:
в декабре Максим выступал на Reliable ML AB testing & Causal Inference Meetup с докладом о планировании Байесовских АБ-тестов, видеозапись доступна на канале Open Data Science: https://www.youtube.com/watch?v=1fnXvWwtFss&t=1s

Краткая история причинного вывода

Отвлечемся немного от математики методов. 🗣Скотт Каннингем опубликовал серию постов про то, как развивалась область causal inference, использующая модель потенциальных исходов:

• Часть 1: философские и статистические основания модели потенциальных исходов. Действующие лица:🗣Дэвид Юм, 🗣Джон Стюарт Милль, 🗣Ежи Нейман, 🗣Рональд Фишер и 🗣Дональд Рубин.

• Часть 2: переносимся в Принстон и наблюдаем как экономисты пользуются новыми микроданными, которые стали доступны в результате запуска масштабных государственных программ, а заодно изобретают новые методы оценки. Действующие лица: 🗣Орли Ашенфельтер, 🗣Дэвид Кард, 🗣Роберт ЛаЛонд и🗣Алан Крюгер.

• Часть 3: про важность нотации и то, как как вернуть доверие методу инструментальных переменных. Действующие лица: 🗣Джошуа Ангрист, 🗣Хидо Имбенс и🗣Дональд Рубин.

Для затравки: 🗣Орли Ашенфельтер рассказывает про то, как придумал разность разностей, чтобы не пугать чиновников регрессионными выкладками:

In fact, that was demonstrated pretty conclusively by Bob Lalonde in his paper and PhD thesis. So that was, for me, that was a great moment. And of course, the difference in differences came about in a very simple way. Here I am running regressions with hundreds of thousands of observations, you know, fixed effects for individuals, fixed effects for time periods, which is a very powerful design. And I'm trying to present this to other people in the labor department and around the government. And you walk in and say the word “regression analysis” and people's eyes glazed over. So I realized after the first time I presented this work that you can't use that word. Well, I started to think, “well, what are we doing here?” And I realized since we had a balanced longitudinal sample, we were just taking a difference and subtracting off a difference. And it was just a difference in differences. I mean, it was a regression. I did it with regressions. I never actually calculated differences except to show people.

@evidencespace

ТЗ для академии

🗣 Рон Кохави с коллегами опубликовали статью, в которой рассматривают основные узкие места статистической методологии A/B-тестирования. Они призывают академических исследователей активнее сотрудничать с бизнесом, чтобы решать эти проблемы:

• Повышение мощности тестов и оценка небольших эффектов
• Оценка гетерогенных эффектов
• Оценка долгосрочных эффектов (подборка статей про это)
• Учет сетевых эффектов

@evidencespace

Универсиада по эконометрике от МГУ

👨🏼‍🦳👦🏼 Вот вам вместо хакатонов развлечение. С этого года в Универсиаде по эконометрике экономического факультета МГУ могут поучаствовать даже выпускники (надо быть «обучающимся или закончившим обучение в бакалавриате и специалитете»). А если вы еще не заканчивали магу, то на программу «Анализ данных в экономике» можно и льготы при поступлении получить.

❕Регистрация будет открыта до 26 февраля, 23:59 по мск.
👉 Задания и решения за прошлые годы можно посмотреть здесь.

Уже год прошёл. Когда-нибудь решения будут принимать те, для кого сострадание — важный мотив. Берегите себя.

7 марта в 19:00 состоится семинар «Оценка влияния макрошоков на социально-экономические процессы в регионах России» по теме: «Policy Evaluation: Difference-in-Difference with Heterogenous Treatment» (докладчик профессор департамента прикладной экономики НИУ ВШЭ Елена Котырло).

⬇️ Контакты для регистрации по ссылке.

Семинар по Causal Inference

🔸 10 марта (пятница) в 20:00 МСК — на Chamberlain Seminar 🗣 Désiré Kédagni (UNC Chapel Hill) расскажет про «Generalized Difference-in-differences Models: Robust Bounds»‎.

Зарегистрироваться на семинар можно по ссылке.

👉 Подписаться на доказательный ⎵ пробел: https://news.1rj.ru/str/evidencespace

Семинар по Causal Inference

🔸 24 марта (пятница) в 20:00 МСК — на Chamberlain Seminar 🗣 Claudia Noack (Oxford) расскажет про «Flexible Covariate Adjustments in Regression Discontinuity Designs»‎.

Зарегистрироваться на семинар можно по ссылке.

👉 Подписаться на доказательный ⎵ пробел: https://news.1rj.ru/str/evidencespace