Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting

Хороший гайд по Байесовскому А/В-тестированию:

https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a

via @ABtesting

Доступно и просто о статистике A/B-тестов.
Несколько примеров:

https://medium.com/@rezwan.islam99

via @ABtesting

Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019 на тему анализа А/В-тестов (Ссылка).

Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.

По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.

Ссылка на telegram-чат (будет удален по окончании лекции)

via @ABtesting

Как оценить качество системы A/B-тестирования:

https://habr.com/ru/company/hh/blog/321386/

via @ABtesting

@AnalyzeCore - новый канал про аналитику, данные и их визуализацию от Сережи Брыля, автора блога analyzecore.com.

@BigQuery

Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4

via @ProductAnalytics

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

Альтеранитива A/B тестам - байесовские многорукие бандиты. Суть в том, что при обычном A/B мы льем много трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия:

https://habr.com/ru/company/ods/blog/325416/

via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting

5 Reasons to Go Bayesian in AB Testing:

http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/

via @ABtesting

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

​​Гайд по дизайну A/B тестов с использованием Python.

via @ABtesting

​​5 полезных Телеграм-каналов для аналитиков:

@ProductAnalytics - Шпаргалка продуктового аналитика, актуальные материалы из закладок аналитиков.

@WebAnalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге.

@BigQuery - Аналитика в Google BigQuery, примеры решений и SQL-запросов, инсайты, лайфхаки и советы по работе с данными.

@ABtesting - Лучшие материалы по A/B-тестированию в одном канале.

@MarkeTech - Канал о маркетинговой аналитике и применении современных технологий в digital-маркетинге

​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется.

via @ABtesting

А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting

​​A/B Testing Analysis using RStudio:
https://medium.com/@etomaa/a-b-testing-analysis-using-rstudio-c9b5c67d6107

Github: https://github.com/etomaa/A-B-Testing

via @ABtesting

​​Как Flo проводят эксперименты:

https://medium.com/flo-engineering/how-flo-conducts-experiments-5ee35fc3327f

via @ABtesting

Бесплатный курс про A/B-тесты от Devtodev, рассматриваются правила работы с гипотезами: как их искать и находить, как определять приоритеты, как отбрасывать ненужные, когда A/B-тест нужен, а когда нет: https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1

via @ABtesting

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a

Эксперименты бывают долгими по-разным причинам:

1. Хотим увидеть очень маленькое изменение => надо много трафика.
Это решается или подбором (1) более чувствительной метрики, или (2) исправлением самой гипотезы.
Разработка более чувствительных метрик – это долгий аналитический процесс.
Если компания/продукт уже достаточно зрелая и вышла на стадию оптимизации, то имеет смысл потратить на это время и тем самым ускорить эксперименты. Яндекс и Booking много пишут про создание синтетических метрик, которые часто являются каким-либо математическим преобразованием над исходной метрикой.
Если мы говорим про запуск нового продукта/стартапа, то надо отправлять гипотезу на доработку (делать ux-ресерчи и тестировать мокапы) или вообще отказываться от ее проверки. АБ-тест тут не подходит – это очень дорогой способ проверки гипотезы, т.к. требует наличия разработанного продукта.

2. Эффект изменения сильно отложен => долго ждать обратной связи от рынка
В SaaS одна из главных метрик – это продление подписки. Если мы говорим про готовые подписки, то и ждать результатов гипотезы нужно год.
В таком сценарии надо искать прокси-метрики, которые могут "предсказывать" отложенные метрики.
Например, наша целевая метрика – % продлений через год. Подписка продляется через Apple Store автоматически через год. Это правило платформы, которое на которое не можем повлиять.
Но у этой метрики есть зеркальная метрика – отмены подписок. Отменять подписку пользователь может самостоятельно в любое время по собственному желанию. И мы, как продукт, можем на это желание влиять. Поэтому такая "обратная" метрика будет хорошим индикатором для основной метрики.
Другой пример – возвращение пользователей в продукт через месяц (monthly retention). Неохота ждать месяц для проверки влияния на эту метрику. Тут хорошее поле для исследований данных. Очень часто количество сессий / время в приложении / retention на первый день хорошо "предсказывают" retention через месяц. Поэтому можно брать эти прокси-метрики.

3. Делаем слишком много мелких изменений в продукте и хотим оценить их суммарный эффект
В таком случае принято резервировать долгосрочную контрольную группу и через один-два квартала сравнивать с ней с новый продукт. Тут не вижу способов как ускорить. Просто нужно принимать это как есть и коммуницировать стейкхолдерам.

(с) Антон Марцен