Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение

Написали статью для ProductSense про то, как оценивать качество систем сплитования для A/B.
https://sense23.com/post/kejs-kak-opredelyat-kachestvo-sistemy-a-b-testirovaniya?fbclid=IwAR3hBiyRVXT7VIO8gHlWFr3N2Sf74Pzz5DDdjvK3aLx-uhEoWtAfQO5XNPw


А 10го июня в 20-00 на совместном митапе Experiment Fest
x karpov.courses прочитаем лекцию про то, что такое метрики здоровья экспериментов и как их считать.
https://www.experiment-fest.ru/expf_karpov

5 Reasons to Go Bayesian in AB Testing:

http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/

via @ABtesting

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

​​Гайд по дизайну A/B тестов с использованием Python.

via @ABtesting

​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется.

via @ABtesting

Отличный курс по A/B тестам от Google: https://www.udacity.com/course/ab-testing--ud257

Лекция для расчета продолжительности теста: http://statweb.stanford.edu/~susan/courses/s141/hopower.pdf

А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting

A/B тесты для чайников

Кто ты без A/B тестов? Точно не аналитик😁
Обычно, джуну нужно уметь считать t-критерий и конверсии в онлайн-калькуляторе (только не бейте), но можно и нужно уметь применять всё.

Грубый алгоритм такой:
1) Выбираем метрику для отслеживания (клики по кнопке, средний чек, длительность сеанса и пр.). Запускаем и ждем.
2) Готовим данные
3) Смотрим на прикрепленную схему, которую я взял с крутого канала
4) Гуглим мануалы для расчета нужного теста в питоне. Желательно почитать теорию (снова рекомендую книгу С.Гланца)
5) Считаем, визуализируем
6) Показываем и доказываем результат команде
7) Profit!

Байесовское тестирование: https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a

Отличный разговор про проведение AB тестов Анатолия Карпова и Никиты Маршалкина из VK: https://www.youtube.com/watch?v=gljfGAkgX_o

Новые материалы по А/B-тестированию. Открываем доступ к докладам из секции про эксперименты на Матемаркетинге-2019. В 2019 году у нас было 7 тем, посвященных экспериментам

= = = =
Ближайшая конференция — Матемаркетинг-2020 — состоится 9-13 ноября в формате online
Программа конференции
Все подробности: https://matemarketing.ru
= = = =

Игорь Яшков из Яндекс.Поиска научил валидировать и развивать метрики
Валерий Бабушкин из Х5 Retail Group научил ускорять сотни А/Б-тестов в десятки раз
Дарья Чиркина из Яндекса привела практические кейсы построения аналитической инфраструктуры в небольших интернет-компаниях.
Искандер Мирмахмадов из EXPF научил увеличивать чувствительность метрик
Анатолий Карпов рассказал о том, как сделать так, чтобы А/В-тестирование заработало
Максим Сергеев из Яндекс.Еды рассказал о marketplace efficiency в Яндекс.Еде
Данила Леньков из Avito рассказал об инфраструктуре A/B-тестирования в Avito для централизации обработки результатов экспериментов.

= = = = =
В 2020 году у нас новые темы, посвященные экспериментам

Дмитрий Гущин, co-founder Stereo7 - Эксперименты в мобильных приложениях
- проблемы с А/В-тестами специфичные для мобильных приложений.
- как неправильно считать деньги в А/В-тестах.
- как правильно считать деньги в А/В-тестах.
- как запускать много А/В-тестов. Кейсы.
Эмели Драль, CTO Evidently AI - Генерация и проверка сильных гипотез, А-А/А-В-тесты
- как отобрать лучшие гипотезы-кандидаты для проведения теста?
- как оценить оптимальный размер группы?
- как оптимизировать длительность теста?
- как убедиться в корректности разбиения?
- как отличить краткосрочный эффект от продолжительного?
+ чек-лист по разработке дтизайна и проведению АБ тестирования.
Виталий Черемисинов, Experiment Fest - блиц-формат на тему как искать прокси метрики в продуктах
Олег Хомюк, Head of R&D Lamoda - блиц-формат про применение методов data science в экспериментах, проверке гипотез в e-commerce и смежных темах.
Игорь Полянский, Head of Analytics Gett - Быстрая приоритезация UX-гипотез
Разбираем проблемы развитой продуктовой аналитики (низкая значимость фичей и их кумулятивное влияние). Кейс Gett: LightGBM с SHAP interpreter для множественное проверки гипотез, результаты, learnings. Делаем разбор применения метода для других метрик, “за” и “против”.
= = = = =

Полная программа конференции: https://bit.ly/3iMiT6Z

@internetanalytics

​​Отличный Гайд по байесовской статистике и немного о байесовском A/B-тестировании и проверке гипотез.

via @ABtesting

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be