🗣Как выбрать правильный статистический тест из множества доступных и запустить его на своих собственных данных: очень подробная статья на английском языке с пруфами и математикой от разработчиков рекомендательных систем VK - https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Толковых материалов про A/B-тестирование в паблике мало. Это связано с тем, что, во-первых, это довольно специфичная область знаний, а во-вторых, предполагает не только само собой разумеющееся знание матстата, но и понимание частного пользовательского поведения и собственной бизнес-модели и бизнес-процессов в целом. В связи с этим, сложно объяснять общее на частном и, в тоже время , частные результаты не могут быть применимы везде и всегда.

Для того чтобы думать как продуктовый аналитик, который занимается проведением сплит-тестов можно ознакомиться со следующими материалами:

Сборник "детских" ошибок:
https://netpeak.net/ru/blog/35-oshibok-pri-a-v-testirovanii/

Сборник советов как правильно проводить A/B тесты:
https://hookedondata.org/guidelines-for-ab-testing/

A/B-тестирование: смотреть на конверсию или смотреть на продажи? Павел Левчук
https://ecommerce-in-ukraine.blogspot.com/2018/02/ab-vs.html

Первые практические шаги.
A/B тест с помощью Google Optimize.
https://netpeak.net/ru/blog/kak-nastroit-a-b-test-s-pomoshch-yu-google-optimize-poshagovyi-manual/

Как оценивать A/B тесты. Анатолий Вуец, Letyshops: https://www.youtube.com/watch?v=2CN8IHy1OwU

Кейсы удачных (и не очень) экспериментов «Яндекс.Навигатора» (https://habr.com/ru/company/mobio/blog/455062/)

Видеозаписи с Experiment Fest/Яндекс.Практикум:
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

Список курсов постараюсь собрать на днях.... Пока что выделил те материалы, которые могут помочь понять как думать. Техника проведения эксперимента в принципе не так сложна. Гораздо сложнее сгенерить пул толковых гипотез, которые стоит проверять.

@internetanalytics

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

И в продолжение темы, сегодня 3 июня в 19:00 (мск) в рамках шестимесячного онлайн-курса «Профессия: Аналитик» ребята из ProductStar проводят бесплатный вебинар «Разбираемся с нуля в A/B-тестах».

Валера Белокуров, ex-Product Analyst Joom расскажет о том, как начать делать сплит-тесты.

— Что такое группа эксперимента, как делить пользователей на группы, зачем нужна контрольная группа.
— «На пальцах» разберем понятие статистической значимости: p-value и как его понимать.
— Узнаем, почему вредно проверять результаты до окончания A/B-теста.

Как обычно, два самых активных участника вебинара получают сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна 👉 @ProductStarAnalyticsBot

#реклама

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение

Написали статью для ProductSense про то, как оценивать качество систем сплитования для A/B.
https://sense23.com/post/kejs-kak-opredelyat-kachestvo-sistemy-a-b-testirovaniya?fbclid=IwAR3hBiyRVXT7VIO8gHlWFr3N2Sf74Pzz5DDdjvK3aLx-uhEoWtAfQO5XNPw


А 10го июня в 20-00 на совместном митапе Experiment Fest
x karpov.courses прочитаем лекцию про то, что такое метрики здоровья экспериментов и как их считать.
https://www.experiment-fest.ru/expf_karpov

5 Reasons to Go Bayesian in AB Testing:

http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/

via @ABtesting

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

​​Гайд по дизайну A/B тестов с использованием Python.

via @ABtesting

​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется.

via @ABtesting

Отличный курс по A/B тестам от Google: https://www.udacity.com/course/ab-testing--ud257

Лекция для расчета продолжительности теста: http://statweb.stanford.edu/~susan/courses/s141/hopower.pdf

А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting

A/B тесты для чайников

Кто ты без A/B тестов? Точно не аналитик😁
Обычно, джуну нужно уметь считать t-критерий и конверсии в онлайн-калькуляторе (только не бейте), но можно и нужно уметь применять всё.

Грубый алгоритм такой:
1) Выбираем метрику для отслеживания (клики по кнопке, средний чек, длительность сеанса и пр.). Запускаем и ждем.
2) Готовим данные
3) Смотрим на прикрепленную схему, которую я взял с крутого канала
4) Гуглим мануалы для расчета нужного теста в питоне. Желательно почитать теорию (снова рекомендую книгу С.Гланца)
5) Считаем, визуализируем
6) Показываем и доказываем результат команде
7) Profit!

Байесовское тестирование: https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a