Шпаргалка по тому, какой статистический критерий(/тест) использовать в разных случаях.

via @ABtesting

О статистических критериях:

https://www.youtube.com/watch?v=ZaZYy0YUdY8 – как выбирать, какой стат. тест использовать при анализе различий между статистическими совокупностями

https://www.youtube.com/watch?v=YsalXF5POtY – так что же выбирать, Z-тест или T-тест

https://www.youtube.com/watch?v=pTmLQvMM-1M – T-тест (Стьюдента)

https://www.youtube.com/watch?v=BWJRsY-G8u0 – Z-тест 1-sample, https://www.youtube.com/watch?v=s-r0p2-Mpr4 - 2-sample (для сравнения по сплитам второй)

https://www.youtube.com/watch?v=BT1FKd1Qzjw – U-тест (Манна-Уитни)

https://www.youtube.com/watch?v=WXPBoFDqNVk – хи-квадрат-тест (Пирсона)

https://www.youtube.com/watch?v=9STZ7MxkNVg - bootstrap test

https://www.youtube.com/watch?v=cltWQsmBg0k – K-S-тест (Колмогорова-Смирнова) на то, что распределение в выборке НЕ является нормальным

https://www.youtube.com/watch?v=dRAqSsgkCUc – тест Шапиро-Уилка на то, что распределение в выборке НЕ является нормальным (ну такое, обрывается на R shapiro.test(x) )

https://www.youtube.com/watch?v=EG8AF2B_dps - ещё несколько соображений о том, как понять, что распределение нормальное

https://www.youtube.com/watch?v=MstzroncW28 – доверительный интервал для полученных значений

https://www.youtube.com/watch?v=eGWnP_8QER8 – почему если выбрать тест неправильно, может быть статистически значимо, но ни разу не достоверно

Системный подход к АВ-тестированию в Uber https://eng.uber.com/xp

5 хаков для ускорения AB тестов, видео:
https://youtu.be/Z9gVndEr_70

О проверке статистических гипотез и A/B тестирование:
https://www.youtube.com/watch?v=YULMqwo7Tas

​​Хорошая статья про то, как устроена аналитическая инфраструктура для A/B тестов в Авито. Ребята собирают сотни метрик и умеют детализировать их до бизнес-разрезов: вертикали, регионы, авторизованные пользователи и т. д. Они делают это автоматизированно с помощью единой платформы для экспериментов. В статье достаточно подробно описано, как платформа устроена с описанием некоторых интересных технических деталей и инсайтов, которые будут полезны всем, кто собираются построить свобственное решение для A/B тестов.

via @WebAnalyst

Про офлайн А/Б-тестирование в ритейле:
https://habr.com/company/ods/blog/416101/

4 ошибки при проведении A/B-тестов с помощью Firebase Remote Config:
https://towardsdatascience.com/4-mistakes-that-i-made-while-running-a-b-tests-with-firebase-remote-config-f7b17f18b34a

Бесплатный митап про то, как готовить, запускать и анализировать эксперименты (A/B тесты) на ценах и заниматься ценообразованием в компании.
Москва. 17 августа с 10:00 до 16:00.
http://price-discovery.tilda.ws/

​​Лучшие доклады по аналитике на DevGAMM-2019

• Способы добычи инсайтов и генерации гипотез. Что лучше, качественные исследования или количественные? Кто скажет больше, данные о пользователях или сами пользователи?

• О разработке и улучшению системы персонализации офферов, начиная от внедрения максимально простой системы и заканчивая развитием ML-моделей.

• Как нужно оценивать и прогнозировать качество трафика. Чем лучше компания справляется с этой задачей, тем быстрее она сможет отключить неэффективные кампании и перенаправить средства в более прибыльные источники.

• Самая большая проблема A/B-тестов – это качественный анализ результатов. Об основных ошибках аналитиков с точки зрения математики и сходимости тестов и bootstrap, p-value, его ресэмплинге и проблеме ранговых критериев.

• Кто виноват: продукт или закупка, если падает ROI и когда сравнение с органическим трафиком не устраивает?

via @ProductAnalytics

Как визуализировать доверительные интервалы для АВ-теста в Tableau?

https://medium.com/@dioariadi/create-confidence-interval-graph-for-a-b-testing-in-tableau-576fb2367ae

A/B-тестирование: стоимости правильных и ошибочных решений

https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html

Доверяй, но проверяй: почему нужно проводить А/B-тестирование (статья-обзор доклада Валерия Бабушкина с прошлогоднего Матемаркетинга @matemarketing_official)

https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/

via @ABtesting

Статистическая значимость для небиномиальных показателей - доход для пользователя и пр.:

http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/

T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html

via @ABtesting

Применение Bayesian подхода в A/B тестах:

https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02

Калькулятор Bayesian A/B test for conversion:
https://vidogreg.shinyapps.io/bayes-conversion-test/

via @ABtesting

Firebase Tutorial: iOS A/B Testing:
https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing

via @ABtesting

Bayesian подход в A/B тестах на примере бейсбольной статистики с примерами кода на R:

http://varianceexplained.org/r/bayesian_ab_baseball/

via @ABtesting

​​В Google Optimize появилась возможность через визуальный редактор вносить изменения для эксперимента сразу на нескольких группах страниц. Это полезно, когда в рамках одного теста нужно сделать разные изменения на странице товара и на странице оформления заказа. Пока что фича доступна в beta режиме. Более подробная информация в справке: http://bit.ly/2zdLRYg.

via @WebAnalyst

Бутстрап, или прикладная статистика почти без формул:

https://habr.com/ru/post/192000/

via @ABtesting

Что такое p-hacking?
https://ecommerce-in-ukraine.blogspot.com/2019/08/ab-testingp-hacking.html

via @ABtesting

В продолжение темы A/B-тестирования.

На Матемаркетинге будет огромная секция посвященная сплит-тестам.

Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана

Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.

Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.

На какие вопросы получим ответ:

- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.

Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.

Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj

Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.

Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.

Ждем вас на Матемаркетинге.
https://matemarketing.ru/