Виталий Котов из Badoo про покрытие A/B-тестов UI-тестами

Мы создали интерфейс для удобного контроля над покрытием A/B-тестов; в результате теперь у нас есть вся информация о работе UI-тестов с A/B-тестами;

Мы выработали для себя способ написания временных UI-тестов с простым и эффективным флоу их дальнейшего удаления или перевода в ряды постоянных;

Мы научились легко и безболезненно тестировать релизы A/B-тестов, не мешая другим запущенным UI-тестам, и без излишних коммитов в Git.

Всё это позволило адаптировать автоматизацию тестирования под постоянно меняющиеся фичи, легко контролировать и увеличивать уровень покрытия и не зарастать легаси-кодом.

Ссылка: https://habr.com/company/badoo/blog/434448/

Как запускать эксперименты в Google.Analytics

🤓 По просьбе подписчика публикую ссылку на справку, в которой подробно описывается как запустить свой первый AБТ в GA.

Ссылка: https://support.google.com/analytics/answer/1745152?hl=ru

A/B-тесты в Яндекс.Браузере. Большой продукт – большая ответственность:
https://www.youtube.com/watch?v=fCcaMp_9gBk

Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а:
https://habr.com/ru/post/451488/

Подборка статей про AB-тесты от Антона Марцена:
https://medium.com/productscience/awesome-ab-experiments-list-718bbb7bcd26

Шпаргалка по тому, какой статистический критерий(/тест) использовать в разных случаях.

via @ABtesting

О статистических критериях:

https://www.youtube.com/watch?v=ZaZYy0YUdY8 – как выбирать, какой стат. тест использовать при анализе различий между статистическими совокупностями

https://www.youtube.com/watch?v=YsalXF5POtY – так что же выбирать, Z-тест или T-тест

https://www.youtube.com/watch?v=pTmLQvMM-1M – T-тест (Стьюдента)

https://www.youtube.com/watch?v=BWJRsY-G8u0 – Z-тест 1-sample, https://www.youtube.com/watch?v=s-r0p2-Mpr4 - 2-sample (для сравнения по сплитам второй)

https://www.youtube.com/watch?v=BT1FKd1Qzjw – U-тест (Манна-Уитни)

https://www.youtube.com/watch?v=WXPBoFDqNVk – хи-квадрат-тест (Пирсона)

https://www.youtube.com/watch?v=9STZ7MxkNVg - bootstrap test

https://www.youtube.com/watch?v=cltWQsmBg0k – K-S-тест (Колмогорова-Смирнова) на то, что распределение в выборке НЕ является нормальным

https://www.youtube.com/watch?v=dRAqSsgkCUc – тест Шапиро-Уилка на то, что распределение в выборке НЕ является нормальным (ну такое, обрывается на R shapiro.test(x) )

https://www.youtube.com/watch?v=EG8AF2B_dps - ещё несколько соображений о том, как понять, что распределение нормальное

https://www.youtube.com/watch?v=MstzroncW28 – доверительный интервал для полученных значений

https://www.youtube.com/watch?v=eGWnP_8QER8 – почему если выбрать тест неправильно, может быть статистически значимо, но ни разу не достоверно

Системный подход к АВ-тестированию в Uber https://eng.uber.com/xp

5 хаков для ускорения AB тестов, видео:
https://youtu.be/Z9gVndEr_70

О проверке статистических гипотез и A/B тестирование:
https://www.youtube.com/watch?v=YULMqwo7Tas

​​Хорошая статья про то, как устроена аналитическая инфраструктура для A/B тестов в Авито. Ребята собирают сотни метрик и умеют детализировать их до бизнес-разрезов: вертикали, регионы, авторизованные пользователи и т. д. Они делают это автоматизированно с помощью единой платформы для экспериментов. В статье достаточно подробно описано, как платформа устроена с описанием некоторых интересных технических деталей и инсайтов, которые будут полезны всем, кто собираются построить свобственное решение для A/B тестов.

via @WebAnalyst

Про офлайн А/Б-тестирование в ритейле:
https://habr.com/company/ods/blog/416101/

4 ошибки при проведении A/B-тестов с помощью Firebase Remote Config:
https://towardsdatascience.com/4-mistakes-that-i-made-while-running-a-b-tests-with-firebase-remote-config-f7b17f18b34a

Бесплатный митап про то, как готовить, запускать и анализировать эксперименты (A/B тесты) на ценах и заниматься ценообразованием в компании.
Москва. 17 августа с 10:00 до 16:00.
http://price-discovery.tilda.ws/

​​Лучшие доклады по аналитике на DevGAMM-2019

• Способы добычи инсайтов и генерации гипотез. Что лучше, качественные исследования или количественные? Кто скажет больше, данные о пользователях или сами пользователи?

• О разработке и улучшению системы персонализации офферов, начиная от внедрения максимально простой системы и заканчивая развитием ML-моделей.

• Как нужно оценивать и прогнозировать качество трафика. Чем лучше компания справляется с этой задачей, тем быстрее она сможет отключить неэффективные кампании и перенаправить средства в более прибыльные источники.

• Самая большая проблема A/B-тестов – это качественный анализ результатов. Об основных ошибках аналитиков с точки зрения математики и сходимости тестов и bootstrap, p-value, его ресэмплинге и проблеме ранговых критериев.

• Кто виноват: продукт или закупка, если падает ROI и когда сравнение с органическим трафиком не устраивает?

via @ProductAnalytics

Как визуализировать доверительные интервалы для АВ-теста в Tableau?

https://medium.com/@dioariadi/create-confidence-interval-graph-for-a-b-testing-in-tableau-576fb2367ae

A/B-тестирование: стоимости правильных и ошибочных решений

https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html

Доверяй, но проверяй: почему нужно проводить А/B-тестирование (статья-обзор доклада Валерия Бабушкина с прошлогоднего Матемаркетинга @matemarketing_official)

https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/

via @ABtesting

Статистическая значимость для небиномиальных показателей - доход для пользователя и пр.:

http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/

T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html

via @ABtesting

Применение Bayesian подхода в A/B тестах:

https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02

Калькулятор Bayesian A/B test for conversion:
https://vidogreg.shinyapps.io/bayes-conversion-test/

via @ABtesting

Firebase Tutorial: iOS A/B Testing:
https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing

via @ABtesting