​​В Google Data Studio (пока что) нет встроенных статистических функций, например, которые позволяют убедиться, что анализируемые данные получены не случайно. Нашел статью, где с помощью Community visualizations эту проблему решили и выложили в открытый доступ визуализацию с расчетом статистической значимости метрик по методу хи-квадрат. Как этим пользоваться и как добавить в свой дашборд такое решение — по ссылке: http://bit.ly/2MJzNW4.

via @WebAnalyst

Небольшой гайд как подходить к А/В-тестированию:
https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e

via @ABtesting

Краткий видео-курс по байесовскому тестированию:
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5

via @ABtesting

Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов

https://www.youtube.com/watch?v=UJkXIqSzlAo

via @ABtesting

Методы автоматизации А/B-тестов и какие тесты автоматизировать нельзя (видео митапа):
https://www.youtube.com/watch?v=r1OXJ4qWXg4

via @ABtesting

Множественные эксперименты: теория и практика: https://habr.com/ru/company/yandex/blog/476826/

via @ABtesting

Как устроено A/B-тестирование в разных компаниях:

• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/

• Netflix - https://medium.com/netflix-techblog

• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166

• Uber - https://eng.uber.com/xp/

• Microsoft - https://exp-platform.com/experiments-at-microsoft/

• Avito - https://habr.com/ru/company/avito/blog/454164/

• Yandex - https://habr.com/company/yandex/blog/342704/

via @ProductAnalytics

​​Wix в очередной раз делает в Киеве бесплатный митап для аналитиков. 12 декабря Инна из Wix поделится кейсами неожиданных результатов A/B тестов, а Саша из MacPaw расскажет про проведение A/B тестов в стартапах. Кстати, у Саши есть свой канал про аналитику на базе Google BigQuery, подписывайтесь: @BigQuery.

Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF

via @WebAnalyst

​​«A/B-тестирование в стартапах или Как делать тесты быстрее»

Сжатое содержание моего доклада с митапа для аналитиков от Wix.

via @BigQuery

Сравнение частотного и байесовского подхода к A/B-тестированию:
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/

via @ABtesting

Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/

via @ABtesting

How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/

via @ABtesting

A/B - тесты для нематематиков - Роман Поборчий
https://youtu.be/0mnyLueRY5s?t=42

via @ABtesting

Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/

via @ABtesting

Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/

via @ProductAnalytics

Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting

Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting

Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."

https://arxiv.org/abs/2001.10488

via @ProductAnalytics

​​Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.

Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.

via @BigQuery

Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting