Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
Audun M Øygard
Rapid A/B-testing with Sequential Analysis
A common issue with classical A/B-tests, especially when you want to be able to detect small differences, is that the sample size needed can be prohibitively large. In many cases it can take several w
Forwarded from Product Analytics
Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
CXL
A/B Testing Statistics: An Easy-to-Understand Guide
A/B testing statistics are easier to master than you think. Rely on the expertise of the best-known practitioners to run tests right.
Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
YouTube
A/B Experementation Platform. Данила Леньков, Avito
В этом докладе Данила Леньков рассказывает как устроено A/B тестирование в Avito:
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
Reforge
Good Experiment, Bad Experiment | Reforge Blog
Reforge drives team performance, with the most actionable learning from vetted operators that your team will actually use and apply.
Forwarded from Product Analytics
Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
Forwarded from BigQuery Insights
Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
CXL
Advanced A/B Testing Panel with Top Experts [Video]
At CXL Live 2015 we had an amazing a/b split testing panel featuring statistics and testing gurus Lukas Vermeer from Booking.com, Matt Gershoff from
10 статистических ловушек в А/Б тестировании:
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
CXL
10 Statistics Mistakes and Traps in A/B Testing: The Guide for Optimizers
Learn the 10 most important statistical traps to avoid when doing A/B testing if you want to have statistically significant results.
Появились видеозаписи с Experiment Fest x Яндекс.Практикум:
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
YouTube
001. Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов
Доклад с совместного митапа Expfest x Яндекс.Практикум. Про эксперименты
Хороший гайд по Байесовскому А/В-тестированию:
https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a
via @ABtesting
https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a
via @ABtesting
Medium
Bayesian A/B Testing with Python: the easy guide
If you landed on this page, you already know what an A/B test is, but maybe you have some doubt on how to analyse the results within a…
Доступно и просто о статистике A/B-тестов.
Несколько примеров:
https://medium.com/@rezwan.islam99
via @ABtesting
Несколько примеров:
https://medium.com/@rezwan.islam99
via @ABtesting
Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019 на тему анализа А/В-тестов (Ссылка).
Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.
По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.
Ссылка на telegram-чат (будет удален по окончании лекции)
via @ABtesting
Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.
По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.
Ссылка на telegram-чат (будет удален по окончании лекции)
via @ABtesting
YouTube
Анатолий Карпов - A/B-тестирование: как сделать так, чтобы оно заработало
Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/
A/B-тесты - главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов…
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/
A/B-тесты - главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов…
Как оценить качество системы A/B-тестирования:
https://habr.com/ru/company/hh/blog/321386/
via @ABtesting
https://habr.com/ru/company/hh/blog/321386/
via @ABtesting
Хабр
Как оценить качество системы A/B-тестирования
Вот уже более полугода в компании используется единая система для проведения A/B-экспериментов. Одной из самых важных частей этой системы является процедура проверки качества, которая помогает нам...
Forwarded from BigQuery Insights
@AnalyzeCore - новый канал про аналитику, данные и их визуализацию от Сережи Брыля, автора блога analyzecore.com.
@BigQuery
@BigQuery
Forwarded from Product Analytics
Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4
via @ProductAnalytics
via @ProductAnalytics
YouTube
Игорь Яшков, Яндекс.Поиск - Как валидировать и развивать метрики
Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/
Лекция заставляет задуматься об области применимости метрик, которые используют слушатели. Представлены…
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/
Лекция заставляет задуматься об области применимости метрик, которые используют слушатели. Представлены…