Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
Методы автоматизации А/B-тестов и какие тесты автоматизировать нельзя (видео митапа):
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
YouTube
Прямая трансляция пользователя MFMeetUp
Enjoy the videos and music you love, upload original content, and share it all with friends, family, and the world on YouTube.
Множественные эксперименты: теория и практика: https://habr.com/ru/company/yandex/blog/476826/
via @ABtesting
via @ABtesting
Хабр
Множественные эксперименты: теория и практика
В современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и...
Forwarded from Product Analytics
Как устроено A/B-тестирование в разных компаниях:
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
Stack Overflow Blog
From Power Calculations to P-Values: A/B Testing at Stack Overflow
If you hang out on Meta Stack Overflow, you may have noticed news from time to time about A/B tests of various features here at Stack Overflow. We use A/B testing to compare a new version to a baseline for a design, a machine learning model, or practically…
Forwarded from WebAnalytics (Осиюк Дмитрий)
Wix в очередной раз делает в Киеве бесплатный митап для аналитиков. 12 декабря Инна из Wix поделится кейсами неожиданных результатов A/B тестов, а Саша из MacPaw расскажет про проведение A/B тестов в стартапах. Кстати, у Саши есть свой канал про аналитику на базе Google BigQuery, подписывайтесь: @BigQuery.
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Forwarded from BigQuery Insights
«A/B-тестирование в стартапах или Как делать тесты быстрее»
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сравнение частотного и байесовского подхода к A/B-тестированию:
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing | Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing. Mobile marketing and advertising, freemium monetization strategy, and marketing science. Mobile Dev Memo.
Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
Audun M Øygard
Rapid A/B-testing with Sequential Analysis
A common issue with classical A/B-tests, especially when you want to be able to detect small differences, is that the sample size needed can be prohibitively large. In many cases it can take several w
Forwarded from Product Analytics
Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
CXL
A/B Testing Statistics: An Easy-to-Understand Guide
A/B testing statistics are easier to master than you think. Rely on the expertise of the best-known practitioners to run tests right.
Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
YouTube
A/B Experementation Platform. Данила Леньков, Avito
В этом докладе Данила Леньков рассказывает как устроено A/B тестирование в Avito:
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
Reforge
Good Experiment, Bad Experiment | Reforge Blog
Reforge drives team performance, with the most actionable learning from vetted operators that your team will actually use and apply.
Forwarded from Product Analytics
Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
Forwarded from BigQuery Insights
Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
CXL
Advanced A/B Testing Panel with Top Experts [Video]
At CXL Live 2015 we had an amazing a/b split testing panel featuring statistics and testing gurus Lukas Vermeer from Booking.com, Matt Gershoff from
10 статистических ловушек в А/Б тестировании:
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
CXL
10 Statistics Mistakes and Traps in A/B Testing: The Guide for Optimizers
Learn the 10 most important statistical traps to avoid when doing A/B testing if you want to have statistically significant results.
Появились видеозаписи с Experiment Fest x Яндекс.Практикум:
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
YouTube
001. Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов
Доклад с совместного митапа Expfest x Яндекс.Практикум. Про эксперименты