Forwarded from Product Analytics
Лучшие доклады по аналитике на DevGAMM-2019
• Способы добычи инсайтов и генерации гипотез. Что лучше, качественные исследования или количественные? Кто скажет больше, данные о пользователях или сами пользователи?
• О разработке и улучшению системы персонализации офферов, начиная от внедрения максимально простой системы и заканчивая развитием ML-моделей.
• Как нужно оценивать и прогнозировать качество трафика. Чем лучше компания справляется с этой задачей, тем быстрее она сможет отключить неэффективные кампании и перенаправить средства в более прибыльные источники.
• Самая большая проблема A/B-тестов – это качественный анализ результатов. Об основных ошибках аналитиков с точки зрения математики и сходимости тестов и bootstrap, p-value, его ресэмплинге и проблеме ранговых критериев.
• Кто виноват: продукт или закупка, если падает ROI и когда сравнение с органическим трафиком не устраивает?
via @ProductAnalytics
• Способы добычи инсайтов и генерации гипотез. Что лучше, качественные исследования или количественные? Кто скажет больше, данные о пользователях или сами пользователи?
• О разработке и улучшению системы персонализации офферов, начиная от внедрения максимально простой системы и заканчивая развитием ML-моделей.
• Как нужно оценивать и прогнозировать качество трафика. Чем лучше компания справляется с этой задачей, тем быстрее она сможет отключить неэффективные кампании и перенаправить средства в более прибыльные источники.
• Самая большая проблема A/B-тестов – это качественный анализ результатов. Об основных ошибках аналитиков с точки зрения математики и сходимости тестов и bootstrap, p-value, его ресэмплинге и проблеме ранговых критериев.
• Кто виноват: продукт или закупка, если падает ROI и когда сравнение с органическим трафиком не устраивает?
via @ProductAnalytics
Как визуализировать доверительные интервалы для АВ-теста в Tableau?
https://medium.com/@dioariadi/create-confidence-interval-graph-for-a-b-testing-in-tableau-576fb2367ae
https://medium.com/@dioariadi/create-confidence-interval-graph-for-a-b-testing-in-tableau-576fb2367ae
Medium
Create Confidence Interval Graph for A/B Testing in Tableau
If you are an analyst or someone who did some experiment and wondering whether your experiment was successful or not. This tutorial can…
A/B-тестирование: стоимости правильных и ошибочных решений
https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html
https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html
Blogspot
A/B-тестирование: стоимости правильных и ошибочных решений
ретеншн клиентов, LTV, a/b тесты, продуктовая аналитика
Доверяй, но проверяй: почему нужно проводить А/B-тестирование (статья-обзор доклада Валерия Бабушкина с прошлогоднего Матемаркетинга @matemarketing_official)
https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/
via @ABtesting
https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/
via @ABtesting
Think with Google
Think with Google - Discover Marketing Research & Digital Trends
Uncover the latest marketing research and digital trends with data reports, guides, infographics, and articles from Think with Google.
Статистическая значимость для небиномиальных показателей - доход для пользователя и пр.:
http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/
T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html
via @ABtesting
http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/
T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html
via @ABtesting
Blog for Web Analytics, Statistics and Data-Driven Internet Marketing | Analytics-Toolkit.com
Statistical Significance for Non-Binomial Metrics – Revenue per User, AOV, etc.
Применение Bayesian подхода в A/B тестах:
https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02
Калькулятор Bayesian A/B test for conversion:
https://vidogreg.shinyapps.io/bayes-conversion-test/
via @ABtesting
https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02
Калькулятор Bayesian A/B test for conversion:
https://vidogreg.shinyapps.io/bayes-conversion-test/
via @ABtesting
Telegraph
Применение Bayesian подхода в A/B тестах
Я очень увлечен оптимизацией процессов, и классический вариант проведения A/B тестов меня не устраивал долгое время. Ощущение что все, или почти все продакты просто приняли способ обработки теста как так должно быть и не ищут новых путей. Есть калькулятор…
Firebase Tutorial: iOS A/B Testing:
https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing
via @ABtesting
https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing
via @ABtesting
kodeco.com
Firebase Tutorial: iOS A/B Testing
iOS A/B Testing is an effective way to test user experiences in iOS apps. Learn how Firebase makes it easy to run experiments and review results.
Bayesian подход в A/B тестах на примере бейсбольной статистики с примерами кода на R:
http://varianceexplained.org/r/bayesian_ab_baseball/
via @ABtesting
http://varianceexplained.org/r/bayesian_ab_baseball/
via @ABtesting
Variance Explained
Understanding Bayesian A/B testing (using baseball statistics)
Previously in this series
Forwarded from WebAnalytics (Осиюк Дмитрий)
В Google Optimize появилась возможность через визуальный редактор вносить изменения для эксперимента сразу на нескольких группах страниц. Это полезно, когда в рамках одного теста нужно сделать разные изменения на странице товара и на странице оформления заказа. Пока что фича доступна в beta режиме. Более подробная информация в справке: http://bit.ly/2zdLRYg.
via @WebAnalyst
via @WebAnalyst
Forwarded from Интернет-аналитика // Алексей Никушин (Алексей Никушин)
В продолжение темы A/B-тестирования.
На Матемаркетинге будет огромная секция посвященная сплит-тестам.
Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана
Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.
Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.
На какие вопросы получим ответ:
- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.
Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.
Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj
Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.
Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.
Ждем вас на Матемаркетинге.
https://matemarketing.ru/
На Матемаркетинге будет огромная секция посвященная сплит-тестам.
Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана
Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.
Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.
На какие вопросы получим ответ:
- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.
Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.
Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj
Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.
Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.
Ждем вас на Матемаркетинге.
https://matemarketing.ru/
Когда деньги — это основная метрика в А/Б-тесте:
https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/
via @ABtesting
https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/
via @ABtesting
Think with Google
Think with Google - Discover Marketing Research & Digital Trends
Uncover the latest marketing research and digital trends with data reports, guides, infographics, and articles from Think with Google.
Forwarded from Матемаркетинг: новости конференций
7 классных докладов с прошлогоднего Матемаркетинга.
В этом году - темы еще круче и их больше
@matemarketing_official
Share, please!
В этом году - темы еще круче и их больше
@matemarketing_official
Share, please!
YouTube
MM-BEST-2018
Первая часть наиболее прикладных докладов конференции Матемаркетинг Совсем скоро Матемаркетинг-2019 Подробности: https://matemarketing.ru/ Программа: http://...
Дельные советы. О самых частых ошибках в A/B тестировании: https://medium.com/manomano-tech/a-b-testing-10-common-mistakes-we-all-make-97a5030f1d44
via @ABtesting
via @ABtesting
Forwarded from Интернет-аналитика // Алексей Никушин (Алексей Никушин)
Отличная статья от ребят из X5. Всем ребятам с рынка рекомендую ознакомиться, дабы расширить свой кругозор и иметь представление, как могут проводиться АБ-тесты в оффлайн ритейле.
https://habr.com/ru/company/X5RetailGroup/blog/466349/
https://habr.com/ru/company/X5RetailGroup/blog/466349/
Хабр
Как проводить A/B-тестирование на 15 000 офлайн-магазинах
Привет! На связи команда Ad-hoc аналитики Big Data из X5 Retail Group. В этой статье мы расскажем о нашей методологии A/B-тестирования и сложностях, с которыми...
Обучение статистике с помощью интерактивных визуализаций от Daniel Kunin
https://seeing-theory.brown.edu
via @ABtesting
https://seeing-theory.brown.edu
via @ABtesting