A/B - тесты для нематематиков - Роман Поборчий
https://youtu.be/0mnyLueRY5s?t=42

via @ABtesting

Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/

via @ABtesting

Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/

via @ProductAnalytics

25-26 апреля пройдет очередной интерсив по математической статистике и a/b тестам от ExperimentFest.
За два дня на интенсиве будут разобраны такие важные аспекты a/b тестов как:
-методы сокращения дисперсии и увеличение чувствительности метрики - слушатели узнают, как увеличивать чувствительность метрик и проводит свои a/b тесты быстрее
-методы оценки результатов - будут разобраны базовые и продвинутые методы оценки результатов a/b тестов
-как бороться с проблемой подглядывания и как в этом помогает статистика
-как определять минимальный объем выборки
-как в a/b тестах оценивать разные метрики - от CTR до ARPPU
-практическая часть с реальными рейсами
Все знания закрепляются на доступным тренажерах, а все участники по итогу интенсивна получат гайдуки анализа a/b тестов для применения в своей работе
Скидки 5 000 рублей на оффлайн часть по промокоду «cuped»
https://www.experiment-fest.ru/ab_course

Подборка материалов по математической статистике и экспериментам:
https://medium.com/statistics-experiments/материалы-по-математической-статистике-и-экспериментам-1-0-d065751b07c6

via @ABtesting

Старое доброе и очень эффективное A/B тестирование.
История из наших рабочих будней: Райффайзенбанк в 2,2 раза увеличил онлайн-продажи с помощью Google Optimize.

Читать дальше ⬇️
https://www.owox.com/c/4ir

Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting

Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting

A/B тестирования

Я не рекомендую вводить изменения на сайтах без A/B тестирований. Вам может казаться, что какое-то изменение точно улучшит нужные метрики, но часто случается обратное. И за счет A/B можно тестировать изменения направленные не только на повышение конверсии в заказ. Пример:

На моем сайте trustland.ru я тестировал, как повысить вовлеченность посетителей на страницах с отзывами. В ходе тестов я выявил, как надо переработать боковой блок этих страниц, и что он должен быть слева, а не справа. Благодаря этим изменениям, примерно в 2 раза больше людей, которые заходят прочитать отзывы, начали заходить и на другие страницы сайта. Т.к. улучшились поведенческие факторы, позиции в поисковиках этих страниц начали расти.

К примеру, по запросам популярных онлайн школ: “geekbrains отзывы”, “skillbox отзывы”, “skillfactory отзывы”, сайт в Google стал занимать первое место и обходить более известные порталы.

Несколько полезных материалов по A/B:
1. Зачем и как проводить A/B тесты. Основные инструменты проведения.
2. Про анализ и статистическую значимость A/B тестов
3. Видео о том, как оценивать результаты A/B тестов нематематикам
4. Как устроено A/B тестирование в Avito и как в Яндексе
5. Видео от Академии Яндекса: 5 хаков для ускорения A/B тестирования

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting

Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting

10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting

Онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

На лекции мы обсудим
Методы трансформации данных для увеличения чувствительности метрик
CUPED и его модификации
Виды стратификаций для сокращения дисперсии

Спикеры
Виталий Черемисинов, experiment-fest
Искандер Мирмахмадов, experiment-fest

Когда - 1го апреля
Где - трансляция на youtube
Во сколько - с 20:00 до 22:00
Ссылка на трансляцию придет на почту в день мероприятия.

https://price-discovery.timepad.ru/event/1287320/

​​Как экспериментально оценить предпочтения пользователей, чтобы понять, что менять в продукте? Как проверить свои гипотезы и какие есть инструменты для принятия решений?

1 апреля в 21:00 (мск) ребята из ProductStar проведут бесплатный интенсив: «A/B тестирование, как инструмент для принятия решений».

👨‍🏫 Кто выступит?

Настя Московченко, Technical Manager в Яндекс и Костя Чукреев, Product Machine Learning Developer в Яндекс.

👩‍🏫 О чем пойдет речь?

— Что такое А/B-тестирование?
— Как проводятся А/B тесты и как размер выборки влияет них?
— Как оценить влияние фичи на ваш продукт?
— Как быстро проводить эксперименты и сделать их частью сервиса? Опыт Яндекс.Еды.

Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна.

Зарегистрироваться на вебинар 👉@ProductStarAnalyticsBot

Начинается онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

Ссылка на трансляцию
https://www.youtube.com/watch?v=DtDGYUW0oGY
Начало в 20:00

Программа лекции https://price-discovery.timepad.ru/event/1287320/

@internetanalytics

Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting

EXPF x Яндекс.Практикум. Про эксперименты

В феврале был проведен совместный митап EXPF и Яндекс.Практикум, посвященный онлайн-экспериментам. Обсуждались подходы к анализу A/B-тестирований и как они организованы в разных командах. В митапе приняли участие аналитики и руководители направлений таких компаний как: Skyeng, Avito, X5, Яндекс, Mail ru, Raiffeisen, Uma tech, EXPF

Темы митапа:
- Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов, Mail ru
- Увеличение чувствительности в A/B с помощью Cuped — Валерий Бабушкин, X5, Яндекс
- A/B тесты и как мы их готовим — Станислав Гафаров, Uma tech
- Оценка аналитиков и гайдлайны — Виталий Черемисинов, EXPF
- Как аналитику сделать API для прода и не облажаться — Александр Кучин, Skyeng
- Статистика в АБ мифы и реальность — Данила Леньков, Avito
- Как ускорить А/Б тестирование с помощью машинного обучения — Нерсес Богиян, Raiffeisen

Все видео доступны здесь
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

​​Tripadvisor и модификация CUPED


Мы уже писали выше, что многие компании всячески пытаются найти новые способы увеличения чувствительности метрик за счет оптимизации дисперсии.

Это нужно для увеличения скорости принятия решений по результатам a/b тестов.
В статье Tripadvisor подробно рассказывает про то, какие методы они используют у себя. Отдельно хочется обратить внимание на то, какую модификацию CUPED они предлагают.
Вместо ковариации используется коэффициент детерминации.

Их цитата про модификацию
"A nice benefit of using CUPED is that the resulting R-squared from the centered regression can be interpreted as the percentage variance reduction achieved compared to the normal method (Deng et. al, 2013). In other words, the more accurately we are able to predict the outcome metric using pre-experiment data, the greater the variance reduction. It is also a convenient way to calculate the variance on the estimator."

Это действительно будет работать, если вы хорошо подобрали переменные (потрали значительное время на исследование). В противном случае, результат не оправдает ожиданий.

https://www.tripadvisor.com/engineering/reducing-a-b-test-measurement-variance-by-30/

Про базовую реализацию CUPED можно прочитать в нашей статье

Коррекция дисперсии при bootstrap

При работе с bootstrap часто возникает необходимость работать с bias/varience reduction.

Почему это важно?

Большинство аналитиков используют непараметрическую модификацию bootstrap'а, т.е. не берут в рассчет статистику популяции. Непараметрика может давать достаточно большой bias, а коррекция bias приводить к увеличению дисперсии. Проблемы известны, но вот решения очевидны не всегда.
Прекрасный материал на данную тему от Japan Institute of Statistical Mathematics
https://www.ism.ac.jp/editsec/aism/pdf/062_1_0209.pdf

EXPF 15 апреля в 20-00 проводит бесплатную онлайн лекцию про Bootstrap
Если вы используете bootstrap/планируете использовать/не знаете что можно использовать и хотите узнать больше про особенности, ограничения и возможности – лекция будет вам очень полезна
Про что поговорим на лекции
- Какие есть ограничения использования bootstrap
- Чем параметрический bootstrap отличается от непараметрического
- Почему boot распределение нельзя «скармливать» статистическому критерию
- Как сделать так, чтобы bootstrap был не таким прожорливым
https://price-discovery.timepad.ru/event/1293731/