Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting

Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting

A/B тестирования

Я не рекомендую вводить изменения на сайтах без A/B тестирований. Вам может казаться, что какое-то изменение точно улучшит нужные метрики, но часто случается обратное. И за счет A/B можно тестировать изменения направленные не только на повышение конверсии в заказ. Пример:

На моем сайте trustland.ru я тестировал, как повысить вовлеченность посетителей на страницах с отзывами. В ходе тестов я выявил, как надо переработать боковой блок этих страниц, и что он должен быть слева, а не справа. Благодаря этим изменениям, примерно в 2 раза больше людей, которые заходят прочитать отзывы, начали заходить и на другие страницы сайта. Т.к. улучшились поведенческие факторы, позиции в поисковиках этих страниц начали расти.

К примеру, по запросам популярных онлайн школ: “geekbrains отзывы”, “skillbox отзывы”, “skillfactory отзывы”, сайт в Google стал занимать первое место и обходить более известные порталы.

Несколько полезных материалов по A/B:
1. Зачем и как проводить A/B тесты. Основные инструменты проведения.
2. Про анализ и статистическую значимость A/B тестов
3. Видео о том, как оценивать результаты A/B тестов нематематикам
4. Как устроено A/B тестирование в Avito и как в Яндексе
5. Видео от Академии Яндекса: 5 хаков для ускорения A/B тестирования

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting

Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting

10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting

Онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

На лекции мы обсудим
Методы трансформации данных для увеличения чувствительности метрик
CUPED и его модификации
Виды стратификаций для сокращения дисперсии

Спикеры
Виталий Черемисинов, experiment-fest
Искандер Мирмахмадов, experiment-fest

Когда - 1го апреля
Где - трансляция на youtube
Во сколько - с 20:00 до 22:00
Ссылка на трансляцию придет на почту в день мероприятия.

https://price-discovery.timepad.ru/event/1287320/

​​Как экспериментально оценить предпочтения пользователей, чтобы понять, что менять в продукте? Как проверить свои гипотезы и какие есть инструменты для принятия решений?

1 апреля в 21:00 (мск) ребята из ProductStar проведут бесплатный интенсив: «A/B тестирование, как инструмент для принятия решений».

👨‍🏫 Кто выступит?

Настя Московченко, Technical Manager в Яндекс и Костя Чукреев, Product Machine Learning Developer в Яндекс.

👩‍🏫 О чем пойдет речь?

— Что такое А/B-тестирование?
— Как проводятся А/B тесты и как размер выборки влияет них?
— Как оценить влияние фичи на ваш продукт?
— Как быстро проводить эксперименты и сделать их частью сервиса? Опыт Яндекс.Еды.

Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна.

Зарегистрироваться на вебинар 👉@ProductStarAnalyticsBot

Начинается онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

Ссылка на трансляцию
https://www.youtube.com/watch?v=DtDGYUW0oGY
Начало в 20:00

Программа лекции https://price-discovery.timepad.ru/event/1287320/

@internetanalytics

Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting

EXPF x Яндекс.Практикум. Про эксперименты

В феврале был проведен совместный митап EXPF и Яндекс.Практикум, посвященный онлайн-экспериментам. Обсуждались подходы к анализу A/B-тестирований и как они организованы в разных командах. В митапе приняли участие аналитики и руководители направлений таких компаний как: Skyeng, Avito, X5, Яндекс, Mail ru, Raiffeisen, Uma tech, EXPF

Темы митапа:
- Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов, Mail ru
- Увеличение чувствительности в A/B с помощью Cuped — Валерий Бабушкин, X5, Яндекс
- A/B тесты и как мы их готовим — Станислав Гафаров, Uma tech
- Оценка аналитиков и гайдлайны — Виталий Черемисинов, EXPF
- Как аналитику сделать API для прода и не облажаться — Александр Кучин, Skyeng
- Статистика в АБ мифы и реальность — Данила Леньков, Avito
- Как ускорить А/Б тестирование с помощью машинного обучения — Нерсес Богиян, Raiffeisen

Все видео доступны здесь
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

​​Tripadvisor и модификация CUPED


Мы уже писали выше, что многие компании всячески пытаются найти новые способы увеличения чувствительности метрик за счет оптимизации дисперсии.

Это нужно для увеличения скорости принятия решений по результатам a/b тестов.
В статье Tripadvisor подробно рассказывает про то, какие методы они используют у себя. Отдельно хочется обратить внимание на то, какую модификацию CUPED они предлагают.
Вместо ковариации используется коэффициент детерминации.

Их цитата про модификацию
"A nice benefit of using CUPED is that the resulting R-squared from the centered regression can be interpreted as the percentage variance reduction achieved compared to the normal method (Deng et. al, 2013). In other words, the more accurately we are able to predict the outcome metric using pre-experiment data, the greater the variance reduction. It is also a convenient way to calculate the variance on the estimator."

Это действительно будет работать, если вы хорошо подобрали переменные (потрали значительное время на исследование). В противном случае, результат не оправдает ожиданий.

https://www.tripadvisor.com/engineering/reducing-a-b-test-measurement-variance-by-30/

Про базовую реализацию CUPED можно прочитать в нашей статье

Коррекция дисперсии при bootstrap

При работе с bootstrap часто возникает необходимость работать с bias/varience reduction.

Почему это важно?

Большинство аналитиков используют непараметрическую модификацию bootstrap'а, т.е. не берут в рассчет статистику популяции. Непараметрика может давать достаточно большой bias, а коррекция bias приводить к увеличению дисперсии. Проблемы известны, но вот решения очевидны не всегда.
Прекрасный материал на данную тему от Japan Institute of Statistical Mathematics
https://www.ism.ac.jp/editsec/aism/pdf/062_1_0209.pdf

EXPF 15 апреля в 20-00 проводит бесплатную онлайн лекцию про Bootstrap
Если вы используете bootstrap/планируете использовать/не знаете что можно использовать и хотите узнать больше про особенности, ограничения и возможности – лекция будет вам очень полезна
Про что поговорим на лекции
- Какие есть ограничения использования bootstrap
- Чем параметрический bootstrap отличается от непараметрического
- Почему boot распределение нельзя «скармливать» статистическому критерию
- Как сделать так, чтобы bootstrap был не таким прожорливым
https://price-discovery.timepad.ru/event/1293731/

Team-draft interleaving

Концепция Team-draft interleaving тестов звучит достаточно просто.

Представьте, что вы хотите проверить новый алгоритм ранжирования товаров в каталоге интернет-магазина.
Вместо того, что сравнивать два разных алгоримта на разныых ветках эксперимента - вы покажите пользователю сразу два алгоритма одновременно. Например, каждый второй товар - один алгоритм,каждый третий товар - другой алгоритм. Такой подход к эксперименту позволит невелировать ряд продуктовых факторов, которые будут влияться на его исход.

К этой методологии часто прибегую поисковые системы, чтобы лучше и быстрее оценивать качества новых поисковых алгоритмов.
На что важно обратить внимание
1) Ваши выбрки не независимы - пользователь находится сразу в двух ветках эксперимента. В этом случае дисперсия случайной величины будет считаться не как на независимых выборках и это будет сказываться на методах оценки эксперимента
2) Важно учитывать расположение выдаваемого алгоритмом результата - приоритет выдачи может сильно сказываться на исходах эксперимента

Чтобы лучше разобраться в этой методологии мы предлагаем почитать/посмотреть несколько материалов

1) Как к TDI подходит Netflix - статья без технических и математических нюансов
https://netflixtechblog.com/interleaving-in-online-experiments-at-netflix-a04ee392ec55

2) Paper с описанием статистической части метода от MS, Yahoo и Cornell University
https://www.cs.cornell.edu/people/tj/publications/chapelle_etal_12a.pdf

3) Очень доступный доклад от Романа Поборчего на AIC Analytics Day
https://www.youtube.com/watch?v=voY7waRb_D0

Хороший гайд по Байесовскому А/В-тестированию:

https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a

via @ABtesting

Оценка качества систем сплитования

Если составить рейтинг того, про что забывают при проверке гипотез или разработке новых метрик - то A/A тесты войдут в топ 3.
A/A тесты требуются не только для проверки качества систем сплитования, но и для выбора метрик.
Не каждая метрика подходит для экспериментов в силу своих описательных особенностей.

Очень доступная статья про то, как проверить качество своей системы a/b тестов - https://habr.com/ru/company/hh/blog/321386/

Материалы с прошедшей лекции по бутстрапу 15.04.2020

Скачать презентацию и R скрипт можно здесь
Запись стрима лекции на ютубе здесь

Материалы

A/B тестирование — это неотъемлемая часть работы над продуктом. С его помощью можно проверить гипотезу о том, поменяется ли выбранная продуктовая метрика, если изменить что-то в продукте, — например, увеличится ли количество пользователей, если изменить дизайн страницы регистрации. Для этого сравниваются результаты в тестовой и контрольной группах пользователей: первой выборке показывают новое решение, а у контрольной группы продукт остаётся неизменным.

При этом важно проверить, будет ли изменение статистически значимым: подтвердить, что наблюдаемая разница у тестовой и контрольных групп действительно связана с нововведениями в продукте, а не является случайностью. Для этого можно применять традиционный (частотный) или байесовский подход к A/B тестированию. У обоих методов есть свои сторонники и противники, но байесовский подход позволяет проще визуализировать данные и интерпретировать результат эксперимента. Академия Яндекса перевела статью из блога Towards Data Science о том, как провести байесовское A/B тестирование и разобраться в его работе.

https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python