A/B тесты для чайников

Кто ты без A/B тестов? Точно не аналитик😁
Обычно, джуну нужно уметь считать t-критерий и конверсии в онлайн-калькуляторе (только не бейте), но можно и нужно уметь применять всё.

Грубый алгоритм такой:
1) Выбираем метрику для отслеживания (клики по кнопке, средний чек, длительность сеанса и пр.). Запускаем и ждем.
2) Готовим данные
3) Смотрим на прикрепленную схему, которую я взял с крутого канала
4) Гуглим мануалы для расчета нужного теста в питоне. Желательно почитать теорию (снова рекомендую книгу С.Гланца)
5) Считаем, визуализируем
6) Показываем и доказываем результат команде
7) Profit!

Байесовское тестирование: https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a

Отличный разговор про проведение AB тестов Анатолия Карпова и Никиты Маршалкина из VK: https://www.youtube.com/watch?v=gljfGAkgX_o

Новые материалы по А/B-тестированию. Открываем доступ к докладам из секции про эксперименты на Матемаркетинге-2019. В 2019 году у нас было 7 тем, посвященных экспериментам

= = = =
Ближайшая конференция — Матемаркетинг-2020 — состоится 9-13 ноября в формате online
Программа конференции
Все подробности: https://matemarketing.ru
= = = =

Игорь Яшков из Яндекс.Поиска научил валидировать и развивать метрики
Валерий Бабушкин из Х5 Retail Group научил ускорять сотни А/Б-тестов в десятки раз
Дарья Чиркина из Яндекса привела практические кейсы построения аналитической инфраструктуры в небольших интернет-компаниях.
Искандер Мирмахмадов из EXPF научил увеличивать чувствительность метрик
Анатолий Карпов рассказал о том, как сделать так, чтобы А/В-тестирование заработало
Максим Сергеев из Яндекс.Еды рассказал о marketplace efficiency в Яндекс.Еде
Данила Леньков из Avito рассказал об инфраструктуре A/B-тестирования в Avito для централизации обработки результатов экспериментов.

= = = = =
В 2020 году у нас новые темы, посвященные экспериментам

Дмитрий Гущин, co-founder Stereo7 - Эксперименты в мобильных приложениях
- проблемы с А/В-тестами специфичные для мобильных приложений.
- как неправильно считать деньги в А/В-тестах.
- как правильно считать деньги в А/В-тестах.
- как запускать много А/В-тестов. Кейсы.
Эмели Драль, CTO Evidently AI - Генерация и проверка сильных гипотез, А-А/А-В-тесты
- как отобрать лучшие гипотезы-кандидаты для проведения теста?
- как оценить оптимальный размер группы?
- как оптимизировать длительность теста?
- как убедиться в корректности разбиения?
- как отличить краткосрочный эффект от продолжительного?
+ чек-лист по разработке дтизайна и проведению АБ тестирования.
Виталий Черемисинов, Experiment Fest - блиц-формат на тему как искать прокси метрики в продуктах
Олег Хомюк, Head of R&D Lamoda - блиц-формат про применение методов data science в экспериментах, проверке гипотез в e-commerce и смежных темах.
Игорь Полянский, Head of Analytics Gett - Быстрая приоритезация UX-гипотез
Разбираем проблемы развитой продуктовой аналитики (низкая значимость фичей и их кумулятивное влияние). Кейс Gett: LightGBM с SHAP interpreter для множественное проверки гипотез, результаты, learnings. Делаем разбор применения метода для других метрик, “за” и “против”.
= = = = =

Полная программа конференции: https://bit.ly/3iMiT6Z

@internetanalytics

​​Отличный Гайд по байесовской статистике и немного о байесовском A/B-тестировании и проверке гипотез.

via @ABtesting

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be

Дисбаланс в A/B-тестах. Есть ли разница между 99/1 % и 50/50 % в экспериментах?

Провели небольшое исследование и написали статью про несбалансированные A/B-тестирования. Как оказалось, проводя A/B на несбалансированных выборках, существенно возрастает вероятность упустить значимые различия, если они есть. В статье представлены результаты анализа и наши мысли на этот счет

Читать статью на Медиуме

A/B-тесты - не единственный инструмент для понимания причинно-следственной связи: квазиэксперименты и контрфакты - альтернативные инструменты для причинного вывода:
https://medium.com/data-shopify/how-to-use-quasi-experiments-and-counterfactuals-to-build-great-products-487193794da

via @ABtesting

​​Руководство по А/В-тестированию от VK tech:
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

via @ABtesting

Павел Левчук написал хорошую заметку про быструю проверку сплитера при A/B-тестировании

https://ecommerce-in-ukraine.blogspot.com/2020/10/ab-splitter.html

Видео с AIC. Analytics Day 2017:

Искандер Мирмахмадов, AIC. А/Б-тестирование “быстрых”, но сложных в реализации гипотез: https://vimeo.com/211087235.
Владислав Исмагилов, Яндекс. А/Б-тестирование в Яндекс.Маркет: https://vimeo.com/211085679.
Виталий Черемисинов, AIC. Принципы А/Б-тестирования: https://vimeo.com/211083513.
Виктория Гончарова, Avito. Когда не нужно проводить А/B-тесты: https://vimeo.com/211080787.
Александр Сергеев, Едадил. Почему полезно проводить разборы сессий: https://vimeo.com/211079157.
Айгуль Юльякшина, Lamoda. Почему статистическая значимость теста — это еще не победа: https://vimeo.com/211075624.

Важное напоминание при выборе метрик для A/B теста. Должна быть только одна главная метрика, на основании сравнения которой по тестовой и контрольной группам мы будем принимать решение об успешности или неуспешности эксперимента.
Остальные метрики должны могут быть только вспомогательными, они помогут понять, за счет чего главная метрика изменилась.
И никаких разговоров типа "у меня четыре показателя лучше а один хуже", конечно, не может быть.

Завершил изучение 1 модуля курса по A/B тестам от devtodev. Хоть они про игры, но принципы и логика работы, подготовки и проведения тестов едины.
1 модуль посвящен подготовке теста: работа в гипотезами, планирование, дизайн эксперимента, определение выборки и сроков.
Как вводная часть очень даже нормально - информация доступна, достаточно подробно. И куча крутых дополнительных материалов.

​​Хорошая база знаний по А/Б-тестам:
https://exp-platform.com

via @ABtesting

​​Как платформы для экспериментов, такие как Optimizely, игнорируют один из самых фундаментальных принципов AB-тестирования:
https://towardsdatascience.com/unlocking-peeking-in-ab-tests-7847b9c2f6bb

via @ABtesting

Новое эссе на GoPractice!

“Как в Flo повысили долю успешных A/B тестов на 30% через внедрение нового процесса работы с гипотезами”

Дима Золотухин, Head of Analytics Flo (мобильное приложение № 1 в сфере женского здоровья), делится тем, как они повысили долю успешных экспериментов в компании на 30% через упразднение монополии на формулирование гипотез, а также введение эффективных процессов их приоритизации и тестирования.

Внутри вы найдете шаблон для формулирования гипотезы, алгоритм приоритизации, а также ряд других полезных артефактов, чтобы перенести опыт Flo на свою команду или компанию.

https://gopractice.ru/how_to_increase_the_number_of_successful_experiments/

Обсудить прочитанное можно в чате Ask Kevin! https://news.1rj.ru/str/askkevin

​​PlanOut.js - библиотека, разработанная Facebook для A/B-тестирования. Помогает проводить тесты более качественно:
https://nimeetshah.medium.com/how-to-implement-an-a-b-testing-framework-in-reactjs-with-planout-f36c3fa29940

via @ABtesting

​​4 ошибки A/B-тестирования и как их исправлять:
https://towardsdatascience.com/a-b-testing-top-4-mistakes-with-business-cases-fixes-85e76767dfde

via @ABtesting

Замечательная статья под названием "Как не нужно проводить A/B тест: https://www.evanmiller.org/how-not-to-run-an-ab-test.htmlт