Видео с AIC. Analytics Day 2017:

Искандер Мирмахмадов, AIC. А/Б-тестирование “быстрых”, но сложных в реализации гипотез: https://vimeo.com/211087235.
Владислав Исмагилов, Яндекс. А/Б-тестирование в Яндекс.Маркет: https://vimeo.com/211085679.
Виталий Черемисинов, AIC. Принципы А/Б-тестирования: https://vimeo.com/211083513.
Виктория Гончарова, Avito. Когда не нужно проводить А/B-тесты: https://vimeo.com/211080787.
Александр Сергеев, Едадил. Почему полезно проводить разборы сессий: https://vimeo.com/211079157.
Айгуль Юльякшина, Lamoda. Почему статистическая значимость теста — это еще не победа: https://vimeo.com/211075624.

Важное напоминание при выборе метрик для A/B теста. Должна быть только одна главная метрика, на основании сравнения которой по тестовой и контрольной группам мы будем принимать решение об успешности или неуспешности эксперимента.
Остальные метрики должны могут быть только вспомогательными, они помогут понять, за счет чего главная метрика изменилась.
И никаких разговоров типа "у меня четыре показателя лучше а один хуже", конечно, не может быть.

Завершил изучение 1 модуля курса по A/B тестам от devtodev. Хоть они про игры, но принципы и логика работы, подготовки и проведения тестов едины.
1 модуль посвящен подготовке теста: работа в гипотезами, планирование, дизайн эксперимента, определение выборки и сроков.
Как вводная часть очень даже нормально - информация доступна, достаточно подробно. И куча крутых дополнительных материалов.

​​Хорошая база знаний по А/Б-тестам:
https://exp-platform.com

via @ABtesting

​​Как платформы для экспериментов, такие как Optimizely, игнорируют один из самых фундаментальных принципов AB-тестирования:
https://towardsdatascience.com/unlocking-peeking-in-ab-tests-7847b9c2f6bb

via @ABtesting

Новое эссе на GoPractice!

“Как в Flo повысили долю успешных A/B тестов на 30% через внедрение нового процесса работы с гипотезами”

Дима Золотухин, Head of Analytics Flo (мобильное приложение № 1 в сфере женского здоровья), делится тем, как они повысили долю успешных экспериментов в компании на 30% через упразднение монополии на формулирование гипотез, а также введение эффективных процессов их приоритизации и тестирования.

Внутри вы найдете шаблон для формулирования гипотезы, алгоритм приоритизации, а также ряд других полезных артефактов, чтобы перенести опыт Flo на свою команду или компанию.

https://gopractice.ru/how_to_increase_the_number_of_successful_experiments/

Обсудить прочитанное можно в чате Ask Kevin! https://news.1rj.ru/str/askkevin

​​PlanOut.js - библиотека, разработанная Facebook для A/B-тестирования. Помогает проводить тесты более качественно:
https://nimeetshah.medium.com/how-to-implement-an-a-b-testing-framework-in-reactjs-with-planout-f36c3fa29940

via @ABtesting

​​4 ошибки A/B-тестирования и как их исправлять:
https://towardsdatascience.com/a-b-testing-top-4-mistakes-with-business-cases-fixes-85e76767dfde

via @ABtesting

Замечательная статья под названием "Как не нужно проводить A/B тест: https://www.evanmiller.org/how-not-to-run-an-ab-test.htmlт

Ребята из EXPF подготовили отличный перевод статьи про методику проведения экспериментов Switchback. Эта техника тестирования полезна в условиях сильного влияния наблюдений (например, таксистов, курьеров или потребителей) друг на друга — эту проблему еще называют как “социальный эффект” или Network Effect.

В Ситимобил уже успешно внедряется свитчбэк-тестирование. В конце статьи вы можете прочитать комментарий об их опыте и впечатления от использования свитчбэка из первых уст.

Switchback-тестирование. Как бороться с социальными эффектами в A/B-тестах

16 марта у EXPF стартует интенсив «Математическая статистика и A/B-тесты», где будут на практике рассмотрены основные методологические и математические проблемы A/B тестирования. Этот интенсив будет полезен всем, кто хочет начать разбираться в теме и начать проводить A/B тесты так, чтобы их результатам можно было доверять.

​​Хороший справочник по A/B-тестированию и выбору критериев с примерами кода на Python.

via @ProductAnalytics

Иногда требуется рассчитать стат. значимость прямо в BigQuery для отчета в Data Studio. Мне недавно пришлось это делать. Помощь подоспела: https://towardsdatascience.com/google-datastudio-dashboard-how-to-add-a-b-test-significance-level-in-5-minutes-8b839f28a332

Отличный доклад Валерия Бабушкина с Матемаркетинга 2018 про альтернативное проведение АБ тестов https://www.youtube.com/watch?v=XWw4Wi6K0QU

И презентация к докладу https://drive.google.com/file/d/1eQ73-jY_c2ejsaq6267AQNqNZFxNoFRy/view

Beyond Power Analysis: Metric Sensitivity in A/B Tests

У Майков пару дней назад вышла новая статья про оптимизацию чувствительности метрик!

В статье описываются уже известные методики по работе с метрикой (например, логарифмирование или использование техники сокращения дисперсии), но зато коротко, ясно и понятно. Помимо этого, в статье описано то, как вы можете использовать исторические эксперименты для получения знаний о направленности метрики.

https://www.microsoft.com/en-us/research/group/experimentation-platform-exp/articles/beyond-power-analysis-metric-sensitivity-in-a-b-tests/

#карпов #вебинар
Вчера прошел вебинар Анатолия Карпова про проблемы подглядывания в АБ тестах https://www.youtube.com/watch?v=jnFVmtaeSA0&t=2034s

И еще вебинар с отличными спикерами: Романом Поборчим, Валерием Бабушкиным, Искандером Мирмахмадовым, Данилой Леньков, Еленой Швец. https://www.youtube.com/watch?v=4yX3dBD8RcI

Свежая статься Искандера Мирмахмадова про работу с социальными эффектами при работе с АБ тестами, https://bit.ly/3tYNWlr

Есть часто встречающаяся проблема при проведении АБ тестов - неравномерное деление трафика, например, 80%/20% или 90%/10%. Конечно, этого лучше избегать, но не всегда это возможно. Спланировать продолжительность теста в таком случае - тоже проблема. Распространенный калькуляторы предполагают, что трафик будет делиться поровну.
Статьи про особенности АБ тестов с неравным делением трафика и ссылка на калькулятор:
- https://bit.ly/3aQLRkY
- https://bit.ly/2S9G6HN
- https://www.statsig.com/calculator

Как считать A/B, когда у вас зеттабайты данных? Что?!

В новой статье Microsoft подробно описывают трюки, которые позволят считать эксперименты на зеттабайтах данных (1зб = 1000 тб). На случай, если у вас вдруг где-то завалялось несколько винчестеров, статья будет полезна в решении задачи (ну мало ли)

Читать статью

Switchback-эксперименты в Ситимобил. Часть 1

Наши друзья из команды динамического ценообразования Ситимобил написали подробную статью про работу Switchback’а в их компании, тем самым начав серию статей посвященных этому особому способу сплитования.

Switchback – метод сплитования групп, где единицей рандомизации является не пользователь, а бакет по признакам гео и времени. Благодаря чему удается нивелировать социальный эффект и тем самым исключить влияние тестовой группы на контрольную.

EXPF также принимали участие в проекте по разработке свитчбэка в Ситимобиле. В команде Ситимобила работают сильные специалисты и поэтому не было ни минуты сомнения, что свитчбэк «взлетит».

Читать статью на Хабре