Как проводить умные A/B-тесты в мобильных приложениях с помощью многоруких бандитов?

На платформе Appbooster появился сервис усовершенствованного A/B-тестирования мобильных приложений. В его основе алгоритм, который позволяет проводить эксперименты и тестировать гипотезы с меньшими издержками, чем при классическом A/B-тестировании.

О том, как работает сервис, как проверяли его состоятельность и кому он будет полезен — кейс на vc.ru от Appbooster.

Материалы по экспериментам от Романа Поборчего.

Начнем с простого - A/B-тесты для "нематематиков" о методах грамотного оценивания результатов a/b-тестирования. Особое внимание уделяется вопросу о том, на какую целевую метрику ориентироваться при проведении маркетинговых экспериментов.

Продолжим вопросами дизайна эксперимента. Уже пора задуматься о том, на каких допущениях основан эксперимент: по-настоящему случайное распределение пользователей, независимость измеряемых событий и т.д.

Бывали ситуации, когда вы или вам говорили, что данных недостаточно для решения? Часто это действительно так, но нередко всё дело в поломках системы экспериментов и учёта пользовательской статистики. Рассмотрим типичные поломки, которые встречаются, и у вас появится возможность, вернувшись на рабочее место найти свои.

И на последок - грабли А/В-тестирования. Все изменения в сервисе проходят через эксперимент на пользователях. Выкатываем только то, что показывает значимое улучшение целевой метрики. Да, у нас есть целевая метрика. Да, мы всё знаем про статистическую значимость. Но почему целевая метрика нашего сервиса сегодня находится точно на том же уровне, что и год назад? Разбираемся

= = =

Но мы пошли дальше, нашли "белые пятна" в доступных материалах (не именно этих, а вообще) и закроем их на нашей конференции по продуктовой аналитике 8-9 апреля.

Уже знакомый вам Роман Поборчий расскажет о том, каковы этапы эволюции in-house системы экспериментов в любой компании. Это важно понимать хотя бы потому, что на маленьком и большом трафике абсолютно разные подходы к проведению экспериментов + к этому, Искандер Мирмахмадов, EXPF расскажет как проверять качество систем сплитования трафика на платформах экспериментов с теорией, кейсам и демонстрацией кода на Python. И у вас все сложится в единую систему.

Кроме этого, Андрей Кузнецов, Lead Core Analytics ВКонтакте, готовит лекцию о том, почему регрессионные модели в а/б-тестах — это супер полезно. Он математик и ему есть что сказать. И как вишенка на торте - Кирилл Шмидт, lead product analyst, Wrike. Поговорим с ним о том, что делать, когда а/б-тест невозможен: выборки слишком малы, нет ресурсов, когда вообще не запускать эксперимент.

Ждем вас на нашей конференции уже через 3 недели: https://aha.matemarketing.ru/

@internetanalytics

​​Как внешниие факторы влияют на эксперименты и почему важно запускать долгосрочные тесты.

via @ABtesting

​​Использование модели кластеризации K-means для создания однородных групп людей при A/B-тестировании.

via @ABtesting

​​Хороший материал о рассчете размера выборки для A/B-тесстирования.

via @ABtesting

​​Как анализировать A/B-эксперименты с использованием Bayesian Expected Loss и как его рассчитывать.

via @ABtesting

Как говорят американцы: Кто SQL не знает, тот всю жизнь в экселе отчеты считает! 😎

Новый курс по SQL от Глеба Михайлова, который уже стал хитом на Udemy, поможет вывести твой SQL на новый уровень.

Это SQL именно для анализа данных, и весь SQL Глеб пишет в Jupyter ноутбуке. Это очень удобный подход, потому что весь код хранится в одном месте. А так же можно быстро досчитать что-то в пандас и построить график.

Этот курс рассчитан на тех, кто уже что-то знает об аналитике и представяет что такое питон. Если ты знаешь SQL, но не знаешь питон — этот курс тоже будет тебе очень полезен. Совсем новички тоже смогут пройти курс — разобраться с питоном и Jupyter можно на ходу.

Ссылка заряжена хорошей скидочкой. Усиль свой SQL! 🔥

​​Об алгоритмах многоруких бандитов и сравнение с классическим A/B-тестированием:

https://github.com/raffg/multi_armed_bandit

via @ABtesting

Как проводят эксперименты в Spotify:

https://engineering.atspotify.com/2020/11/02/spotifys-new-experimentation-platform-part-2

via @ABtesting

​​Как проводят эксперименты в Tinder.
Phoenix - платформа для проведения экспериментов:

https://medium.com/tinder-engineering/phoenix-tinders-testing-platform-part-iii-520728b9537

via @ABtesting

​​Ускорение A/B-тестирования с помощью CUPED от Microsoft, метода уменьшения дисперсии с использованием ранее существовавших данных.

via @ABtesting

Как автоматизировать А/В-тестирование и сократить время аналитика на полный цикл до 3-х часов? Тут ребята из Data Science Delivery Club рассказали о своем опыте: отказе от Firebase Console, экспериментах и важных метриках оценки результата.

via @ABtesting

​​Принципы работы с данными от Uber:

https://eng.uber.com/ubers-journey-toward-better-data-culture-from-first-principles/

via @ProductAnalytics

​​Как проводят эксперименты в Facebook.
AX - платформа для проведения адаптивных экспериментов.

Видео | GitHub

via @ABtesting

​​Шпаргалка по параметрическим и непараметрическим критериям проверки статистических гипотез:

https://rstudio-pubs-static.s3.amazonaws.com/340931_720cbfff44814347b2d39c06d174e531.html

via @ABtesting

Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:
— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских
— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования
— Чем отличается статистическая мощность от статистической значимости
— Как правильно сделать сплит трафика
— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах
— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)
— Как анализировать и интерпретировать A/B-тесты

https://www.dynamicyield.com/course/testing-and-optimization/

​​О расстановке приоритетов в экспериментах:
https://davidleemannheim.medium.com/how-do-you-prioritize-experiments-b97bd9d1c8ae

via @ABtesting

​​Хорошая статья о том, как выжимать максимум пользы из результатов экспериментов.

via @ABtesting

​​Python’s Fitter library - библиотека позволяет выбрать параметры распределения, которые наилучшим образом отражают предэкспериментальные данные.

via @ABtesting

​​Что такое байесовское A/B-тестирование и когда его следует использовать?

via @ABtesting

​​Еще одна хорошая статья о байесовских A/B-тестах. В этот раз о способах реализации и масштабировании от специалистов Wix.com.

via @ABtesting