Ratio-метрика

Что такое ratio-метрика? Это такой показатель, где мы хотели бы взять отношение одной числовой переменной к другой. Знакомые всем метрики: клики на пользователя, просмотры страниц на сессию, сессии на пользователя – все это метрики отношений. Они не просты на первый взгляд. Может показаться, что их позволительно считать так же, как и Бернулли 0;1, но, конечно же, это не так. Мы теряем информацию об исходных данных, вгоняя итоговое ratio в стат. критерий (10000/100 = 100 для нас не совсем то же самое, что и 100/1 = 100). Чтобы учесть наследование информации об исходных данных, рекомендуется применять следующие методы анализа:

- Дельта метод (Delta method) для расчета дисперсии

- Линеаризация от Яндекса позволяет сохранить поюзерную направленность у метрики для дальнейшей работы по оптимизации ее дисперсии (при помощи CUPED, например)

- Bootstrap. Много упоминаний про него по ссылкам выше.

Код на Python и R для самостоятельной работы можно найти по ссылкам:
https://notebooks.azure.com/alexdzero/projects/dmforce
https://core.ac.uk/download/pdf/144820658.pdf
https://migariane.github.io/DeltaMethodEpiTutorial.nb.html#the_bootstrap

Интенсив ExperimentFest по математической статистике и a/b тестам теперь полностью онлайн и в новом формате

1. Интенсив включает в себя 4 практических лекции 2 дня в неделю

2. Самостоятельная работа – после каждой лекции даются задачи для работы в интерактивном калькуляторе ExperimentFest. На этих калькуляторах можно проработать весь материал самостоятельно и закрепить то, что разбирается на лекциях. ДЗ сдается в личном кабинете студента, где можно получить обратную связь от преподавателей курса

Подробнее на сайте – https://www.experiment-fest.ru/ab_course
Промокод на скидку 5000 – expf

Во всем вопросам можно написать на почту – info@experiment-fest.ru

A/B-тестирование – это метод исследования, в ходе которого тестируется несколько вариантов элементов воронки продаж с целью выявления наиболее эффективного. Но как научиться правильно проводить A/B-тесты?

3 июня в 19:00 (мск) мы проводим бесплатный вебинар «Разбираемся с нуля в A/B-тестах».

👨‍🏫 Кто выступит?

Валерий Белокуров, Product Analyst в Яндекс

👩‍🏫 О чём пойдет речь?

— Обсудим, что такое группа эксперимента, как делить пользователей на группы, зачем нужна контрольная группа.
— «На пальцах» разберем понятие статистической значимости: p-value и с чем его едят.
— Узнаем, почему подглядывать не только неприлично (в жизни), но еще и вредно (в A/B-тестировании).

🔥 Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна.

Зарегистрироваться на вебинар 👉 @ProductStarAnalyticsBot

🗣Как выбрать правильный статистический тест из множества доступных и запустить его на своих собственных данных: очень подробная статья на английском языке с пруфами и математикой от разработчиков рекомендательных систем VK - https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Толковых материалов про A/B-тестирование в паблике мало. Это связано с тем, что, во-первых, это довольно специфичная область знаний, а во-вторых, предполагает не только само собой разумеющееся знание матстата, но и понимание частного пользовательского поведения и собственной бизнес-модели и бизнес-процессов в целом. В связи с этим, сложно объяснять общее на частном и, в тоже время , частные результаты не могут быть применимы везде и всегда.

Для того чтобы думать как продуктовый аналитик, который занимается проведением сплит-тестов можно ознакомиться со следующими материалами:

Сборник "детских" ошибок:
https://netpeak.net/ru/blog/35-oshibok-pri-a-v-testirovanii/

Сборник советов как правильно проводить A/B тесты:
https://hookedondata.org/guidelines-for-ab-testing/

A/B-тестирование: смотреть на конверсию или смотреть на продажи? Павел Левчук
https://ecommerce-in-ukraine.blogspot.com/2018/02/ab-vs.html

Первые практические шаги.
A/B тест с помощью Google Optimize.
https://netpeak.net/ru/blog/kak-nastroit-a-b-test-s-pomoshch-yu-google-optimize-poshagovyi-manual/

Как оценивать A/B тесты. Анатолий Вуец, Letyshops: https://www.youtube.com/watch?v=2CN8IHy1OwU

Кейсы удачных (и не очень) экспериментов «Яндекс.Навигатора» (https://habr.com/ru/company/mobio/blog/455062/)

Видеозаписи с Experiment Fest/Яндекс.Практикум:
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

Список курсов постараюсь собрать на днях.... Пока что выделил те материалы, которые могут помочь понять как думать. Техника проведения эксперимента в принципе не так сложна. Гораздо сложнее сгенерить пул толковых гипотез, которые стоит проверять.

@internetanalytics

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

И в продолжение темы, сегодня 3 июня в 19:00 (мск) в рамках шестимесячного онлайн-курса «Профессия: Аналитик» ребята из ProductStar проводят бесплатный вебинар «Разбираемся с нуля в A/B-тестах».

Валера Белокуров, ex-Product Analyst Joom расскажет о том, как начать делать сплит-тесты.

— Что такое группа эксперимента, как делить пользователей на группы, зачем нужна контрольная группа.
— «На пальцах» разберем понятие статистической значимости: p-value и как его понимать.
— Узнаем, почему вредно проверять результаты до окончания A/B-теста.

Как обычно, два самых активных участника вебинара получают сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна 👉 @ProductStarAnalyticsBot

#реклама

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение

Написали статью для ProductSense про то, как оценивать качество систем сплитования для A/B.
https://sense23.com/post/kejs-kak-opredelyat-kachestvo-sistemy-a-b-testirovaniya?fbclid=IwAR3hBiyRVXT7VIO8gHlWFr3N2Sf74Pzz5DDdjvK3aLx-uhEoWtAfQO5XNPw


А 10го июня в 20-00 на совместном митапе Experiment Fest
x karpov.courses прочитаем лекцию про то, что такое метрики здоровья экспериментов и как их считать.
https://www.experiment-fest.ru/expf_karpov

5 Reasons to Go Bayesian in AB Testing:

http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/

via @ABtesting

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

​​Гайд по дизайну A/B тестов с использованием Python.

via @ABtesting

​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется.

via @ABtesting

Отличный курс по A/B тестам от Google: https://www.udacity.com/course/ab-testing--ud257

Лекция для расчета продолжительности теста: http://statweb.stanford.edu/~susan/courses/s141/hopower.pdf

А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting

A/B тесты для чайников

Кто ты без A/B тестов? Точно не аналитик😁
Обычно, джуну нужно уметь считать t-критерий и конверсии в онлайн-калькуляторе (только не бейте), но можно и нужно уметь применять всё.

Грубый алгоритм такой:
1) Выбираем метрику для отслеживания (клики по кнопке, средний чек, длительность сеанса и пр.). Запускаем и ждем.
2) Готовим данные
3) Смотрим на прикрепленную схему, которую я взял с крутого канала
4) Гуглим мануалы для расчета нужного теста в питоне. Желательно почитать теорию (снова рекомендую книгу С.Гланца)
5) Считаем, визуализируем
6) Показываем и доказываем результат команде
7) Profit!