Мы не смогли победить интернет в студии, но даже технические неполадки – не помеха на пути к знаниям!

Во-первых, вебинар базируется на статье «Dealing With Ratio Metrics in A/B Testing at the Presence of Intra-User Correlation and Segments».

Во-вторых, применение анонсированного метода, а также многих других, к задаче анализа тестов над метриками-отношениями можно подсмотреть в материале коллег из ВКонтакте.

В материале выше разобрано бакетное преобразование метрики – этот метод очень часто применяется в промышленном A/B-тестировании. В материале коллег из ВКонтакте разбираются выборки длины 5000, попробуйте увеличить размер выборки, например, до 10000, а затем поварьируйте количество бакетов (скажем, от 10 до 100 с шагом в 10), чтобы проследить, как с изменением количества бакетов меняются (и меняются ли) чувствительность теста и контроль \alpha за false positive rate. Кроме того, над результатами бакетного преобразования можно запустить тест Манна-Уитни. Проверьте, как будут меняться чувствительность и контроль в зависимости от количества бакетов для теста Манна-Уитни. Также стоит поварьировать скошенность распределений просмотров и истинных CTR. Посмотрите, используя полученные данные, в каких пределах работает бакетное преобразование.

Если вы смогли самостоятельно провернуть все действия выше – поздравляем, вы освоили новый метод! Если нет – вебинар состоится 17 июня в 19:00.

Еще раз приносим свои извинения, и спасибо, что вы нас поддерживаете!