Понимание, что такое A/B тесты и как их правильно проводить, одно из главных требований к продуктовому менеджеру, продуктовому аналитику, аналитику данных.

В свое время для подготовки к собеседованиям собрал список того, что должен знать. Также дополнял этот список. Получившийся список закрывает большинство вопросов, которые могут задать нам на собеседовании. И полноценный ответ на них значительно повысит шансы на успешное трудоустройство. 🫵

Собственно, список.

При проведении AB тестов мы беспокоимся про пересечения нескольких экспериментов, опасаясь из взаимного воздействия друг на друга. Иногда встречается и такое, что продуктовые команды не проводят более одного эксперимента одновременно.
В статье автор настаивает на том, что проводить много пересекающихся экспериментов не только не страшно, но и правильно.

Запускаем A/B-тест в Метрике: чек-лист с инструкцией и примером

В Метрике появился новый инструмент для проведения экспериментов на базе технологии Varioqub. С его помощью можно сравнивать несколько вариантов посадочной страницы или отдельных элементов сайта и принимать решения на основе данных.

Мы сделали для вас полезный чек-лист с инструкцией и примером, как настроить первый A/B-тест и ничего не упустить. Забирайте, чтобы повторить в своём проекте.

👉 Скачать чек-лист

Всем привет! Тут коллега из Ламоды написал статью, в которой борется с достаточно привычным нам сравнением результатов эксперимента и MDE (Minimal Detectable Effect) и предлагает... А что предлагает, читаем

На тему MDE и продолжительности эксперимента в свое время подробно писал Искандер из EXPF - часть 1, часть 2

Статьи с разбором самых распространенных ошибок при проведении AB-тестов. Часть 1. Часть 2

Две статьи Сбера про оффлайн АБ тесты. Акцент сделан на подборе клиентов для групп и оценке их схожести. Статья 1, Статья 2

Новая статья с Gopractice про дизайн AB-тестов. Пошагово разобрана последовательность работы - https://gopractice.ru/data/design-ab-test/

Вы же знаете про "папки", да? Новый виток промоутирования каналов в телеграм, когда делятся сразу пачкой каналов.

Хочу поделиться сокровенным. У меня есть подборка каналов, которые я читаю чтобы понимать как формировать актуальную повестку конференций. Эти каналы очень нишевые, достаточно сложные по контенту, там редко пишут, а порой не пишут вообще. Там есть каналы моих украинских друзей, которые раньше были на русском языке, а сейчас нет. Авторы этих каналов - хеды аналитики, сильные, но непопулярные продакты и просто увлеченные данными люди. Там несколько крутых каналов в которых менее 200 человек)

Я действительно отслеживаю эти каналы, чтобы оставаться в курсе того, что происходит в мире аналитики в широком смысле этого слова.

Отдельно скажу, что я не включил в этом список @internetanalytics, потому что здесь я все меньше пишу про аналитику как таковую. Но я добавил в подборку наш чат с вакансиями для аналитиков @analysts_hunter и канал с анонсами конференций @MateMarketing_official.

Что делать с папкой? При переходе по ссылке вы подпишитесь одновременно на 30+ каналов и у вас появится новая папка наверху, после этого вы, ознакомившись с контентом, благополучно можете покинуть часть каналов, чтобы не засорять себе инфополе.

Вот подборка https://news.1rj.ru/str/addlist/idNbBqp9eAphNjUy

Это не рекламный пост. Это просто шорт лист.

Обращусь к админам пабликов. Если вы заметите рост аудитории, буду рад обратной связи и посту с вашей стороны о нашей весенней конференции по продуктовой аналитике aha.matemarketing.ru.... И самое важное. Спасибо вам за классный контент

Вышло продолжение ответов на вопросы по A/B-тестам от Валерия Бабушкина.
- Часть 1
- Часть 2

И список материалов, о которых говорил Валерий.

Еще пара статей про дизайн AB тестов:
- https://habr.com/ru/companies/otus/articles/734768/ - пошаговая инструкция от OTUS
- https://towardsdatascience.com/design-of-experiment-basics-if-you-build-them-they-will-come-cc6a227a0543 - статья Анатолия Зайцева, сооснователя Retentioneering

На AHA приятно наблюдать, что уже на втором докладе по A/B тестам зал переполнен, десятки человек стоят на лестницах, сидят на пуфиках, на полу. И народ ещё подходит.

Был доклад про Вариокуб в главном зале, инструмент для проведения A/B - тестов от Яндекса. Данил Валгушев рассказал про устройство под капотом, тезисно:

- Построен на критерии Манна-Уитни, рассказал, почему выбрали именно его.
- Пользователи делятся не только на группы, но и на более мелкие бакеты, сразу же, но не в момент анализа. Это позволяет делать расчеты быстрее, бакеты нивелируют выбросы и равные значения при ранжировании. Также бакетирование дает возможность сравнивать и средние значения с помощью критерия Манна-Уитни.
- Количество бакетов: от 20 до 100. Необходимые метрики рассчитываются в бакетах, а потом уже бакеты ранжируются и т.д.

Что еще интересно, запускается бета-тест Вариокуба для АппМетрики. Отправить заявку можно на лендинге.

Недавно сильно озадачился проведением AB-тестов, где исследуемая метрика - CTR (количество кликов/на количество показов). Тут проблема в том, что показы клики не являются независимыми наблюдениями, так как один и тот же пользователь может несколько раз увидеть наш рекламный баннер и несколько раз кликнуть.

В это ситуации можно применять t-test с расчетом дисперсии дельта-методом.
Материалы:
- Статья раз
- Статья два
- Статья три

Начал пересматривать доклады по АБ тестам с Aha 23.
Немного про доклад Как в Ozon построили процесс-комбайн АВ-тестирования... Вячеслава Коськина.

В целом, построение некой методологии, системы принятия решений делать / не делать АБ тест, библиотеки кода - это как бы само собой разумеющееся.

А что показалось наиболее интересным - специально выделенные валидаторы, которые одобряют запуск эксперимента и контролируют корректность результатов. И впечатлили цифры - до запуска валидаторы "заворачивают" до 20% экспериментов, и в 10% находят ошибки в расчетах итогов. Эффективность налицо.

Мысленно так прикидываешь результаты своей работы...😰

Продолжаем следить на нашим отечественным Оптимайзом. Собственно, Вариокуб растит функционал платформы и, наверное, перерастет продукт корпорации добра.
Что появилось нового. Теперь можно запускать эксперименты для рекламных блоков РСЯ на сайтах.
Текст новости здесь.

🎣 Что такое z-score и p-value?

Об этом на примере рыбалки (😁) классно рассказывается вот в этой статье, время прочтения ~20 минут

Главный герой, Антон, решил затестить две удочки; на обе он поймал по 300 экземпляров рыб. Кроме того, для каждой рыбы Антон записывал её вес. Теперь он хочет определить, какая из этих удочек эффективнее…

В статье автор:
– Немного рассказывает о нормальном распределении
– Буквально на рыбах , используя SciPy, показывает, как выглядит центральная предельная теорема в действии
– Рассказывает про z-score и p-value и высчитывает их для приведённого выше примера
– Это всё подкрепляется графиками, построенными с помощью seaborn и кодом к ним. Причем код имхо будет понятен даже новичкам)

Ставим огонечек 🔥 на этот пост (давайте наберём 70?) и отправляемся читать статью🙂

Spotify представляет свою систему для проведения АБ-тестов. Это будет коммерческая платформа, которой смогут пользоваться сторонние компании - Confidence.
Текст новости здесь. А сам сервис находится здесь.