Коллеги из Delivery Club написали о внедрении switchback в A/B тестировании, https://habr.com/ru/company/deliveryclub/blog/670762/

How Airbnb Safeguards Changes in Production
Статья от Airbnb про их процесс выкатки A/B-тестов:

Introduction
По мере того, как Airbnb выросла до компании с более чем 1200 разработчиками, количество платформ и каналов для внесения изменений в наш продукт — и количество ежедневных изменений, которые мы вносим в прод, — также значительно выросло. Перед лицом этого роста нам постоянно необходимо масштабировать возможности обнаруживать ошибки до того, как они попадут в рабочую среду. Однако ошибки неизбежно ускользают от предварительной проверки, поэтому мы также вкладываем значительные ресурсы в механизмы для быстрого обнаружения ошибок, когда они все же попадают в прод. В этом статье мы рассмотрим причины и фундамент системы защиты изменений в рабочей среде, которую мы называем безопасным развертыванием (Safe Deploys). В двух следующих постах будет подробно рассказано о технической архитектуре, о том, как мы применяли ее к традиционным A/B-тестам и развертыванию кода соответственно

https://medium.com/airbnb-engineering/how-airbnb-safeguards-changes-in-production-9fc9024f3446

Несколько материалов про мощность в A/B тестах:

https://medium.com/statistics-experiments/когда-останавливать-a-b-тест-часть-1-mde-7d39b668b488
https://towardsdatascience.com/understanding-power-analysis-in-ab-testing-14808e8a1554
https://r-analytics.blogspot.com/2012/10/t.html
https://cxl.com/blog/statistical-power/
https://core-analytics.ru/power/

Многие из Вас уже во всю опробовали Google Analytics 4, а остальные либо осваивают по-немногу, либо вовсе не используют.
В этом 75 страничном PDF Руководстве вы найдете путеводитель
1) как настроить ga4
2) в чем отличие старой от новой аналитики
3) полный обзор новых инструментов анализа данных в GA4.

Скачивайте гайд и начинайте свой переход на новую аналитику, ведь старая будет выключена уже в следующем году!

Мой близкий друг Саша Сахнов - человек который на мой взгляд лучше всех разбирается в а/б тестах

Еще в далеком 2018 году мы с ним и рядом других людей начали писать на Хабр про А/Б.
Сейчас он запустил цикл статей про А/Б, где каждая статья будет сложнее предыдущей - первая довольно базовая статья про Бутстрап (Обратите внимание на центральный доверительный интервал)

Еще интересен небольшой разбор стратификации для повышения чувствительности тестов
Еще можно посмотреть это видео

А вот такое есть мнение про A/B тесты: https://adezb.medium.com/a-b-testing-is-dead-465c01dc0104

Всем привет! Не так давно для экономии времени при поиске работы сделал простого бота, который собирает вакансии для аналитиков из известных мне каналов и чатов с вакансиями. После немного доработал. Сейчас он собирает и пересылает эти посты с вакансиями в отдельный канал-агрегатор.

Пока формат именно такой - пересылаемые сообщения. В дальнейшем подумаю, какой формат агрегации вакансий будет оптимальным. Хорошо бы также использовать другие источники вакансий, это, наверное, впереди.
В данный момент это все находится в стадии тестирования, поэтому не все пока идеально, например, иногда пересылаются и рекламные сообщения в каналах.

Критике и предложениям по улучшению работы буду очень благодарен.

Собственно, канал https://news.1rj.ru/str/analyst_job_aggregator

Если бы каждый 50ый из этого чата написал в фейсбуке/телеге/на стене - Матемаркетинг заебись! Придите на матемаркетинг - было бы вообще огонь

Через неделю, 25 октября 12.00 до 13.00 пройдет митап на тему А/B-тестирования в Сбере. Ссылка на регистрацию: https://meetup.sberbank.ru/w/w/2e1b29f8-8266-4c12-af0c-9243c098b511

Только для сотрудников 😳

Статья с описанием использования библиотеки для оценки A/B теста с помощью байесовского метода: https://towardsdatascience.com/python-package-for-bayesian-a-b-testing-86ea3ff5c963

Статьи от Avito Как улучшить ваши A/B-тесты. Не очень новые, но не менее актуальные
- https://habr.com/ru/company/avito/blog/571094/
- https://habr.com/ru/company/avito/blog/571096/

На прошлой неделе на Матемаркетинге Яндекс представил свой инструмент для проведения A/B тестов. Он называется Вариокуб - varioqub.ru.

Что же про него известно на данный момент. Пока мало:
1. По демо-видео на лендинге можно сделать вывод, что вся настройка будет происходить в Яндекс Метрике, и, в целом, он на нее завязан.
2. Работает для сайтов, наверное, только пока.
3. Механика работы похожа на Google Optimize:
- установка кода на сайт
- настройка эксперимента, аудитории и вариантов - редирект на измененную копию страницы, настройка по API и флагу или с помощью редактирования страницы с помощью визуального редактора
- запуск эксперимента и по окончании результаты в Яндекс Метрике. Наверное, сырые данные также будут доступны с помощью logs api, как данные эксперимента в Google Optimise доступны в BigQuery.
4. Пока воспользоваться им можно, оставив заявку на varioqub.ru.

EXPF сделали сравнение Вариокуб со своим инструментом для проведения экспериментов (Sigma) - expf.ru/sigma-vs-varioqub.
По сравниваемому функционалу Вариокуб, видимо, проигрывает.
Тут можно обсуждать корректность сравнения, ведь, по тому, что известно сейчас, Вариокуб скорее альтернатива Google Optimize, в котором запустить эксперимент можно в течение 10 минут, и, чтобы это сделать, может не понадобиться познаний в коде и аналитике.

Как подмечает EXPF в своем сравнении, Varioqub ориентирован на самостоятельных аналитиков и маркетологов, которым дана возможность редактировать JS и считать эффективность A/B из Яндекс.Метрики

Привет, дорогие мои подписчики!
В продолжение нашего аналитического просвещения, сегодня долгожданная подборка материалов по А/В-тестированию, тщательно отобранная вашей покорной слугой #позапросамстраждущих.

Итак, начнем с курсов:

https://www.udacity.com/course/ab-testing--ud979 - этот прекрасный курс для экспериментов

https://www.udacity.com/course/ab-testing--ud257 - вот такой курс от Google ( а тут синопсис по курсу раз , а тут я писала про синопсис два )

https://www.udacity.com/course/intro-to-inferential-statistics--ud201 - а этот курс по статистике с нужными вкраплениями для экспериментальных знаний 🫠

https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1 - специализированный курс по А/В-тестам в геймдеве

здесь оригинальные ссылки на курсы, а тут - https://ux-journal.ru/tag/cl-testing-and-optimization - перевод на русский первой части этого краш-курса

https://www.kameleoon.com/en/training/ab-testing-experimentation - достаточно вводный курс ака цикл статей по А/В-тестированию


Немного статей-гайдов:

https://medium.com/1point96/the-experimentation-process-has-been-overly-simplified-a5845aabc8ac - вводная статья о том, как вообще выглядит процесс запуска эксперимента

https://cxl.com/blog/better-way-prioritize-ab-tests/ - хорошая статья о приоритизации А/В- тестов

https://alex.gladkikh.org/dataanalytics/abtest/job/2022/06/30/analyze-AB-test.html - очень-очень классный материал по аналитике А/В-тестов

https://medium.com/mlearning-ai/a-b-testing-result-analysis-using-python-beginners-guide-7a6562933f7 - гайд по аналитике А/В-теста для новичков (кстати, внутри крутая майнд-карта!)

https://towardsdatascience.com/how-to-select-the-right-statistical-tests-for-different-a-b-metrics-c8a1865851e - симпатичная вспомогательная статья о выборе статистических критериев

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f - математика, стоящая за А/В - тестированием

https://towardsdatascience.com/how-to-reduce-a-b-testing-duration-using-surrogate-metrics-3631c6295039 - на десерт, материал для отличников про то, как ускорить А/В-тестирование с помощью прокси-метрик

Всем привет!

Теперь в канал https://news.1rj.ru/str/analyst_job_aggregator постятся вакансии для аналитиков (не бизнес и не системных) из Head Hunter. Дважды в день - в 13.00 и в 19.00.

Они сгруппированы по направлениям - веб, продуктовые, маркетинговые, данных. Формат:
- название вакансии
- город
- компания
- ЗП
- ссылка на вакансию

Новизна ваканcий - одна неделя, т.е., если вакансия с определенным id вакансии была импортирована с HH, в течение еще 6 дней она не будет повторно импортироваться с HH и присылаться в канал.

И еще - через некоторое прекратят пересылаться вакансии системных и бизнес аналитиков из телеграм-каналов.

Если появятся какие-то вопросы, возражения, пожелания, буду рад.

Достаточно старая, но не менее актуальная статья про возможные ошибки при проведении A/B теста и как их избежать - https://habr.com/ru/company/retailrocket/blog/261593/
Тезис про 99% можем поставить под сомнение, мы ж аналитики

Еще один бесплатный курс по AB-тестированию - https://www.dynamicyield.com/course/testing-and-optimization/

За последнее время несколько раз столкнулся с неверным представлением о том, какова механика назначения группы пользователю при проведении A/B теста.
Допустим, мы настроили, что трафик должен делиться в соотношении 50%/50%. И у нас A/B тест проводится на сайте.
Может показаться, что группы будут назначаться по очереди — первому группа A, следующему B, потом снова A и т.д. Но нет, все совсем не так.
Трафик сегментируется совершенно иным образом — по характеристикам пользователя. Какие же есть характеристики:
- Регион — страна, область, город, штат и т.д.
- Часовой пояс
- Пол
- Возраст
- Браузер
- Операционная система
- Источник трафика
- Тип устройства — мобильный телефон, ПК, планшет
- Залогиненные и не залогиненные пользователи
- Зарегистрированные и не зарегистрированные пользователи
- Новизна посетителей - новые или вернувшиеся
- Количество покупок
- Суммы покупок
- Частота покупок
И другие…

Все это, конечно, при условии, что эти параметры наш инструмент деления трафика способен определять.

Получится множество сегментов. И внутри каждого из этих сегментов трафик будет делиться в необходимом соотношении, например, в нашем случае, 50%/50%.

Holdout / Holdback experiments

Вы наверняка слышали про практику удерживания «глобального контроля» для сравнения с пользователями, которые участвуют в экспериментах.

Глобальный контроль (его еще называют «вечным») – группа пользователей, занимающая небольшую долю траффика (обычно от 1% до 8%), с котором сравнивается остальная часть экспериментальных пользователей.

Это позволяет затем сравнивать метрики между пользователями, которые получают эксп. опыт, и теми пользователями, которые удерживаются (holding out) от каких-либо изменений. В результате мы можем определить кумулятивное долгосрочное влияние изменений.

В биг техе распространена практика использование holdout’ов поквартально. Держим holdout квартал -> смотрим совокупный импакт от нашей работы и далее распространяем результаты на квартальные OKR/KPI

Почитать как это делают:
- Understanding the collective impact of experiments
- Universal Holdout Groups at Disney Streaming
- Spotify’s New Experimentation Platform (Part 2)

Уже в эту субботу, 17 декабря, состоится Data Ёлка от ODS. В программе в том числе обширный митап по A/B тестам с большими гостями
Ссылка на страницу мероприятия