AB тесты и все вот про это вот все – Telegram
AB тесты и все вот про это вот все
1.88K subscribers
23 photos
1 video
4 files
249 links
Полезная информация об A/B тестировании. По любым вопросам можно писать - @ealexandr
Download Telegram
Отличная статья по приоритизации гипотез, разбираются несколько фреймворков, их плюсы и минусы: https://cxl.com/blog/better-way-prioritize-ab-tests/.
Собственно, это не только для AB теста полезно, и для любых фич, нововведений, даже если по ним нет возможности провести тест.
Как раскатывать фичи в A/B с помощью подхода CRL

Все мы привыкли, что фазы раскатки фичи в A/B следуют планомерному увеличению траффика по ходу эксперимента (например, с 1% до 100%). В этом подходе мы хотим учесть, что на маленькой доле траффика много не потеряем на случай, если вдруг целевые метрики просели. Если все ок, то выкатываемся на полную. Такой подход понятен, он работает как часы. Однако, в таком подходе все равно всегда есть риск, что плохой эффект заметен будет не сразу, а чуть погодя. В первую очередь это может коснуться метрик лояльности (например, spu – sessions per user)

В Microsoft и других крупных компаниях практикуется альтернативный подход, в котором фазы лишь условно следуют этому правилу. Подход именуем как Controlled Rollout (CRL). Условность в том, что раскатка зависит не от доли траффика, а от аудитории. Пользователей можно поделить на 4 сегмента: Dogfood, Internal, Insiders, Production.

- Dogfood – по сути внутренняя разработка, оунеры фичи и интересанты
- Internal – внутренние сотрудники, которые могут исчисляться сотнями или тысячами в зависимости от размера компании
- Insiders – внешние пользователи/потребители продукта, которые ранее проявляли интерес к новшевствам сервиса и готовые получать их как можно раньше
- Production – все внешние пользователи

Для каждой аудитории выделены свои критерии и чекеры, говорящие об успешной фазе раскатки и не везде нужно ориентироваться на целевые (OEC) метрики, как это принято при поэтапной раскатке, постепенно увеличивая долю траффика. Что это за метрики и как устроена методология – можно почитать в пейпере
Интересно, когда обычный AB тест заменяется "когортным анализом". Мы все знаем, что ничего это не даст, но делаем вид, что экономим время.
Видимо, чтобы получить ответ типа "Лучше бы провели AB тест". Тем временем прошёл месяц.
Друзья, проводите эксперименты
How Airbnb Safeguards Changes in Production
Статья от Airbnb про их процесс выкатки A/B-тестов:

Introduction
По мере того, как Airbnb выросла до компании с более чем 1200 разработчиками, количество платформ и каналов для внесения изменений в наш продукт — и количество ежедневных изменений, которые мы вносим в прод, — также значительно выросло. Перед лицом этого роста нам постоянно необходимо масштабировать возможности обнаруживать ошибки до того, как они попадут в рабочую среду. Однако ошибки неизбежно ускользают от предварительной проверки, поэтому мы также вкладываем значительные ресурсы в механизмы для быстрого обнаружения ошибок, когда они все же попадают в прод. В этом статье мы рассмотрим причины и фундамент системы защиты изменений в рабочей среде, которую мы называем безопасным развертыванием (Safe Deploys). В двух следующих постах будет подробно рассказано о технической архитектуре, о том, как мы применяли ее к традиционным A/B-тестам и развертыванию кода соответственно

https://medium.com/airbnb-engineering/how-airbnb-safeguards-changes-in-production-9fc9024f3446
Гайд_по_студии_анализа_данных_в_GA4_Бизнес_Метрика.pdf
5.5 MB
Многие из Вас уже во всю опробовали Google Analytics 4, а остальные либо осваивают по-немногу, либо вовсе не используют.
В этом 75 страничном PDF Руководстве вы найдете путеводитель
1) как настроить ga4
2) в чем отличие старой от новой аналитики
3) полный обзор новых инструментов анализа данных в GA4.

Скачивайте гайд и начинайте свой переход на новую аналитику, ведь старая будет выключена уже в следующем году!
Forwarded from Время Валеры
Мой близкий друг Саша Сахнов - человек который на мой взгляд лучше всех разбирается в а/б тестах

Еще в далеком 2018 году мы с ним и рядом других людей начали писать на Хабр про А/Б.
Сейчас он запустил цикл статей про А/Б, где каждая статья будет сложнее предыдущей - первая довольно базовая статья про Бутстрап (Обратите внимание на центральный доверительный интервал)

Еще интересен небольшой разбор стратификации для повышения чувствительности тестов
Еще можно посмотреть это видео
1
Forwarded from karpov.courses
•‎ Статья «Что такое А/В-тестирование»

Разбираемся, зачем бизнесу нужны А/В-тесты и рассматриваем их работу на реальных примерах.

•‎ Интервью Анатолия Карпова с Никитой Маршалкиным

Как проводятся А/В-тесты ВКонтакте? В чём состоят особенности проведения тестов в социальных сетях? Работает ли тестирование на больших данных? На эти вопросы отвечает Никита Маршалкин в интервью. В описании к видео вы найдёте список материалов, которые помогут освоить тему А/В-тестов.

Вебинар Анатолия Карпова «Как и зачем оценивать размер выборки для А/В-теста?»

Чтобы грамотно провести А/В-тестирование, необходим чёткий план. В него входит в том числе определение размера выборки. Подробнее о том, как это сделать, рассказываем в записи вебинара.

•‎ Статья «Бутстреп и А/Б тестирование»

Преподаватель курса Hard ML Александр Сахнов рассказывает, как использовать бутстреп для решения разных задач, когда его применение необходимо и в чём его недостатки.
Всем привет! Не так давно для экономии времени при поиске работы сделал простого бота, который собирает вакансии для аналитиков из известных мне каналов и чатов с вакансиями. После немного доработал. Сейчас он собирает и пересылает эти посты с вакансиями в отдельный канал-агрегатор.

Пока формат именно такой - пересылаемые сообщения. В дальнейшем подумаю, какой формат агрегации вакансий будет оптимальным. Хорошо бы также использовать другие источники вакансий, это, наверное, впереди.
В данный момент это все находится в стадии тестирования, поэтому не все пока идеально, например, иногда пересылаются и рекламные сообщения в каналах.

Критике и предложениям по улучшению работы буду очень благодарен.

Собственно, канал https://news.1rj.ru/str/analyst_job_aggregator
Forwarded from Alexey Nikushin
Если бы каждый 50ый из этого чата написал в фейсбуке/телеге/на стене - Матемаркетинг заебись! Придите на матемаркетинг - было бы вообще огонь
Через неделю, 25 октября 12.00 до 13.00 пройдет митап на тему А/B-тестирования в Сбере. Ссылка на регистрацию: https://meetup.sberbank.ru/w/w/2e1b29f8-8266-4c12-af0c-9243c098b511

Только для сотрудников 😳
Статья с описанием использования библиотеки для оценки A/B теста с помощью байесовского метода: https://towardsdatascience.com/python-package-for-bayesian-a-b-testing-86ea3ff5c963
На прошлой неделе на Матемаркетинге Яндекс представил свой инструмент для проведения A/B тестов. Он называется Вариокуб - varioqub.ru.

Что же про него известно на данный момент. Пока мало:
1. По демо-видео на лендинге можно сделать вывод, что вся настройка будет происходить в Яндекс Метрике, и, в целом, он на нее завязан.
2. Работает для сайтов, наверное, только пока.
3. Механика работы похожа на Google Optimize:
- установка кода на сайт
- настройка эксперимента, аудитории и вариантов - редирект на измененную копию страницы, настройка по API и флагу или с помощью редактирования страницы с помощью визуального редактора
- запуск эксперимента и по окончании результаты в Яндекс Метрике. Наверное, сырые данные также будут доступны с помощью logs api, как данные эксперимента в Google Optimise доступны в BigQuery.
4. Пока воспользоваться им можно, оставив заявку на varioqub.ru.

EXPF сделали сравнение Вариокуб со своим инструментом для проведения экспериментов (Sigma) - expf.ru/sigma-vs-varioqub.
По сравниваемому функционалу Вариокуб, видимо, проигрывает.
Тут можно обсуждать корректность сравнения, ведь, по тому, что известно сейчас, Вариокуб скорее альтернатива Google Optimize, в котором запустить эксперимент можно в течение 10 минут, и, чтобы это сделать, может не понадобиться познаний в коде и аналитике.

Как подмечает EXPF в своем сравнении, Varioqub ориентирован на самостоятельных аналитиков и маркетологов, которым дана возможность редактировать JS и считать эффективность A/B из Яндекс.Метрики
Привет, дорогие мои подписчики!
В продолжение нашего аналитического просвещения, сегодня долгожданная подборка материалов по А/В-тестированию, тщательно отобранная вашей покорной слугой #позапросамстраждущих.

Итак, начнем с курсов:

https://www.udacity.com/course/ab-testing--ud979 - этот прекрасный курс для экспериментов

https://www.udacity.com/course/ab-testing--ud257 - вот такой курс от Google ( а тут синопсис по курсу раз , а тут я писала про синопсис два )

https://www.udacity.com/course/intro-to-inferential-statistics--ud201 - а этот курс по статистике с нужными вкраплениями для экспериментальных знаний 🫠

https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1 - специализированный курс по А/В-тестам в геймдеве

здесь оригинальные ссылки на курсы, а тут - https://ux-journal.ru/tag/cl-testing-and-optimization - перевод на русский первой части этого краш-курса

https://www.kameleoon.com/en/training/ab-testing-experimentation - достаточно вводный курс ака цикл статей по А/В-тестированию


Немного статей-гайдов:

https://medium.com/1point96/the-experimentation-process-has-been-overly-simplified-a5845aabc8ac - вводная статья о том, как вообще выглядит процесс запуска эксперимента

https://cxl.com/blog/better-way-prioritize-ab-tests/ - хорошая статья о приоритизации А/В- тестов

https://alex.gladkikh.org/dataanalytics/abtest/job/2022/06/30/analyze-AB-test.html - очень-очень классный материал по аналитике А/В-тестов

https://medium.com/mlearning-ai/a-b-testing-result-analysis-using-python-beginners-guide-7a6562933f7 - гайд по аналитике А/В-теста для новичков (кстати, внутри крутая майнд-карта!)

https://towardsdatascience.com/how-to-select-the-right-statistical-tests-for-different-a-b-metrics-c8a1865851e - симпатичная вспомогательная статья о выборе статистических критериев

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f - математика, стоящая за А/В - тестированием

https://towardsdatascience.com/how-to-reduce-a-b-testing-duration-using-surrogate-metrics-3631c6295039 - на десерт, материал для отличников про то, как ускорить А/В-тестирование с помощью прокси-метрик
Forwarded from Analyst job aggregator
Всем привет!

Теперь в канал https://news.1rj.ru/str/analyst_job_aggregator постятся вакансии для аналитиков (не бизнес и не системных) из Head Hunter. Дважды в день - в 13.00 и в 19.00.

Они сгруппированы по направлениям - веб, продуктовые, маркетинговые, данных. Формат:
- название вакансии
- город
- компания
- ЗП
- ссылка на вакансию

Новизна ваканcий - одна неделя, т.е., если вакансия с определенным id вакансии была импортирована с HH, в течение еще 6 дней она не будет повторно импортироваться с HH и присылаться в канал.

И еще - через некоторое прекратят пересылаться вакансии системных и бизнес аналитиков из телеграм-каналов.

Если появятся какие-то вопросы, возражения, пожелания, буду рад.