Просматривая на выходных старые закладки, нашел две статьи в Медиуме от 2014 годя о том, как Airbnb проводит АБ-тесты. Раз и два.

Там плюс-минус то, что мы знаем и делаем. Важно, что этим статьям 11 лет, а методология в компании была разработана еще раньше.

При этом, все еще частенько приходится менеджерам объяснять, доказывать необходимость проведения АБ-тестов, чтобы проверить эту всю экспертность, чуйки, опыт и прочее.

Байесовское АБ-тестирование часто встречаю в статьях, но, насколько понимаю, его используют немногие. Тем, кто хочет быстро оценить как это работает и помоделировать, поможет эта статья - тут общее описание, калькуляция, код.

О бедном т-тесте замолвите слово. Подробный разбор метода, в том числе "легендарное" требование нормальности распределения для использования т-теста.

Снова возвращаюсь к тому, что 10% успешных АБ-тестов считается нормой. Уже говорил, что в таком случае эксперименты становятся вместо инструмента тестирований гипотез инструментом оценки качества гипотез. Иногда некоторые компании рассказываю, что у них показатель успешных достигает 20-25%. Снимаю шляпу в таких случаях.

Качество гипотез страдает часто из-за отсутствия системности в работе с гипотезами, да и продуктами в целом. К сожалению, приходилось такое наблюдать. При этом, даже прохождение нашей гипотезы через простой чек-лист поможет откинуть большое количество мусора и сэкономить кучу времени и денег. Такие тоже встречал.

Итак, простой чек-лист. Гипотеза должна быть:

✅ Тестируема. У нас есть возможности протестировать данную гипотезу.
✅ Решает конкретную проблему. Гипотеза помогает решить заранее определенную и конкретную проблему.
✅ Есть набор изменений. Мы определили, какие изменения нужно внести, чтобы протестировать данную гипотезу.
✅ Есть обоснование. Мы можем обосновать, за счет чего и почему решение может решить проблему. Хорошая гипотеза сможет пройти допрос с пристрастием и ответить на вопросы типа «а с чего ты взял, что это поможет», «за счет чего метрика увеличится настолько». Необходимо, чтобы обоснование было подкреплено фактами, числами, а не фантазиями и чуйками, типа «я уверен в этом, зуб даю». Не нужно никому давать свой зуб, лучше показать чиселки.
✅ Измерима, выбраны метрики. Мы понимаем, как измерить эффект, выбрали метрики, изменение которых поможет нам понять, решается проблема или нет.
✅ Определены ожидаемые величины изменения метрик. Нежелательно запускать эксперимент, не предполагая, на какую величину может увеличиться метрика.
✅ Эта гипотеза — часть цепочки среди других гипотез. Гипотеза не должна существовать в вакууме отдельно от других гипотез. У нас есть понимание, что будет происходить в зависимости от результатов конкретного теста. Исследование текущей гипотезы должно вести к следующей и т.д. (в этом месте гуглим про цикл HADI)
✅ Есть полные текущие данные (количественные и качественные). Мы можем собрать текущие данные (просмотры, события и проч.) по метрикам, которые будем наблюдать при проведении АБ теста.
✅ Ведет к дополнительному знанию. В результате теста мы получим какую-то новую информацию.

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем.
https://www.avito.ru/company/press/expfsigma

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое.

Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай.

По ходу снимали промежуточные результаты, где-то есть профит, где-то нет.

Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт".
Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей.

В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05.

Таким образом, благодаря тому, что мы все же сделали контроль:
1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании.
2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе.
3. Получили идеи, что теперь с этим делать дальше.
4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.

Всем привет! совсем недавно поменял работу, и о своих наблюдениях здесь пописываю потихоньку. На себе прочувствовал, что рыночек аналитиков сильно изменился за последние год-два.

Более полно оценить, что происходит, в очередной раз поможет NEWHR. Прошу помочь в этом важном деле.

NEWHR запустили очередное исследование рынка аналитиков (первое исследование было запущено в 2018 году, последнее — в 2024 (https://newhr.org/data/research-analysts-2024)).

Цель: выяснить, как меняется профессия, чего хочет бизнес от аналитиков, чего хотят сами аналитики, сколько зарабатывают и какими технологиями пользуются.

Рынок каких аналитиков исследуют:
➤ Дата-аналитиков
➤ Продуктовых аналитиков
➤ BI-аналитиков
➤ Маркетинговых аналитиков
➤ Веб-аналитиков
➤ Системных и бизнес аналитиков
➤ Руководителей аналитики

Что именно исследуют?
👉 Сколько зарабатывают аналитики, как эти цифры менялись за последний год и с чем были связаны изменения
👉 Рейтинг работодателей для аналитиков, с нормальной аналитической культурой, например
👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройтво
👉 Как меняется зона ответственности аналитиков и чем они хотят заниматься
👉 Как аналитики ищут работу и выбирают работодателя

Как принять участие в исследовании?
⏩ Заполнить опросник (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)(займет около 20 минут)

🚀 На данный момент опрос прошли уже 900+ специалистов. Цель — собрать 1500 респондентов.

Когда будут результаты?
— Итоговый результат исследования будет опубликован в начале 2026 года.
— Со всеми участниками исследования команда NEWHR будет делиться промежуточными результатами, а также пригласят на закрытый стрим, где поделятся всеми инсайтами и ответят на вопросы.

👉🏼 Пройти опрос (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)

P. S. Опрос можно и нужно шерить с коллегами-аналитиками. Чем больше данных, тем точнее и интереснее результаты!

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах.
Не нужно благодарностей

Нашел тут небольшой курс по Байесовским АБ-тестам на степике. На досуге посмотрю, что там есть, после расскажу

Пересматривал ролик про АБ-платформы, обратил пристальное внимание на часть, где Виталий Черемисинов рассказывает про чувствительность метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени.

Почему это важно?
Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат.
Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах. И наоборот, появится пул метрик, с которыми мы с большей степени можем добиться желаемого.
Таким образом сможем сэкономить время, силы, деньги, репутацию.