В свежей статье Ozon разбирает несколько распространенных ошибок при проведении экспериментов и как их можно избежать.
https://habr.com/ru/company/ozontech/blog/712306/

А вот и запись вчерашнего митапа Озона по A/B-тестам - https://www.youtube.com/watch?v=ly-pqx1P34k. Внутри много интересного.
Какая-то странная "озонная" тенденция здесь, так уж получилось.

В блоге Ламоды вышла статья про расчет размера выборки для бутстрапа, с примерами кода. Не встречал, чтобы кто-то делал такие расчеты ранее.
Заходим, читаем, начинаем использовать бутстрап. Ссылка

Обнаружил на днях, что у меня скопилось несколько неплохих гайдов по проведению A/B тестов. Они отлично подходят для первичного погружения:
- https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e
- https://habr.com/ru/company/boodet_online/blog/498688/
- https://medium.com/mlearning-ai/a-b-testing-result-analysis-using-python-beginners-guide-7a6562933f7
- https://www.carrotquest.io/blog/ab-tests-guide-2/
- https://tilda.education/articles-yourfirstabtest
- https://goldinlocks.github.io/Introduction-to-A-B-testing-in-python/

Собираю в github свои скрипты, которые писал для работы с A/B тестами.
А именно:
- расчет продолжительности эксперимента
- расчет p-value Хи-квадрат
- расчет p-value Т-тест
- расчет p-value Манна-Уитни
- бутстрап, по-умолчанию сравниваем средние

Все находится здесь.
Через некоторое время собираюсь сделать и децильный бутстрап.

Буду благодарен обратной связи, если где-то ошибся или что-то непонятно / неочевидно.

Понимание, что такое A/B тесты и как их правильно проводить, одно из главных требований к продуктовому менеджеру, продуктовому аналитику, аналитику данных.

В свое время для подготовки к собеседованиям собрал список того, что должен знать. Также дополнял этот список. Получившийся список закрывает большинство вопросов, которые могут задать нам на собеседовании. И полноценный ответ на них значительно повысит шансы на успешное трудоустройство. 🫵

Собственно, список.

При проведении AB тестов мы беспокоимся про пересечения нескольких экспериментов, опасаясь из взаимного воздействия друг на друга. Иногда встречается и такое, что продуктовые команды не проводят более одного эксперимента одновременно.
В статье автор настаивает на том, что проводить много пересекающихся экспериментов не только не страшно, но и правильно.

Запускаем A/B-тест в Метрике: чек-лист с инструкцией и примером

В Метрике появился новый инструмент для проведения экспериментов на базе технологии Varioqub. С его помощью можно сравнивать несколько вариантов посадочной страницы или отдельных элементов сайта и принимать решения на основе данных.

Мы сделали для вас полезный чек-лист с инструкцией и примером, как настроить первый A/B-тест и ничего не упустить. Забирайте, чтобы повторить в своём проекте.

👉 Скачать чек-лист

Всем привет! Тут коллега из Ламоды написал статью, в которой борется с достаточно привычным нам сравнением результатов эксперимента и MDE (Minimal Detectable Effect) и предлагает... А что предлагает, читаем

На тему MDE и продолжительности эксперимента в свое время подробно писал Искандер из EXPF - часть 1, часть 2

Статьи с разбором самых распространенных ошибок при проведении AB-тестов. Часть 1. Часть 2

Две статьи Сбера про оффлайн АБ тесты. Акцент сделан на подборе клиентов для групп и оценке их схожести. Статья 1, Статья 2

Новая статья с Gopractice про дизайн AB-тестов. Пошагово разобрана последовательность работы - https://gopractice.ru/data/design-ab-test/

Вы же знаете про "папки", да? Новый виток промоутирования каналов в телеграм, когда делятся сразу пачкой каналов.

Хочу поделиться сокровенным. У меня есть подборка каналов, которые я читаю чтобы понимать как формировать актуальную повестку конференций. Эти каналы очень нишевые, достаточно сложные по контенту, там редко пишут, а порой не пишут вообще. Там есть каналы моих украинских друзей, которые раньше были на русском языке, а сейчас нет. Авторы этих каналов - хеды аналитики, сильные, но непопулярные продакты и просто увлеченные данными люди. Там несколько крутых каналов в которых менее 200 человек)

Я действительно отслеживаю эти каналы, чтобы оставаться в курсе того, что происходит в мире аналитики в широком смысле этого слова.

Отдельно скажу, что я не включил в этом список @internetanalytics, потому что здесь я все меньше пишу про аналитику как таковую. Но я добавил в подборку наш чат с вакансиями для аналитиков @analysts_hunter и канал с анонсами конференций @MateMarketing_official.

Что делать с папкой? При переходе по ссылке вы подпишитесь одновременно на 30+ каналов и у вас появится новая папка наверху, после этого вы, ознакомившись с контентом, благополучно можете покинуть часть каналов, чтобы не засорять себе инфополе.

Вот подборка https://news.1rj.ru/str/addlist/idNbBqp9eAphNjUy

Это не рекламный пост. Это просто шорт лист.

Обращусь к админам пабликов. Если вы заметите рост аудитории, буду рад обратной связи и посту с вашей стороны о нашей весенней конференции по продуктовой аналитике aha.matemarketing.ru.... И самое важное. Спасибо вам за классный контент

Вышло продолжение ответов на вопросы по A/B-тестам от Валерия Бабушкина.
- Часть 1
- Часть 2

И список материалов, о которых говорил Валерий.

Еще пара статей про дизайн AB тестов:
- https://habr.com/ru/companies/otus/articles/734768/ - пошаговая инструкция от OTUS
- https://towardsdatascience.com/design-of-experiment-basics-if-you-build-them-they-will-come-cc6a227a0543 - статья Анатолия Зайцева, сооснователя Retentioneering