​​«A/B-тестирование в стартапах или Как делать тесты быстрее»

Сжатое содержание моего доклада с митапа для аналитиков от Wix.

via @BigQuery

Сравнение частотного и байесовского подхода к A/B-тестированию:
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/

via @ABtesting

Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/

via @ABtesting

How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/

via @ABtesting

A/B - тесты для нематематиков - Роман Поборчий
https://youtu.be/0mnyLueRY5s?t=42

via @ABtesting

Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/

via @ABtesting

Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/

via @ProductAnalytics

25-26 апреля пройдет очередной интерсив по математической статистике и a/b тестам от ExperimentFest.
За два дня на интенсиве будут разобраны такие важные аспекты a/b тестов как:
-методы сокращения дисперсии и увеличение чувствительности метрики - слушатели узнают, как увеличивать чувствительность метрик и проводит свои a/b тесты быстрее
-методы оценки результатов - будут разобраны базовые и продвинутые методы оценки результатов a/b тестов
-как бороться с проблемой подглядывания и как в этом помогает статистика
-как определять минимальный объем выборки
-как в a/b тестах оценивать разные метрики - от CTR до ARPPU
-практическая часть с реальными рейсами
Все знания закрепляются на доступным тренажерах, а все участники по итогу интенсивна получат гайдуки анализа a/b тестов для применения в своей работе
Скидки 5 000 рублей на оффлайн часть по промокоду «cuped»
https://www.experiment-fest.ru/ab_course

Подборка материалов по математической статистике и экспериментам:
https://medium.com/statistics-experiments/материалы-по-математической-статистике-и-экспериментам-1-0-d065751b07c6

via @ABtesting

Старое доброе и очень эффективное A/B тестирование.
История из наших рабочих будней: Райффайзенбанк в 2,2 раза увеличил онлайн-продажи с помощью Google Optimize.

Читать дальше ⬇️
https://www.owox.com/c/4ir

Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting

Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting

A/B тестирования

Я не рекомендую вводить изменения на сайтах без A/B тестирований. Вам может казаться, что какое-то изменение точно улучшит нужные метрики, но часто случается обратное. И за счет A/B можно тестировать изменения направленные не только на повышение конверсии в заказ. Пример:

На моем сайте trustland.ru я тестировал, как повысить вовлеченность посетителей на страницах с отзывами. В ходе тестов я выявил, как надо переработать боковой блок этих страниц, и что он должен быть слева, а не справа. Благодаря этим изменениям, примерно в 2 раза больше людей, которые заходят прочитать отзывы, начали заходить и на другие страницы сайта. Т.к. улучшились поведенческие факторы, позиции в поисковиках этих страниц начали расти.

К примеру, по запросам популярных онлайн школ: “geekbrains отзывы”, “skillbox отзывы”, “skillfactory отзывы”, сайт в Google стал занимать первое место и обходить более известные порталы.

Несколько полезных материалов по A/B:
1. Зачем и как проводить A/B тесты. Основные инструменты проведения.
2. Про анализ и статистическую значимость A/B тестов
3. Видео о том, как оценивать результаты A/B тестов нематематикам
4. Как устроено A/B тестирование в Avito и как в Яндексе
5. Видео от Академии Яндекса: 5 хаков для ускорения A/B тестирования

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting

Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting

10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting

Онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

На лекции мы обсудим
Методы трансформации данных для увеличения чувствительности метрик
CUPED и его модификации
Виды стратификаций для сокращения дисперсии

Спикеры
Виталий Черемисинов, experiment-fest
Искандер Мирмахмадов, experiment-fest

Когда - 1го апреля
Где - трансляция на youtube
Во сколько - с 20:00 до 22:00
Ссылка на трансляцию придет на почту в день мероприятия.

https://price-discovery.timepad.ru/event/1287320/

​​Как экспериментально оценить предпочтения пользователей, чтобы понять, что менять в продукте? Как проверить свои гипотезы и какие есть инструменты для принятия решений?

1 апреля в 21:00 (мск) ребята из ProductStar проведут бесплатный интенсив: «A/B тестирование, как инструмент для принятия решений».

👨‍🏫 Кто выступит?

Настя Московченко, Technical Manager в Яндекс и Костя Чукреев, Product Machine Learning Developer в Яндекс.

👩‍🏫 О чем пойдет речь?

— Что такое А/B-тестирование?
— Как проводятся А/B тесты и как размер выборки влияет них?
— Как оценить влияние фичи на ваш продукт?
— Как быстро проводить эксперименты и сделать их частью сервиса? Опыт Яндекс.Еды.

Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна.

Зарегистрироваться на вебинар 👉@ProductStarAnalyticsBot

Начинается онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

Ссылка на трансляцию
https://www.youtube.com/watch?v=DtDGYUW0oGY
Начало в 20:00

Программа лекции https://price-discovery.timepad.ru/event/1287320/

@internetanalytics