Точка входа в #splittest является очень важным элементом дизайна эксперимента.
Во-первых, считать надо только тех, кто увидел (столкнулся, попал под воздействие) изменения, что логически верно. Во-вторых, чем ближе точка входа к точке #conversion тем быстрее завершиться тест.
Например, есть интернет-магазин и всплывающее окно «корзина» на карточке товара, которое появляется после клика на «купить». Решено тестировать это окно. Можно участниками теста считать всех, кто посетил карточку товара, а можно только тех, кто нажал на «купить» и увидел тестируемое окно. Второе правильнее.
Во-первых, считать надо только тех, кто увидел (столкнулся, попал под воздействие) изменения, что логически верно. Во-вторых, чем ближе точка входа к точке #conversion тем быстрее завершиться тест.
Например, есть интернет-магазин и всплывающее окно «корзина» на карточке товара, которое появляется после клика на «купить». Решено тестировать это окно. Можно участниками теста считать всех, кто посетил карточку товара, а можно только тех, кто нажал на «купить» и увидел тестируемое окно. Второе правильнее.
В продолжение вчерашнего поста о точке входа в #splittest. Вопрос: почему точка входа должна быть там, где начинаются изменения?
Эксперимент и данные
Страницу посещает 1000 человек в день. Всплывающее окно видят 100 человек в день. Целевое действие (наша конверсия) на всплывающем окне выполняют 10 человек в день.
Конверсия в целевое действие от посетителей 1%, от просмотров всплывающего окна 10%. Допустим мы тестируем гипотезу и предполагаем рост на 10% (до 1.1% или 11% соответственно).
Почему точка вхожения в тест - это показ всплывающего окна? У меня 2 аргумента.
Первый аргумент
Для CR = 1% и относительного роста 10% надо 157697 посетителей на вариацию. В нашем случае - это 316 дней.
Для CR = 10% и относительного роста 10% надо 14313 посетителей на вариацию. Это будет уже 287 дней.
Таким образом выиграли в сроке ~10%.
Второй аргумент
У нас есть вот такая воронка.
CR1 = 10% - из посетителей страницы в просмотры всплывающего окна. Доверительный интервал 8.3% – 12%.
CR2 = 10% - из просмотров окна в целевое действие. Доверительный интервал 5.5% – 17.4%.
Если мы отодвинем точку входа в тест, то увеличивается вероятность, что можно попасть в неровное распределение на уровне CR1. Это просто факт. Наша задача снижать подобные вероятности, потому точка входа в тест максимально близка к изменениям.
Эксперимент и данные
Страницу посещает 1000 человек в день. Всплывающее окно видят 100 человек в день. Целевое действие (наша конверсия) на всплывающем окне выполняют 10 человек в день.
Конверсия в целевое действие от посетителей 1%, от просмотров всплывающего окна 10%. Допустим мы тестируем гипотезу и предполагаем рост на 10% (до 1.1% или 11% соответственно).
Почему точка вхожения в тест - это показ всплывающего окна? У меня 2 аргумента.
Первый аргумент
Для CR = 1% и относительного роста 10% надо 157697 посетителей на вариацию. В нашем случае - это 316 дней.
Для CR = 10% и относительного роста 10% надо 14313 посетителей на вариацию. Это будет уже 287 дней.
Таким образом выиграли в сроке ~10%.
Второй аргумент
У нас есть вот такая воронка.
CR1 = 10% - из посетителей страницы в просмотры всплывающего окна. Доверительный интервал 8.3% – 12%.
CR2 = 10% - из просмотров окна в целевое действие. Доверительный интервал 5.5% – 17.4%.
Если мы отодвинем точку входа в тест, то увеличивается вероятность, что можно попасть в неровное распределение на уровне CR1. Это просто факт. Наша задача снижать подобные вероятности, потому точка входа в тест максимально близка к изменениям.
А/Б тестирование начинает напоминает походы в спортзал или простую игру на компьютере.
Есть простые и понятные инструкции что делать и как делать:
1. Анализируйте данные
2. Собирайте обратную связь от ЦА, изучайте ЦА
3. Запускайте как можно больше А/Б тестов
4. Внедряйте успешные тесты
Простые вещи и конверсия пойдёт вверх.
Почему я говорю, что похоже на спортзал?
1. Меньше кушай
2. Думай, что ешь
3. Занимайте спортом
4. Регулярно следуй программе тренировок
Простые вещи и результат гарантирован.
В общем, делайте правильные вещи и получите ожидаемый результат.
Есть простые и понятные инструкции что делать и как делать:
1. Анализируйте данные
2. Собирайте обратную связь от ЦА, изучайте ЦА
3. Запускайте как можно больше А/Б тестов
4. Внедряйте успешные тесты
Простые вещи и конверсия пойдёт вверх.
Почему я говорю, что похоже на спортзал?
1. Меньше кушай
2. Думай, что ешь
3. Занимайте спортом
4. Регулярно следуй программе тренировок
Простые вещи и результат гарантирован.
В общем, делайте правильные вещи и получите ожидаемый результат.
Зачем считать #samplesize для проведения #splittest
и что если сделать наоборот?
Объём выборки зависит от текущей конверсии и на сколько мы хотим её изменить (увеличить). Фокус в том, что практически всегда мы НЕ знаем на сколько изменится конверсия. Это просто догадки и домыслы.
Что мы действительно знаем, так это объем трафика, который у нас уже есть и который мы планируем отправить в тест. На основании этого можно посчитать минимальный рост конверсии, который мы сможем определить (#MinimumDetectableEffect).
Часто это оказывается крайне полезно. За 5 минут можно посчитать, что в некоторых тестах вы сможете определить только рост в 100% и более. Действительно ли наша гипотеза на столько прям хороша? #nobodyknows
Если не на столько она хорошо, то можно сэкономить время и ресурсы на другие, более перспективные, гипотезы.
и что если сделать наоборот?
Объём выборки зависит от текущей конверсии и на сколько мы хотим её изменить (увеличить). Фокус в том, что практически всегда мы НЕ знаем на сколько изменится конверсия. Это просто догадки и домыслы.
Что мы действительно знаем, так это объем трафика, который у нас уже есть и который мы планируем отправить в тест. На основании этого можно посчитать минимальный рост конверсии, который мы сможем определить (#MinimumDetectableEffect).
Часто это оказывается крайне полезно. За 5 минут можно посчитать, что в некоторых тестах вы сможете определить только рост в 100% и более. Действительно ли наша гипотеза на столько прям хороша? #nobodyknows
Если не на столько она хорошо, то можно сэкономить время и ресурсы на другие, более перспективные, гипотезы.
#nicehypothesis Добавление альтернативных #cta (Call-To-Action) сильно увеличивает конверсию. Можно добавлять как менее обязывающие #cta, так и более.
#pain На этой неделе чек-лист запуска #splittest пополнился ещё одним пунктом: «Проверить точки входа в тест. Проверить все ли нужные точки являются точками входа. Проверить, что всё лишнее не является точкой входа в тест». Пока остаётся вопрос как это делать автоматически?
#nicehypothesis Изменение длинны основных заголовков может привести к значительному росту конверсии. Объясняется это тем, что на телефонах длинные заголовоки занимают 3-4-5 строк жирного тяжёлого текста, что увеличивает #bouncerate и снижает #conversionrate.
«Давайте кнопку перекрасим в красный?». Местами это уже даже не смешно, но важно пояснить когда это действительно нужно сделать.
Кнопка должна быть контрастной и заметной. Если различные исследования показывают, что посетители сайта затрудняются найти саму кнопку, хотя желание нажать её уже возникло.
Для основных кнопок (primary button) это всё.
Кнопка должна быть контрастной и заметной. Если различные исследования показывают, что посетители сайта затрудняются найти саму кнопку, хотя желание нажать её уже возникло.
Для основных кнопок (primary button) это всё.
#nicehypothesis В интернет магазинах и других #ecommerce проектах, где есть корзина, возможны два варианта реакции на клик по кнопке «купить».
Можно сразу отправлять человека в корзину, а можно показывать окно с выбором «Продолжить покупки» и «Перейти в корзину».
Включаем #datadriven подход. Если среднее кол-во товаров в заказе менее 1.5, то тестируем прямой переход в корзину. Если больше, то тестируем окно с выбором.
В первом случае, это повышает конверсию в заказы в целом, во втором случае, это увеличивает кол-во товаров в заказе и средний чек при той же конверсии.
Можно сразу отправлять человека в корзину, а можно показывать окно с выбором «Продолжить покупки» и «Перейти в корзину».
Включаем #datadriven подход. Если среднее кол-во товаров в заказе менее 1.5, то тестируем прямой переход в корзину. Если больше, то тестируем окно с выбором.
В первом случае, это повышает конверсию в заказы в целом, во втором случае, это увеличивает кол-во товаров в заказе и средний чек при той же конверсии.
Возвращаясь к вчерашней #nicehypothesis и #datadriven подходу, важно отметить, что цифра 1.5 может изменится в каждом конкретном случае. От чего это зависит.
Если на проекте сейчас используется перенаправление в корзину, то это само по себе уже может снижать кол-во товаров в заказе. Т.е. утверждение «мы используем перенаправление и у нас кол-во товаров в заказе 1.3, потому всё ОК» может быть ошибочным, т.к. цифра 1.3 может быть следствием использования перенаправления.
И наоборот. Если проект использует окно с выбором, то это уже может снижать конверсию и повышать кол-во заказов в корзине. Я бы тестировал всё в пределах от 1.2 до 1.8. А если позволяют ресурсы, то в принципе протестировал эту гипотезу не смотря на данные. «А как же #datadriven?». Очень просто, в зависимости от данных гипотеза получит более высокий или более низкий приоритет.
Если на проекте сейчас используется перенаправление в корзину, то это само по себе уже может снижать кол-во товаров в заказе. Т.е. утверждение «мы используем перенаправление и у нас кол-во товаров в заказе 1.3, потому всё ОК» может быть ошибочным, т.к. цифра 1.3 может быть следствием использования перенаправления.
И наоборот. Если проект использует окно с выбором, то это уже может снижать конверсию и повышать кол-во заказов в корзине. Я бы тестировал всё в пределах от 1.2 до 1.8. А если позволяют ресурсы, то в принципе протестировал эту гипотезу не смотря на данные. «А как же #datadriven?». Очень просто, в зависимости от данных гипотеза получит более высокий или более низкий приоритет.
#nicehypothesis Снижение кол-ва полей в форме практически всегда увеличивает конверсию. Это объясняется сниженим сложности заполнения.
Остается вопрос оптимального количества полей. Выбираем между UI (конверсия) и объёмом сбора данных. Древнее исследование говорит, что 5-10 полей - это оптимально.
Отличная имея к тестированию. Дополнительные поля могу снизить конверсию на форме, но дополнительные данные могут повысить конверсию из лида в клиента.
Остается вопрос оптимального количества полей. Выбираем между UI (конверсия) и объёмом сбора данных. Древнее исследование говорит, что 5-10 полей - это оптимально.
Отличная имея к тестированию. Дополнительные поля могу снизить конверсию на форме, но дополнительные данные могут повысить конверсию из лида в клиента.
#nicehypothesis Ранее я рекомендовал тестировать разные призывы к действию. Следующая итерация - это один призыв к действию на один экран. Это объясняется тем, что снижается когнитивная нагрузка по сравнению с тем, что есть 2 и более призывов к действию на одном экране.
«Не везде есть смысл, не везде он нужен!» (с)
#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?
Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.
Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.
Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.
#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?
Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.
Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.
Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.
Интересное мнение по проведению и оценке #splittest.
Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.
За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?
Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.
Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.
Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.
За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?
Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.
Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.
#nicehypothesis Триггеры и призывы к действию наиболее актуальны, когда посетитель имеет хорошую мотивацию купить, когда у него достаточно информации, когда он «созрел». Тестирование призывов и триггеров ориентировано на не значительную часть аудитории, хоть и очень важную.
Попробуйте добавить информацию для принятия решения: почему продукт крутой, почему классно им пользоваться, больше эмоций. В завершении логические аргументы. Рост конверсии в таких тестах объясняется человеческим поведением и как мы принимаем решения.
Попробуйте добавить информацию для принятия решения: почему продукт крутой, почему классно им пользоваться, больше эмоций. В завершении логические аргументы. Рост конверсии в таких тестах объясняется человеческим поведением и как мы принимаем решения.
#nicehypothesis Укажите на основе чего оставлен отзыв. Если клиент купил товар, то укажите какой. Если клиент покупает постоянно, то укажите кол-во сделанных покупок.
Рост конверсии в таких экспериментах объясняется увеличением доверия к отзывам и возможностью выделить более «полезные» отзывы в сознании посетителя.
Рост конверсии в таких экспериментах объясняется увеличением доверия к отзывам и возможностью выделить более «полезные» отзывы в сознании посетителя.
#materials Полезные и сложные доклады про А/Б тестирование и аналитику тестов. Для понимания докладов надо знать мат часть. Без неё не просто.
Смотрите и наслаждайтесь.
Смотрите и наслаждайтесь.
#nicehypothesis Для тестирования предложения достаточно экспериментировать только с заголовком страницы, подзаголовком и тремя основными тезисами о предложении.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Решите задачу дизайна (проектирования) #splittest
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
#price является важным критерием выбора продукта, но часто не главным и уж точно не единственным.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
Как ни удивительно, но #splittest имеет смысл тогда, когда #hypothesis может быть неверна. То есть допускаем, что можем ошибиться. По сути запуск экспериментов - это инструмент проверки. Ни более, ни менее.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.