#nicehypothesis Снижение кол-ва полей в форме практически всегда увеличивает конверсию. Это объясняется сниженим сложности заполнения.
Остается вопрос оптимального количества полей. Выбираем между UI (конверсия) и объёмом сбора данных. Древнее исследование говорит, что 5-10 полей - это оптимально.
Отличная имея к тестированию. Дополнительные поля могу снизить конверсию на форме, но дополнительные данные могут повысить конверсию из лида в клиента.
Остается вопрос оптимального количества полей. Выбираем между UI (конверсия) и объёмом сбора данных. Древнее исследование говорит, что 5-10 полей - это оптимально.
Отличная имея к тестированию. Дополнительные поля могу снизить конверсию на форме, но дополнительные данные могут повысить конверсию из лида в клиента.
#nicehypothesis Ранее я рекомендовал тестировать разные призывы к действию. Следующая итерация - это один призыв к действию на один экран. Это объясняется тем, что снижается когнитивная нагрузка по сравнению с тем, что есть 2 и более призывов к действию на одном экране.
«Не везде есть смысл, не везде он нужен!» (с)
#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?
Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.
Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.
Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.
#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?
Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.
Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.
Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.
Интересное мнение по проведению и оценке #splittest.
Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.
За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?
Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.
Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.
Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.
За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?
Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.
Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.
#nicehypothesis Триггеры и призывы к действию наиболее актуальны, когда посетитель имеет хорошую мотивацию купить, когда у него достаточно информации, когда он «созрел». Тестирование призывов и триггеров ориентировано на не значительную часть аудитории, хоть и очень важную.
Попробуйте добавить информацию для принятия решения: почему продукт крутой, почему классно им пользоваться, больше эмоций. В завершении логические аргументы. Рост конверсии в таких тестах объясняется человеческим поведением и как мы принимаем решения.
Попробуйте добавить информацию для принятия решения: почему продукт крутой, почему классно им пользоваться, больше эмоций. В завершении логические аргументы. Рост конверсии в таких тестах объясняется человеческим поведением и как мы принимаем решения.
#nicehypothesis Укажите на основе чего оставлен отзыв. Если клиент купил товар, то укажите какой. Если клиент покупает постоянно, то укажите кол-во сделанных покупок.
Рост конверсии в таких экспериментах объясняется увеличением доверия к отзывам и возможностью выделить более «полезные» отзывы в сознании посетителя.
Рост конверсии в таких экспериментах объясняется увеличением доверия к отзывам и возможностью выделить более «полезные» отзывы в сознании посетителя.
#materials Полезные и сложные доклады про А/Б тестирование и аналитику тестов. Для понимания докладов надо знать мат часть. Без неё не просто.
Смотрите и наслаждайтесь.
Смотрите и наслаждайтесь.
#nicehypothesis Для тестирования предложения достаточно экспериментировать только с заголовком страницы, подзаголовком и тремя основными тезисами о предложении.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Решите задачу дизайна (проектирования) #splittest
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
#price является важным критерием выбора продукта, но часто не главным и уж точно не единственным.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
Как ни удивительно, но #splittest имеет смысл тогда, когда #hypothesis может быть неверна. То есть допускаем, что можем ошибиться. По сути запуск экспериментов - это инструмент проверки. Ни более, ни менее.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.
Ответ на задачу про дизайн (проектирование) #splittest.
Если пропустили задачу, смотрите ранее в ленте.
Верный ответ - вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Почему?
Во-первых, в тест должны попасть только те, кто могут увидеть изменения. Посетители, которые смотрят товар, который не соответствовал условиям, не увидят социальное доказательство в принципе, потому участниками теста не должны становиться.
Во-вторых, выборка будет меньше (только посетители конкретных страниц), базовая конверсия будет больше (т.к. это уже популярные товары), а потому и тест завершится быстрее.
Если пропустили задачу, смотрите ранее в ленте.
Верный ответ - вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Почему?
Во-первых, в тест должны попасть только те, кто могут увидеть изменения. Посетители, которые смотрят товар, который не соответствовал условиям, не увидят социальное доказательство в принципе, потому участниками теста не должны становиться.
Во-вторых, выборка будет меньше (только посетители конкретных страниц), базовая конверсия будет больше (т.к. это уже популярные товары), а потому и тест завершится быстрее.
Есть распространённая мантра, что тестировать надо всё. К сожалению, это не так.
Представьте гору. Задача добраться до вершины. Каждый шаг мы можем измерять нашу высоту с помощью GPS. Следовательно делая шаг, мы знаем в нужном направлении мы его сделали или нет. Отличная стратегия.
А теперь представьте, что рядом с горой А, стоит гора Б. Вторая гора сильно выше первой. Наша задача всё так же забраться на самый верх, но так уж сложилось, что мы сейчас находимся на горе А. Используя предыдущую стратегию, добраться до вершины Б невозможно.
Что можно изменить?
Первое. Можно измерять высоту не каждый шаг, а раз в 10 минут или каждые 1000 шагов. Таким образом у нас будет 1000 шагов, чтобы перебраться с горы А на гору Б на более высокую точку. Иначе надо будет вернуться.
Представьте гору. Задача добраться до вершины. Каждый шаг мы можем измерять нашу высоту с помощью GPS. Следовательно делая шаг, мы знаем в нужном направлении мы его сделали или нет. Отличная стратегия.
А теперь представьте, что рядом с горой А, стоит гора Б. Вторая гора сильно выше первой. Наша задача всё так же забраться на самый верх, но так уж сложилось, что мы сейчас находимся на горе А. Используя предыдущую стратегию, добраться до вершины Б невозможно.
Что можно изменить?
Первое. Можно измерять высоту не каждый шаг, а раз в 10 минут или каждые 1000 шагов. Таким образом у нас будет 1000 шагов, чтобы перебраться с горы А на гору Б на более высокую точку. Иначе надо будет вернуться.
По разным данным при тестировании гипотез проигрывает всегда больше половины #splittest. Проигрывает - означает, что тестируемая идея не лучше оригинала, т.е. никакого улучшения в целевой метрике нет.
Лично я часто говорю, что проигрывает 2 из 3 тестов. Недавно коллеги по рынку сказали, что 9 из 10 проигрывает. Так же я знаю одного продакта, который как-то сказал, что у них коэффициент выигравших тестов 45%. Т.е. 4+ теста из 10 выигрывают.
От чего это зависит. Если тестировать всё подряд, то получится скорее 1 к 10, т.к. оснований у #hypothesis будет мало. Если выделять время на разработку и проработку гипотез, то есть шанс приблизиться к 45%.
Лично я часто говорю, что проигрывает 2 из 3 тестов. Недавно коллеги по рынку сказали, что 9 из 10 проигрывает. Так же я знаю одного продакта, который как-то сказал, что у них коэффициент выигравших тестов 45%. Т.е. 4+ теста из 10 выигрывают.
От чего это зависит. Если тестировать всё подряд, то получится скорее 1 к 10, т.к. оснований у #hypothesis будет мало. Если выделять время на разработку и проработку гипотез, то есть шанс приблизиться к 45%.
Философия #abtesting хорошо описывается цитатой «Я не терпел поражений. Я просто нашёл 10 000 способов, которые не работают.» — Томас Эдисон
#nicehypothesis Добавьте «предложение приманку» и увеличьте конверсию в нужный пакет. Этим же образом достигается повышение среднего чека.
Данный подход работает, если у вас есть как минимум 2 товара и вам надо привлечь внимание к одному из них. В статье приводится пример с билетами:
1) Билет за $400 с ожиданием пересадки 60 минут
2) Билет за $330 с ожиданием пересадки 150 минут
Если хотите, чтобы покупали 1, то добавьте
3) Билет за $435 с ожиданием пересадки 60 минут
Если хотите, чтобы покупали 2, то добавьте
3) Билет за $330 с ожиданием пересадки 195 минут
Более детально и с дополнительными примерами описано в статье по ссылке ниже. Так же в статье есть ссылка на книгу, где описаны многие другие полезные эффекты.
Данный подход работает, если у вас есть как минимум 2 товара и вам надо привлечь внимание к одному из них. В статье приводится пример с билетами:
1) Билет за $400 с ожиданием пересадки 60 минут
2) Билет за $330 с ожиданием пересадки 150 минут
Если хотите, чтобы покупали 1, то добавьте
3) Билет за $435 с ожиданием пересадки 60 минут
Если хотите, чтобы покупали 2, то добавьте
3) Билет за $330 с ожиданием пересадки 195 минут
Более детально и с дополнительными примерами описано в статье по ссылке ниже. Так же в статье есть ссылка на книгу, где описаны многие другие полезные эффекты.
#nicehypothesis Посетители больше предпочитают информацию в виде списка, нежели в виде отдельных небольших параграфов текста. Есть информация, что люди больше вспоминают из списков по сравнению с простым текстом.
Полноценный редизайн или путь улучшений?
В большинстве случаев необходимо выбирать постепенные улучшения. Полноценную переработку следует затевать только в этих случаях:
1. Сайт имеет проблемы с новыми технологиями, надо обновлять. Здесь имеется ввиду mobile friendly и другие front-элементы.
2. Сайт достиг локального максимума. Это значит, что с текущим дизайном никаких значимых улучшений уже не получить.
В большинстве случаев необходимо выбирать постепенные улучшения. Полноценную переработку следует затевать только в этих случаях:
1. Сайт имеет проблемы с новыми технологиями, надо обновлять. Здесь имеется ввиду mobile friendly и другие front-элементы.
2. Сайт достиг локального максимума. Это значит, что с текущим дизайном никаких значимых улучшений уже не получить.
Что значит локальный максимум и как понять, что его достигли?
Ранее я описывал пример с горой, а точнее с двумя. Гора - это и есть локальный максимум. Где-то может быть другая гора, больше и лучше текущей, но для этого надо слезть с текущей и пойти на новую гору.
В моей практике достижение максимума видно по двум факторам:
1. #hypothesis заканчиваются. Все уже сами понимают, что тестируют какую-то ерунду.
2. #splittest перестают выигрывать совсем. Это логично. Если достигли вершины, то никакой шаг не приведёт нас в ещё более высокую точку.
Ранее я описывал пример с горой, а точнее с двумя. Гора - это и есть локальный максимум. Где-то может быть другая гора, больше и лучше текущей, но для этого надо слезть с текущей и пойти на новую гору.
В моей практике достижение максимума видно по двум факторам:
1. #hypothesis заканчиваются. Все уже сами понимают, что тестируют какую-то ерунду.
2. #splittest перестают выигрывать совсем. Это логично. Если достигли вершины, то никакой шаг не приведёт нас в ещё более высокую точку.
#nicehypothesis Отличные наблюдения коллег по рынку для тестирования. Чем больше текста со смыслом, а не воды, в предложении (заголовок, описание), тем быстрее посетители его замечают и тем дольше и внимательнее они его изучают.
#nicehypothesis Простота всегда даёт свои результаты. Снижение когнитивной нагрузки позволяет делать выбор легче, быстрее и в нашу пользу.
Упрощение стоимости доставки позволяет быстро и просто посчитать полную стоимость покупки для клиента. Меньше вероятность ошибиться и как следствие меньше шанс получить негативный опыт при получении заказа.
Стоимость доставки считается по километражу? Посчитайте среднюю для городов и сёл. Клиент за наложенный платёж должен заплатить какой-то %? Посчитайте среднее для заказов и поставьте одну цифру. Клиенты это оценят.
Упрощение стоимости доставки позволяет быстро и просто посчитать полную стоимость покупки для клиента. Меньше вероятность ошибиться и как следствие меньше шанс получить негативный опыт при получении заказа.
Стоимость доставки считается по километражу? Посчитайте среднюю для городов и сёл. Клиент за наложенный платёж должен заплатить какой-то %? Посчитайте среднее для заказов и поставьте одну цифру. Клиенты это оценят.