A/B тестирование для стартапов и сайтов с небольшим трафиком. Возможно ли?

Делимся выдержкой из интересного материала известного эксперта в экспериментировании - Jonny Londgen, Conversion Director at Journey Furhther.

Как проверять гипотезы и работать с A/B тестированием, если у вас мало трафика:

⛳️ Используйте метрики с более высокими показателями.
Средний показатель конверсии всегда учитывается в калькуляторе A/B тестов, и, чаще всего, в результате вам нужно большое количество сессий и трафика, которых у вас нет. В этом случае стоит выбрать для A/B теста другую ключевую метрику с более высокими показателями: CTR на основную CTA или конверсия по шагам чекаута (воронка).

⛳️ Инвестируйте время в исследование клиентского опыта ваших пользователей.
Например, онлайн опрос в процессе чекаута может выявить проблему, о которой вы и не думали, а пытались тестировать какие-то другие изменения.

⛳️ Тестируйте радикальные изменения.
При наличие небольшо количества трафика не стоит тестировать оттенки цвета, расположение второстепенных элементов и тд. Напротив, сконцентрируйтесь на тестировании ключевых вещей: основной CTA, информация о стоимости, продуктовые УТП

⛳️ Принимайте более низкий показатель статистической достоверности.
Хотя общепринятым считается показатель стат достоверности 95% и выше, можно принять более низкий показатель стат достоверности в одном из следующих случаев:
- масштабирование изменения требует минимальных ресурсов и риск негативного влияния ниже, чем возможная дополнительная прибыль
- вы хотите внести изменения для внутренней работы, а через тестирование скорее проверяете, не окажет ли это негативного влияния на ключевые метрики
- вы проводите тест только для сбора данных для использования в другом большом тесте

⛳️ Используйте другие методы проверки гипотез.
Если вы не можете проверить свою гипотезу через A/B тестирование, то стоит воспользоваться другими вариантами проверки: пользовательские опросы, тепловые карты, поведенческие метрики и тд.

Главное - не стоит отказываться от создания гипотез и их проверки!

Полный материал тут.

🔥Его стоит прочитать всем, кто работает с A/B тестированием, так как там есть большая вводная и крайне полезная часть на эту тему.

#аб_тесты

McDonalds масштабировал проект по персонализации на Австралию, Канаду и Великобританию.

🧐Сначала немного предыстории коллаборации McDonalds и технологии Dynamic Yield.

▫️В 2019 году McDonalds приобрел технологическую компанию Dynamic Yield (лидера в сфере персонализации).
▫️Перед сделкой компании запускают пилот, сутью которого является персонализация электронных стоек для заказа внутри ресторанов и МакАвто на основе данных времени суток, популярности товаров и трафика для повышения среднего чека и проходимости.
▫️Новость о сделке была очень громкой, потому что до этого McDonalds не совершал покупок в сфере технологий.
▫️После этого в прошлом году компанию Dynamic Yield приобретает гигант Mastercard.

👀Все это время нам интересно, что же там дальше с программой персонализации McDonalds, о которой больше не слышно:)

🔥И вот в 2023 году Dynamic Yield публикует на своем сайте новости о проекте по персонализации McDonalds:

- товарные рекомендации на основе времени суток, популярности товаров и трафика работают уже в 12,000 макавто в США
- проект масштабирован на Австралию, Канаду и Великобританию
- разработаны специальные DL-модели товарных рекомендаций под бизнес фокусы McDonalds для лучшей работы алгоритмов ‘Recommended Items’ и ‘Suggestive Sell’.

Новости хорошие! Персонализация идет вперед.

#кейсы #dynamicyield #mcdonalds

Всем напоминаем, что сегодня в 16:00 Мск выступает наш большой друг, лицо внутреннего поиска или иначе сказать - Search&Discovery celebrity - Олег Орлов.

🔔Тут все подробности

Конференция Retention day от Retail Rocket 16 марта.

Хочется поделиться эвентом в нашей сфере на русском языке, их пока не так много.

Отдельно хотим отметить вот такое в программе: рекомендации от мясокомбината🔥🔥🔥 Интересненько.

Подробнее тут.

#эвенты #retailrocket

Появился сайт и рассылка по мероприятиям в сфере CRO.

Ранее не существовало единого ресурса со всеми мероприятиями в сфере CRO как и персонализации. Иногда мы сами собирали в своем канале такие списки.

Пару дней назад один из ключевых людей в CRO, Ton Wesseling, опубликовал анонс о запуске сайта и подписки на рассылку всех событий в сфере CRO.

БОльшая часть событий проходит офлайн, но онлайн варианты тоже бывают и можно будет поучаствовать.

🔥🔥🔥

https://conversion.events

Внутренний поиск в e-commerce: аналитика и инсайты от платформы Luigi's box.

Ребята из Luigi's box (платформы №1 по поиску в e-commerce) проанализировали поиск в ecommerce в разрезе 13 вертикалей бизнеса.

Из инсайтов:

📔Доля пользователей, которые пользуются поиском выше всего в категории Книги и игры (39%), самая низкая - в Fashion (8,6%).

📔CR с использованием поиска vs без использования поиска всегда выше, что логично, ведь в таком случае пользователь уже знает, что ему нужно.
Самая большая разница в категории Поставщики для промышленности/B2B (16% vs 9%), косметика (20% vs 15%) и продукты питания. А вот в fashion наоборот!

📔Конверсия с использованием поиска на дестопе выше, чем на мобильном, что вновь подтверждает гипотезу, что пользователи ищут на мобильном, а покупку уже совершают на десктопе.

📔Доля выручки компаний от поиска самая высокая ожидаемо в категории Книги и игры (почти 40%), меньше всего - в Fashion (7%).

📔Самый высокий показатель нулевой выдачи по поисковым запросам в категории Поставщики для промышленности (18%), что логично, ведь скорее всего там запрашиваются очень специфические названия или даже артикульные номера. Самый низкий - в Книгах и играх (8%).

📔88% пользователей смотрят только первую страницу поисковой выдачи.

📔Самый высокий процент использования autocomplete в поисковых запросах - в категории Travel (43%), самый низкий - Поставщики для промышленности/B2B (17%).

📔Использование autocomplete поиска повышает конверсию из поисковых сессий более чем в 2 раза абсолютно во всех категориях.

📔 Большинство пользователей во всех категориях бизнеса не используют фильтры.

__

В категории fashion все цифры очевидны. Пользователи приходят туда за вдохновением и картинками. В этой категории фокус работы Search&Discovery Experience должен быть направлен именно на Discovery.

Для B2B также цифры очевидны: обычно это узкоспециализированный конкретный запрос.

👉Много графиков и полезной информации в полном материале тут (PDF, eng, 28 стр)

#поиск

Начинаем говорить о персонализации для IT Park в Узбекистане прямо сейчас.

https://us02web.zoom.us/j/85313138107?pwd=d2RjdEt4eVo0V1k5SWExcVoyZHlLUT09

Для идей: топ-100 маркетплейсов мира.

Мы всегда вдохновляемся не только идеями из платформ, CRO-агентств и из своего опыта, но и реальными примерами компаний по всему миру.

Делимся с вами подборкой 100 лучших маркетплейсов по всему миру, где есть ссылка на сайт и вертикаль бизнеса.

Найдите именно те ресурсы, которые вам релевантны и будут вдохновлять на создание новых гипотез. И что еще важно - помогать защищать гипотезы!

💪Реальные примеры успешных компаний всегда помогают доказать значимость своих идей перед руководством (если оно у вас есть, конечно).

Топ-100 маркетплейсов от a16z.

#идеи #маркетплейс