Это ваш еженедельный ресурс для погружения в мир продукт-менеджмента.
Здесь вы найдёте краткие, но глубокие разборы реальных кейсов, практические советы и руководства, а также инструменты для продукт-менеджеров начального и среднего уровня.
Никакой воды — только суть, только конкретика.
Здесь вы найдёте краткие, но глубокие разборы реальных кейсов, практические советы и руководства, а также инструменты для продукт-менеджеров начального и среднего уровня.
Никакой воды — только суть, только конкретика.
A/B тестирование — это метод исследования, при котором сравнивают две версии чего-то (например, веб-страницы или приложения) для определения, какая версия лучше работает для достижения заданной цели. В таком тестировании:
Контрольная группа (A): Это группа, которой показывается текущая версия продукта.
Экспериментальная группа (B): Группа, которая видит измененную версию, чтобы увидеть, улучшит ли это результаты.
Тестирование включает в себя:
Независимая переменная: Что мы меняем? Например, цвет кнопки.
Зависимая переменная: Что мы измеряем? Например, сколько раз нажали на кнопку.
Контрметрики: Дополнительные вещи, на которые мы смотрим, чтобы убедиться, что изменение не вызвало нежелательных побочных эффектов, например, не увеличило ли количество людей, которые удалили приложение.
Перед началом теста мы устанавливаем:
Базовая конверсия: Текущий процент людей, которые выполняют желаемое действие, например, сколько процентов посетителей нажимают на кнопку.
Минимально Обнаруживаемый Эффект (MDE): Насколько большое изменение мы хотим заметить. Например, если сейчас 4% людей нажимают на кнопку, мы хотим увидеть, увеличится ли этот процент до 5%.
Статистическая мощность: Это вероятность того, что если изменение действительно есть, мы его заметим. Обычно хотят, чтобы эта вероятность была около 80%. Если мощность ниже, мы можем пропустить настоящее изменение.
Уровень значимости: Это как порог, за который мы должны переступить, чтобы сказать, что изменение не случайно. Обычно это 5%. Если результаты теста показывают, что вероятность случайного изменения ниже 5%, мы говорим, что результаты значимы.
Взаимосвязь между переменными - САМОЕ ВАЖНОЕ
Если MDE уменьшить: Чтобы заметить более мелкие изменения, нужно больше данных. То есть, если вы хотите обнаружить изменение не на 1%, а на 0.5%, размер выборки должен быть больше.
Если увеличить статистическую мощность: Большая мощность означает больше уверенности в результате, но для этого тоже нужно больше данных.
Если уменьшить уровень значимости: С более строгим уровнем значимости (например, с 5% до 1%) риск ложных срабатываний меньше, но нам понадобится ещё больше данных, чтобы доказать, что результат не случаен.
Практический пример:
Вы хотите увеличить количество покупок в приложении, изменяя дизайн кнопки "купить". Ваш текущий процент покупок (базовая конверсия) составляет 4%. Вы хотите узнать, увеличит ли новый дизайн этот процент хотя бы до 5% (MDE равен 1%). Вы устанавливаете статистическую мощность на уровне 80% и уровень значимости на 5%.
Если вы решите, что хотите заметить изменение в конверсии не на 1%, а на 0.5% (то есть ваш MDE теперь 0.5%), вам понадобится больше пользователей в каждой группе, чтобы убедиться, что вы не пропустите такое маленькое изменение. Если вы решите повысить мощность до 90%, чтобы быть ещё более уверенными в результате, вам также понадобится больше пользователей в тесте. И если вы решите снизить уровень значимости до 1%, чтобы быть более уверены в том, что результаты не случайны, это тоже потребует увеличения размера выборки.
В результате, при увеличении точности (более низкий MDE, более высокая мощность, более низкий уровень значимости), вам понадобится больше данных и, возможно, больше времени, чтобы провести тест. Это значит, что тест может стать дороже и сложнее в проведении.
Контрольная группа (A): Это группа, которой показывается текущая версия продукта.
Экспериментальная группа (B): Группа, которая видит измененную версию, чтобы увидеть, улучшит ли это результаты.
Тестирование включает в себя:
Независимая переменная: Что мы меняем? Например, цвет кнопки.
Зависимая переменная: Что мы измеряем? Например, сколько раз нажали на кнопку.
Контрметрики: Дополнительные вещи, на которые мы смотрим, чтобы убедиться, что изменение не вызвало нежелательных побочных эффектов, например, не увеличило ли количество людей, которые удалили приложение.
Перед началом теста мы устанавливаем:
Базовая конверсия: Текущий процент людей, которые выполняют желаемое действие, например, сколько процентов посетителей нажимают на кнопку.
Минимально Обнаруживаемый Эффект (MDE): Насколько большое изменение мы хотим заметить. Например, если сейчас 4% людей нажимают на кнопку, мы хотим увидеть, увеличится ли этот процент до 5%.
Статистическая мощность: Это вероятность того, что если изменение действительно есть, мы его заметим. Обычно хотят, чтобы эта вероятность была около 80%. Если мощность ниже, мы можем пропустить настоящее изменение.
Уровень значимости: Это как порог, за который мы должны переступить, чтобы сказать, что изменение не случайно. Обычно это 5%. Если результаты теста показывают, что вероятность случайного изменения ниже 5%, мы говорим, что результаты значимы.
Взаимосвязь между переменными - САМОЕ ВАЖНОЕ
Если MDE уменьшить: Чтобы заметить более мелкие изменения, нужно больше данных. То есть, если вы хотите обнаружить изменение не на 1%, а на 0.5%, размер выборки должен быть больше.
Если увеличить статистическую мощность: Большая мощность означает больше уверенности в результате, но для этого тоже нужно больше данных.
Если уменьшить уровень значимости: С более строгим уровнем значимости (например, с 5% до 1%) риск ложных срабатываний меньше, но нам понадобится ещё больше данных, чтобы доказать, что результат не случаен.
Практический пример:
Вы хотите увеличить количество покупок в приложении, изменяя дизайн кнопки "купить". Ваш текущий процент покупок (базовая конверсия) составляет 4%. Вы хотите узнать, увеличит ли новый дизайн этот процент хотя бы до 5% (MDE равен 1%). Вы устанавливаете статистическую мощность на уровне 80% и уровень значимости на 5%.
Если вы решите, что хотите заметить изменение в конверсии не на 1%, а на 0.5% (то есть ваш MDE теперь 0.5%), вам понадобится больше пользователей в каждой группе, чтобы убедиться, что вы не пропустите такое маленькое изменение. Если вы решите повысить мощность до 90%, чтобы быть ещё более уверенными в результате, вам также понадобится больше пользователей в тесте. И если вы решите снизить уровень значимости до 1%, чтобы быть более уверены в том, что результаты не случайны, это тоже потребует увеличения размера выборки.
В результате, при увеличении точности (более низкий MDE, более высокая мощность, более низкий уровень значимости), вам понадобится больше данных и, возможно, больше времени, чтобы провести тест. Это значит, что тест может стать дороже и сложнее в проведении.