Как отбирать выигрышные гипотезы #cro #hypotheses
1 из 3 - примерно такое количество гипотез выигрывает. Если большой поток и меньше исследований, то может быть и 1 из 10.
Есть разные методы приоритезации гипотез, но недавно у меня оформилось перспективное наблюдение:
«Чем больше участников команды имеют различные обоснования (причины, пользовательские истории) почему гипотеза выиграет, тем больше вероятность, что так и будет.»
Почему так?
На сейчас я это объясняю простой теорией вероятности:
1. Все люди разные, но шаблоны поведения в какой-то степени одинаковы.
2. Каждый, как правило, предлагает в качестве обоснования отсебятину.
3. Каждая такая отсебятина имеет шансы сработать для этого типа людей.
4. Чем больше такой отсебятины, т.е. чем для большего типа людей подходит гипотеза, тем больше у неё шансы выиграть.
ToDo: добавьте этот параметр к списку гипотез и оцените корреляцию через время.
1 из 3 - примерно такое количество гипотез выигрывает. Если большой поток и меньше исследований, то может быть и 1 из 10.
Есть разные методы приоритезации гипотез, но недавно у меня оформилось перспективное наблюдение:
«Чем больше участников команды имеют различные обоснования (причины, пользовательские истории) почему гипотеза выиграет, тем больше вероятность, что так и будет.»
Почему так?
На сейчас я это объясняю простой теорией вероятности:
1. Все люди разные, но шаблоны поведения в какой-то степени одинаковы.
2. Каждый, как правило, предлагает в качестве обоснования отсебятину.
3. Каждая такая отсебятина имеет шансы сработать для этого типа людей.
4. Чем больше такой отсебятины, т.е. чем для большего типа людей подходит гипотеза, тем больше у неё шансы выиграть.
ToDo: добавьте этот параметр к списку гипотез и оцените корреляцию через время.
Закон Гудхарта для продукта и CRO
Если честно, понятия не имею, почему никогда не встречал это применительно к нашей области. Звучит оно так:
Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на неё оказывается давление с целью управления.
Общая суть такова: как только мы начинаем целенаправленно что-то делать, чтобы изменить показатель Х, то эмпирические закономерности перестают работать.
А в нашем деле практически все наблюдения являются эмпирическими закономерностями. Особенно, что касается поведения людей.
Почему это важно
1. Это хорошо отвечает на вопрос почему часть гипотез основанных на данных проигрывает.
2. Это значит, что вес наблюдаемых ранее "эмпирических закономерностей" в приоритезации гипотез можно понизить.
Если честно, понятия не имею, почему никогда не встречал это применительно к нашей области. Звучит оно так:
Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на неё оказывается давление с целью управления.
Общая суть такова: как только мы начинаем целенаправленно что-то делать, чтобы изменить показатель Х, то эмпирические закономерности перестают работать.
А в нашем деле практически все наблюдения являются эмпирическими закономерностями. Особенно, что касается поведения людей.
Почему это важно
1. Это хорошо отвечает на вопрос почему часть гипотез основанных на данных проигрывает.
2. Это значит, что вес наблюдаемых ранее "эмпирических закономерностей" в приоритезации гипотез можно понизить.
Сезонность и А/Б тесты #abtesting
Суть А/Б тестов в том, чтобы проверить изменение при прочих равных. По идее, сезонность не должна влиять на А/Б тест. Следуя этой логике А/Б тесты можно проводить круглый год. Но это не так.
По ссылке ниже можно попробовать угадать какой лендинг выиграл в декабре и проиграл в январе. После отгадывания можно будет прочесть обоснование.
Вот один отрывок. По ссылке больше интересного.
During the holidays visitors might, for example, be primarily paid traffic users who are urgently looking for a gift, but would never visit the site otherwise.
Мой опыт это полностью подтверждает. Мужчина выбирающий подарок 1 марта и 8 марта утром - это две принципиально разные модели поведения. 8-го числа утром преимущественно людей волнует наличие, как часть потребности «быстро забрать подарок».
Тестировать в это время любое изменение, направленное на осознанную покупку, скорее всего либо проиграет, либо будет нейтральным.
Старайтесь избегать А/Б тестов в высокий сезон.
Суть А/Б тестов в том, чтобы проверить изменение при прочих равных. По идее, сезонность не должна влиять на А/Б тест. Следуя этой логике А/Б тесты можно проводить круглый год. Но это не так.
По ссылке ниже можно попробовать угадать какой лендинг выиграл в декабре и проиграл в январе. После отгадывания можно будет прочесть обоснование.
Вот один отрывок. По ссылке больше интересного.
During the holidays visitors might, for example, be primarily paid traffic users who are urgently looking for a gift, but would never visit the site otherwise.
Мой опыт это полностью подтверждает. Мужчина выбирающий подарок 1 марта и 8 марта утром - это две принципиально разные модели поведения. 8-го числа утром преимущественно людей волнует наличие, как часть потребности «быстро забрать подарок».
Тестировать в это время любое изменение, направленное на осознанную покупку, скорее всего либо проиграет, либо будет нейтральным.
Старайтесь избегать А/Б тестов в высокий сезон.
Персонализация наше всё #personalization
В ближайшее время будет очень много постов о персонализации с разных сторон. Да, это связано с тем, что есть решение погрузиться в эту тему сильно глубже.
Если у вас есть книги, статьи, видео или любые другие материалы, которые вы готовы порекомендовать, то напишите мне @gudkovsa, пожалуйста!
Первая находка о персонализации:
Пока маркетологи учатся справляться с персонализацией (только 16% «очень» и «чрезвычайно» удовлетворены уровнем персонализации в своих проектах), подходы к персонализации становятся всё более и более изощрёнными. Использование ML и алгоритмической персонализации выросло с 26% в 18 году до 40 в 19 году. Применение триггерных писем на основе пользовательского поведения на сайте выросло с 35% до 45%. Стоит отметить, что увеличивается доля кросс-канальных подходов: кол-во маркетологов, кто ответили «каналы не связаны» снизилось с 27% до 21%, в то время как доля ответов «несколько каналов связаны» выросла с 46% до 53%.
Это из отчёта 2019 Trends in Personalization от Evergage и Researchscape International.
В ближайшее время будет очень много постов о персонализации с разных сторон. Да, это связано с тем, что есть решение погрузиться в эту тему сильно глубже.
Если у вас есть книги, статьи, видео или любые другие материалы, которые вы готовы порекомендовать, то напишите мне @gudkovsa, пожалуйста!
Первая находка о персонализации:
Пока маркетологи учатся справляться с персонализацией (только 16% «очень» и «чрезвычайно» удовлетворены уровнем персонализации в своих проектах), подходы к персонализации становятся всё более и более изощрёнными. Использование ML и алгоритмической персонализации выросло с 26% в 18 году до 40 в 19 году. Применение триггерных писем на основе пользовательского поведения на сайте выросло с 35% до 45%. Стоит отметить, что увеличивается доля кросс-канальных подходов: кол-во маркетологов, кто ответили «каналы не связаны» снизилось с 27% до 21%, в то время как доля ответов «несколько каналов связаны» выросла с 46% до 53%.
Это из отчёта 2019 Trends in Personalization от Evergage и Researchscape International.
Персонализация глазами потребителя #presonalization
Отчёты и статьи, перечитанные за последнее время могу резюмировать так:
Мы (мы же тоже потребители, да?) готовы делиться персональными данными, если это даст нам некую выгоду.
С выгодой всё не так просто, но большинство сводится к «дайте скидку на подходящий мне товар» и «дайте мне сразу, что я хочу (сэкономьте мне время)». Всё остальное так или иначе крутиться вокруг этого.
Пожалуй, это и есть две основные цели персонализации в смысле «пользовательского счастья»:
1. Сэкономить время
2. Сэкономить деньги
Есть ещё третья категория. Не хочу её трогать, но не могу не упомянуть: знакомство с новым, на основе старых предпочтений.
Отчёты и статьи, перечитанные за последнее время могу резюмировать так:
Мы (мы же тоже потребители, да?) готовы делиться персональными данными, если это даст нам некую выгоду.
С выгодой всё не так просто, но большинство сводится к «дайте скидку на подходящий мне товар» и «дайте мне сразу, что я хочу (сэкономьте мне время)». Всё остальное так или иначе крутиться вокруг этого.
Пожалуй, это и есть две основные цели персонализации в смысле «пользовательского счастья»:
1. Сэкономить время
2. Сэкономить деньги
Есть ещё третья категория. Не хочу её трогать, но не могу не упомянуть: знакомство с новым, на основе старых предпочтений.
Продуктовые метрики и метрики для А/Б теста #metrics #abtesting
А/Б необходимо оценивать не по бесконечному набору метрик с позиции «ну хоть что-то улучшилось», а по заранее определённым метрикам. Идеально, если эксперимент находится близко к бизнес метрикам (деньгам) и всего хватает, чтобы увидеть разницу в деньгах. Если это не так, то какие метрики взять для оценки эксперимента?
Требования к метрике простые:
должна хорошо и быстро «красится» в ходе эксперимента;
должна отражать результат (улучшение / ухудшение) изменений.
Подсмотрел прекрасную идею
Берём множество метрик, которые связаны с некой областью сайта (поиск, корзина, карточка товара, прочее). В этой области делаем сильное и очевидное ухудшение. Метрики, которые быстро показали негативный результат, являются искомыми.
Мне видится сомнительным
Меня смущает только «очевидное ухудшение». Во-первых, я предпочитаю работать с пресуппозицией, что эффект от изменения заранее неизвестен. Во-вторых, если убрать кнопку «купить», то с одной стороны - это очевидное ухудшение. Но по идее, такое изменение окрасит другие метрики нежели убрать все фото товара. В общем, будьте осторожны с выбором «очевидного ухудшения».
Для карточки товара, мне ничего лучшего в голову не пришло, кроме как убрать всё и оставить название, одно, фото, цена и кнопка «купить».
p.s. Метод отлично подходит вообще для выбора продуктовых метрик для разных фич, разделов и прочее.
А/Б необходимо оценивать не по бесконечному набору метрик с позиции «ну хоть что-то улучшилось», а по заранее определённым метрикам. Идеально, если эксперимент находится близко к бизнес метрикам (деньгам) и всего хватает, чтобы увидеть разницу в деньгах. Если это не так, то какие метрики взять для оценки эксперимента?
Требования к метрике простые:
должна хорошо и быстро «красится» в ходе эксперимента;
должна отражать результат (улучшение / ухудшение) изменений.
Подсмотрел прекрасную идею
Берём множество метрик, которые связаны с некой областью сайта (поиск, корзина, карточка товара, прочее). В этой области делаем сильное и очевидное ухудшение. Метрики, которые быстро показали негативный результат, являются искомыми.
Мне видится сомнительным
Меня смущает только «очевидное ухудшение». Во-первых, я предпочитаю работать с пресуппозицией, что эффект от изменения заранее неизвестен. Во-вторых, если убрать кнопку «купить», то с одной стороны - это очевидное ухудшение. Но по идее, такое изменение окрасит другие метрики нежели убрать все фото товара. В общем, будьте осторожны с выбором «очевидного ухудшения».
Для карточки товара, мне ничего лучшего в голову не пришло, кроме как убрать всё и оставить название, одно, фото, цена и кнопка «купить».
p.s. Метод отлично подходит вообще для выбора продуктовых метрик для разных фич, разделов и прочее.
Рациональность и иррациональность #nicehypothesis
Уже известно как описывать преимущества с логической стороны. Известно, что продавать надо выгоды, а не характеристики.
Что интересно
В одном эксперименте ребята из Duolingo увидели, что люди охотнее продолжают учиться, если есть подсказки. Хотя, мне кажется, что смысл учиться без подсказок, чтобы научиться.
Суть эксперимента
В приложении есть задания составить из слов предложение. По сути надо расположить слова в правильно порядке. Одно из слов начинается с заглавной буквы. Внимание вопрос! Какое слово должно быть первым? :)
Оказалось, что если этот «баг» исправить, то проседает заветный retention. Получается как в старом анекдоте. Это не баг, это скрытая фича.
Выводы
Логично (ну лично мне логично), что люди должны хотеть достигать цели, а не просто пользоваться подсказками. Практика показала, что рациональность здесь не работает.
Что протестировать?
В общем это озадачило меня таким вопросом: что такого есть в моём проекте, что является хорошо с точки зрения логики и строгости, но где можно дать послабление и сделать приятно пользователю?
Повторение мать!
Ну и ребята делают прекрасный вывод «even if something seems like it should be true, you don’t know until you test it».
Уже известно как описывать преимущества с логической стороны. Известно, что продавать надо выгоды, а не характеристики.
Что интересно
В одном эксперименте ребята из Duolingo увидели, что люди охотнее продолжают учиться, если есть подсказки. Хотя, мне кажется, что смысл учиться без подсказок, чтобы научиться.
Суть эксперимента
В приложении есть задания составить из слов предложение. По сути надо расположить слова в правильно порядке. Одно из слов начинается с заглавной буквы. Внимание вопрос! Какое слово должно быть первым? :)
Оказалось, что если этот «баг» исправить, то проседает заветный retention. Получается как в старом анекдоте. Это не баг, это скрытая фича.
Выводы
Логично (ну лично мне логично), что люди должны хотеть достигать цели, а не просто пользоваться подсказками. Практика показала, что рациональность здесь не работает.
Что протестировать?
В общем это озадачило меня таким вопросом: что такого есть в моём проекте, что является хорошо с точки зрения логики и строгости, но где можно дать послабление и сделать приятно пользователю?
Повторение мать!
Ну и ребята делают прекрасный вывод «even if something seems like it should be true, you don’t know until you test it».
Персонализация в цифрах для B2C рынка (часть 1/3) #presonalization
91% потребителей предпочтут бренды, которые делают релевантные предложения и рекомендации.
Охотно верится. Все кого встречал лично или с кем делал интервью, отлично реагируют на персональные предложения.
80% клиентов скорее всего купят у компании, которая персонализирует UX.
Не очень понятно что имеется ввиду под «who provides personalized experiences». Но тоже верю. Вообще мы, люди, очень любим когда «о нас».
90% потребителей согласны поделиться поведенческими данными, чтобы получить выгоду в виде экономии денег или времени.
В оригинале чётко написано «behavioral data», но я более чем уверен, что мы готовы делиться сильно большим, чтобы получить выгоду в виде скидки и/или сильной экономии денег.
91% потребителей предпочтут бренды, которые делают релевантные предложения и рекомендации.
Охотно верится. Все кого встречал лично или с кем делал интервью, отлично реагируют на персональные предложения.
80% клиентов скорее всего купят у компании, которая персонализирует UX.
Не очень понятно что имеется ввиду под «who provides personalized experiences». Но тоже верю. Вообще мы, люди, очень любим когда «о нас».
90% потребителей согласны поделиться поведенческими данными, чтобы получить выгоду в виде экономии денег или времени.
В оригинале чётко написано «behavioral data», но я более чем уверен, что мы готовы делиться сильно большим, чтобы получить выгоду в виде скидки и/или сильной экономии денег.
Персонализация в цифрах для B2C рынка (часть 2/3) #presonalization
71% потребителей чувствуют разочарование от одинакового подхода ко всем.
Отсутствие персонализации, конечно разочаровывает. С другой стороны, думаю, что это не влияет на покупки, пока конкурент не начал делать эту саму персонализацию. Просто все знают, что это делать можно и грустно, когда этого не делают, но товары всё ещё нужно где-то покупать. В продвинутом мире есть Amazon, который всем этим обладает, что наверное держит в тонусе всех остальных.
63% потребителей перестают покупать у компаний, которые делают очень слабую (плохую?) персонализацию.
Опять же, чтобы перестать где-то покупать, надо начать покупать в другом месте. Как и прежде утверждение, что надо бежать не быстрее медведя, а всего лишь быстрее конкурента - верное.
72% потребителей взаимодействуют только с теми маркетинговыми сообщениями, которые соответствуют их текущим интересам.
Вообще ничего удивительного в сегодняшнем перегрузе информацией. Если раньше не очень было понятно чем занять время, то теперь совершенно не ясно где его взять.
71% потребителей чувствуют разочарование от одинакового подхода ко всем.
Отсутствие персонализации, конечно разочаровывает. С другой стороны, думаю, что это не влияет на покупки, пока конкурент не начал делать эту саму персонализацию. Просто все знают, что это делать можно и грустно, когда этого не делают, но товары всё ещё нужно где-то покупать. В продвинутом мире есть Amazon, который всем этим обладает, что наверное держит в тонусе всех остальных.
63% потребителей перестают покупать у компаний, которые делают очень слабую (плохую?) персонализацию.
Опять же, чтобы перестать где-то покупать, надо начать покупать в другом месте. Как и прежде утверждение, что надо бежать не быстрее медведя, а всего лишь быстрее конкурента - верное.
72% потребителей взаимодействуют только с теми маркетинговыми сообщениями, которые соответствуют их текущим интересам.
Вообще ничего удивительного в сегодняшнем перегрузе информацией. Если раньше не очень было понятно чем занять время, то теперь совершенно не ясно где его взять.
Персонализация в цифрах для B2C рынка (часть 3/3) #presonalization
Персонализация может снизить CAC до 50%, поднять доход на 5-15% и увеличить эффективность маркетинговых бюджетов на 10-30%.
Похоже на сказку. С другой стороны подозреваю, что здесь всё так же как и с конверсией:
- если было очень плохо, то получим очень хорошие результаты;
- если было нормально, то результаты будут средненькими;
- если и так было хорошо, то результаты будут минимальны, если вообще будут.
Если результаты минимальны, то зачем этим заниматься? Опять же как в старой басне: не важно ты лев или антилопа, но если ты проснулся, то для выживания тебе надо бежать.
Больше цифр и источники по ссылке внизу.
Персонализация может снизить CAC до 50%, поднять доход на 5-15% и увеличить эффективность маркетинговых бюджетов на 10-30%.
Похоже на сказку. С другой стороны подозреваю, что здесь всё так же как и с конверсией:
- если было очень плохо, то получим очень хорошие результаты;
- если было нормально, то результаты будут средненькими;
- если и так было хорошо, то результаты будут минимальны, если вообще будут.
Если результаты минимальны, то зачем этим заниматься? Опять же как в старой басне: не важно ты лев или антилопа, но если ты проснулся, то для выживания тебе надо бежать.
Больше цифр и источники по ссылке внизу.
Первый плюс от CJM
CJM (Customer Journey Map, #CJM) представляет собой набор всех точек касаний компании с клиентом и может быть расширена вообще до всех точек касаний клиента с нашей темой. К тому же точки касаний содержат описание действий, которые делает клиент и/или компания.
Так вот, как минимум создание этого пути легко может показать, что мы что-то такое делаем на "дальних" этапах, о чём клиенты и не догадываются при выборе компании.
Отследить это можно по оценке эмпатии. Если точка имеет хорошую оценку с точки зрения эмпатии, то постарайтесь описать действия в этой точке или результат, который получает клиент в этой точке, как преимущество и обязательно в тест.
CJM (Customer Journey Map, #CJM) представляет собой набор всех точек касаний компании с клиентом и может быть расширена вообще до всех точек касаний клиента с нашей темой. К тому же точки касаний содержат описание действий, которые делает клиент и/или компания.
Так вот, как минимум создание этого пути легко может показать, что мы что-то такое делаем на "дальних" этапах, о чём клиенты и не догадываются при выборе компании.
Отследить это можно по оценке эмпатии. Если точка имеет хорошую оценку с точки зрения эмпатии, то постарайтесь описать действия в этой точке или результат, который получает клиент в этой точке, как преимущество и обязательно в тест.
А/Б тест НЕ решат вопрос сезонности #abtest
Сезонность - это когда спрос на товар/услугу меняется согласно внешним факторам и обычно имеет годовую цикличность.
Во время сезонности, как правило, меняются критерии выбора и/или важность критериев выбора.
Пример №1. В середине ноября, я готов купить подарок на НГ для дочери в США, т.к. я понимаю, что пересылка подарка в Киев замёт +/- месяц. Купить подарок в США во второй половине декабря, я категорически не согласен. Даже если на сайте будет написано, что доставка успеет. Ну не буду я рисковать! Как видим, важность критерия "скорость доставки" сильно возросла.
Пример №2. Тёплое лето... И вдруг жара налетела. Ну как у нас принято, летом никто не ждёт жары, а зимой снег выпадает внезапно. Так вот, жара пришла, спрос на кондиционеры резко вырос. Вам жутко дискомфортно. Если у вас что-то с сердцем или рядом, то дискомфорт становится опасным для здоровья и, возможно, жизни. Цены давно взлетели, люди всё равно покупают. Как видим, важность критерия "цена" падает.
Вывод, который очевиден, но почему-то не всем понятен
А/Б тест ВСЕГДА покажет лучшее решение для текущей ситуации. То есть, для новых критериев и для новой важности критериев. Когда сезон закончится и вернётся «обыденность», то вообще не понятно решение работает или нет. Вполне вероятно, что сделали хуже!
На всякий случай ещё раз: а/б тестирование НЕ решает вопрос сезонности.
Сезонность - это когда спрос на товар/услугу меняется согласно внешним факторам и обычно имеет годовую цикличность.
Во время сезонности, как правило, меняются критерии выбора и/или важность критериев выбора.
Пример №1. В середине ноября, я готов купить подарок на НГ для дочери в США, т.к. я понимаю, что пересылка подарка в Киев замёт +/- месяц. Купить подарок в США во второй половине декабря, я категорически не согласен. Даже если на сайте будет написано, что доставка успеет. Ну не буду я рисковать! Как видим, важность критерия "скорость доставки" сильно возросла.
Пример №2. Тёплое лето... И вдруг жара налетела. Ну как у нас принято, летом никто не ждёт жары, а зимой снег выпадает внезапно. Так вот, жара пришла, спрос на кондиционеры резко вырос. Вам жутко дискомфортно. Если у вас что-то с сердцем или рядом, то дискомфорт становится опасным для здоровья и, возможно, жизни. Цены давно взлетели, люди всё равно покупают. Как видим, важность критерия "цена" падает.
Вывод, который очевиден, но почему-то не всем понятен
А/Б тест ВСЕГДА покажет лучшее решение для текущей ситуации. То есть, для новых критериев и для новой важности критериев. Когда сезон закончится и вернётся «обыденность», то вообще не понятно решение работает или нет. Вполне вероятно, что сделали хуже!
На всякий случай ещё раз: а/б тестирование НЕ решает вопрос сезонности.
Данные всегда однозначны. Выводы всегда не однозначны. (1/3)
Нравится нам это или нет, но люди всегда ищут подтверждение своим идеям, мнениям, гипотезам. Смотря на одни и те же данные, два разных человека с разными взглядами могут видеть доказательства именно своих взглядов.
Нелицеприятный вывод «аналитика что дышло, куда повернёшь... »
Старый анекдот о продавцах
Отправляет обувная компания в Африку продавца разведать рынок. Через время приходит телеграмма «Рынка нет. Все ходят босиком». Спустя год меняется руководство компании и отправляют ещё раз, но уже другого менеджера в Африку с таким же заданием. Через время приходит телеграмма «Рынок безграничен и пуст. Все ходят босиком».
Разберём
«Все ходят босиком» - это данные!
Они не имеют окраски. Просто факт.
Перспективы рынка - это выводы, сделанные двумя разными людьми.
Нравится нам это или нет, но люди всегда ищут подтверждение своим идеям, мнениям, гипотезам. Смотря на одни и те же данные, два разных человека с разными взглядами могут видеть доказательства именно своих взглядов.
Нелицеприятный вывод «аналитика что дышло, куда повернёшь... »
Старый анекдот о продавцах
Отправляет обувная компания в Африку продавца разведать рынок. Через время приходит телеграмма «Рынка нет. Все ходят босиком». Спустя год меняется руководство компании и отправляют ещё раз, но уже другого менеджера в Африку с таким же заданием. Через время приходит телеграмма «Рынок безграничен и пуст. Все ходят босиком».
Разберём
«Все ходят босиком» - это данные!
Они не имеют окраски. Просто факт.
Перспективы рынка - это выводы, сделанные двумя разными людьми.
Данные всегда однозначны. Выводы всегда не однозначны. (2/3)
Есть такое понятие как «полное множество событий». Суть полного множества в том, что сумма вероятностей всех событий полного множества даёт единицу. Более простыми словами: одно из этих событий 100% произойдет.
Пример: полное множество событий подбрасывания монетки не 2 варианта, а 4. Орёл и решка - очевидные варианты. Но есть вероятность, что ребро. Точно нет? А если на пляже на песке бросаем? И последний вариант: монетка может не упасть. Кто-то её схватит и не отдаст. Бред? Это вы с детьми не играли в подбрасывание чего угодно.
Надеюсь пример показательный. Узость нашего мышления, как правило, не позволяет составить полное множество, но стараться надо.
Я уже слышу как кричат «нам главное самые частые события понять, влияние на них приносят результат»… Да, пример с монеткой не показательный для этого аргумента.
Пример 2: есть древня притча о том как слепые мудрецы на ощупь пытались составить портрет слона. В итоге у кого-то слон похож на змею (хобот), у кого-то на столб (нога), у кого-то на верёвку (хвост)...
У Маршака это басня заканчивается ровно так, как она обычно заканчивается в жизни, только вместо рук служебные полномочия и должности:
Возникли распри у слепцов
И длились целый год.
Потом слепцы в конце концов
Пустили руки в ход.
А так как пятый был силен, -
Он всем зажал уста.
И состоит отныне слон
Из одного хвоста!
Как правило мы не знаем не только всех элементов полного множества событий, но и размер самого множества. Простой вывод: не зная размер множества, мы никак не можем определить долю одного события в целом множестве.
Что дальше?
Есть такое понятие как «полное множество событий». Суть полного множества в том, что сумма вероятностей всех событий полного множества даёт единицу. Более простыми словами: одно из этих событий 100% произойдет.
Пример: полное множество событий подбрасывания монетки не 2 варианта, а 4. Орёл и решка - очевидные варианты. Но есть вероятность, что ребро. Точно нет? А если на пляже на песке бросаем? И последний вариант: монетка может не упасть. Кто-то её схватит и не отдаст. Бред? Это вы с детьми не играли в подбрасывание чего угодно.
Надеюсь пример показательный. Узость нашего мышления, как правило, не позволяет составить полное множество, но стараться надо.
Я уже слышу как кричат «нам главное самые частые события понять, влияние на них приносят результат»… Да, пример с монеткой не показательный для этого аргумента.
Пример 2: есть древня притча о том как слепые мудрецы на ощупь пытались составить портрет слона. В итоге у кого-то слон похож на змею (хобот), у кого-то на столб (нога), у кого-то на верёвку (хвост)...
У Маршака это басня заканчивается ровно так, как она обычно заканчивается в жизни, только вместо рук служебные полномочия и должности:
Возникли распри у слепцов
И длились целый год.
Потом слепцы в конце концов
Пустили руки в ход.
А так как пятый был силен, -
Он всем зажал уста.
И состоит отныне слон
Из одного хвоста!
Как правило мы не знаем не только всех элементов полного множества событий, но и размер самого множества. Простой вывод: не зная размер множества, мы никак не можем определить долю одного события в целом множестве.
Что дальше?
Данные всегда однозначны. Выводы всегда не однозначны. (3/3)
Задача ясна: получить полное множество этих самых выводов, мотивов, гипотез. Можно называть как угодно, главное понимать, что результатом этого всего является действие. А именно проверка этих выводов, идей, гипотеза в тестах.
Так вот. Человек, скорее всего, будет делать однозначные выводы, которые будут соответствовать его личному опыту.
Если опыт будет предусматривать более одного варианта, то скорее всего будет выбран самый «близкий» для человека вариант. Редко когда, один человек отдаёт себе отчёт, что бывает очень по разному и мы не знаем как именно.
Неоднозначные выводы скорее будет делать команда, где поощряется «свобода слова».
Если команда очень сработавшаяся и есть идеологический лидер, то скорее всего выводы будут однозначны, т.к. команда находится под влиянием своего лидера.
Для получания множества неоднозначных выводов лучше делать опросы участников теста или сегмента, который исследуем. Эти люди расскажут о своей мотивации и, скорее всего, там будет много очень разных историй.
Таким образом собираем все неоднозначные выводы.
Допустим, получилось собрать неоднозначные выводы, что теперь делать? Тестировать. При чём речь сейчас не только об А/Б тестах, а ещё и о MVP.
Тестируйте решения для пользователей, а не свою карту миру.
Задача ясна: получить полное множество этих самых выводов, мотивов, гипотез. Можно называть как угодно, главное понимать, что результатом этого всего является действие. А именно проверка этих выводов, идей, гипотеза в тестах.
Так вот. Человек, скорее всего, будет делать однозначные выводы, которые будут соответствовать его личному опыту.
Если опыт будет предусматривать более одного варианта, то скорее всего будет выбран самый «близкий» для человека вариант. Редко когда, один человек отдаёт себе отчёт, что бывает очень по разному и мы не знаем как именно.
Неоднозначные выводы скорее будет делать команда, где поощряется «свобода слова».
Если команда очень сработавшаяся и есть идеологический лидер, то скорее всего выводы будут однозначны, т.к. команда находится под влиянием своего лидера.
Для получания множества неоднозначных выводов лучше делать опросы участников теста или сегмента, который исследуем. Эти люди расскажут о своей мотивации и, скорее всего, там будет много очень разных историй.
Таким образом собираем все неоднозначные выводы.
Допустим, получилось собрать неоднозначные выводы, что теперь делать? Тестировать. При чём речь сейчас не только об А/Б тестах, а ещё и о MVP.
Тестируйте решения для пользователей, а не свою карту миру.
Запрашиваю радио молчание
Так уж случается, что гипотеза придуманная утром, скорее всего к вечеру не будет отправлена в А/Б тест. Гипотеза отправится в бэклог, на оценку, на приоритезацию, на проработаку, на чего-то ещё и потом в А/Б тест.
Особенность один. Человеческий мозг странная штука. Когда о чём-то усиленно думаешь, ответ может и не прийти. Стоит переключить внимание на что-то совершенно другое и Эврика!
Особенность два. Так же у людей есть очень характерная черта такая как быть сильными в «заднем уме».
Пример. Вы приняли решение А неделю назад и оно вам казалось самым верным. Через неделю появилась новая информация и вот все вокруг вас осуждают, да и вы сами корите себя за такое решение. Это задний ум.
Эти две особенности приводят к тому, что гипотеза после её начального формирования и вне работы по проработке подвергается изменению.
Я считаю, что это плохо потому что:
- если новые данные (задний ум) противоречат данным в основе гипотезы, то гипотеза должна быть снята вообще или отправлена на проработку повторно. И такое может быть.
- все остальные «улучшения», это уже другие гипотезы.
Подходящий процесс будет таков: написать другую гипотезу, проверить данные, отправить на приоритезацию. И в случае, что новая гипотеза лучше, она будет передана в тестирование раньше. Знания после теста этой новой гипотезы, возможно исключат старую из бэклога навсегда. Но это уже домыслы...
Бюрократия? Возможно…
Вы уверены, что новая гипотеза 100% лучше старой? Зачем вам тогда вообще эти а/б тесты надо.
Так уж случается, что гипотеза придуманная утром, скорее всего к вечеру не будет отправлена в А/Б тест. Гипотеза отправится в бэклог, на оценку, на приоритезацию, на проработаку, на чего-то ещё и потом в А/Б тест.
Особенность один. Человеческий мозг странная штука. Когда о чём-то усиленно думаешь, ответ может и не прийти. Стоит переключить внимание на что-то совершенно другое и Эврика!
Особенность два. Так же у людей есть очень характерная черта такая как быть сильными в «заднем уме».
Пример. Вы приняли решение А неделю назад и оно вам казалось самым верным. Через неделю появилась новая информация и вот все вокруг вас осуждают, да и вы сами корите себя за такое решение. Это задний ум.
Эти две особенности приводят к тому, что гипотеза после её начального формирования и вне работы по проработке подвергается изменению.
Я считаю, что это плохо потому что:
- если новые данные (задний ум) противоречат данным в основе гипотезы, то гипотеза должна быть снята вообще или отправлена на проработку повторно. И такое может быть.
- все остальные «улучшения», это уже другие гипотезы.
Подходящий процесс будет таков: написать другую гипотезу, проверить данные, отправить на приоритезацию. И в случае, что новая гипотеза лучше, она будет передана в тестирование раньше. Знания после теста этой новой гипотезы, возможно исключат старую из бэклога навсегда. Но это уже домыслы...
Бюрократия? Возможно…
Вы уверены, что новая гипотеза 100% лучше старой? Зачем вам тогда вообще эти а/б тесты надо.
Математическое доказательство, почему надо решать проблему клиента
Не секрет, что вопросы определяют направление нашей мысли. Это широко используется в продажах и психологии.
Например, «почему мои гипотезы вечно проигрывают?» и «какие знания я могу получить из этого теста?» — это два принципиально разных вопроса. Они определяют ход мысли и как следствие результат. Это как SQL, только 100500 раз круче. Что спросим, то и получим.
Были на «советских» свадьбах? Ну там где мужчина голова, а женщина шея, куда повернёт, туда голова и смотрит... Вот это всё про одно и тоже.
Какую проблему мы хотим решить нашими гипотезами?
Удивительно, но факт, часть продуктовых менеджеров и маркетологов, говорят, что гипотезы направлены на рост дохода, продаж, новых пользователей и т.д. Грубо говоря, целью любой гипотезы является рост показателей бизнеса. Что в этом ужасного?
Сравните эти два вопроса
«Какую проблему мы решаем?» - это вопрос из предыдущего пункта, и «Чью проблему мы решаем?». Второй вопрос наводит нас (ну меня так точно) на очевидную мысль, что есть проблемы бизнеса и есть проблемы потребителя.
Далее большинство согласится, что «Успешный бизнес решает проблемы (потребности) потребителя». Как-то не комильфо кричать «Да нам пофиг на клиентов, главное чтобы наши показатели росли»...
Собственно математика
Если мы предлагаем гипотезу НЕ на базе проблемы пользователя, то мы угадываем две вещи: проблему пользователя и решение этой проблемы.
Допустим вероятность угадать каждое по отдельности — 50%. Вместе уже 25%. Чувствуете / видите / понимаете как успех отдаляется от нас?
Если гипотеза основана на реальной проблеме, то у нас сильно больше шансов на успех, т.к. угадыванием проблемы мы не занимаемся.
Следствие
Искать проблему надо с помощью классических исследований. Измерять на сколько решение подходит нужно с помощью тестирования.
Не секрет, что вопросы определяют направление нашей мысли. Это широко используется в продажах и психологии.
Например, «почему мои гипотезы вечно проигрывают?» и «какие знания я могу получить из этого теста?» — это два принципиально разных вопроса. Они определяют ход мысли и как следствие результат. Это как SQL, только 100500 раз круче. Что спросим, то и получим.
Были на «советских» свадьбах? Ну там где мужчина голова, а женщина шея, куда повернёт, туда голова и смотрит... Вот это всё про одно и тоже.
Какую проблему мы хотим решить нашими гипотезами?
Удивительно, но факт, часть продуктовых менеджеров и маркетологов, говорят, что гипотезы направлены на рост дохода, продаж, новых пользователей и т.д. Грубо говоря, целью любой гипотезы является рост показателей бизнеса. Что в этом ужасного?
Сравните эти два вопроса
«Какую проблему мы решаем?» - это вопрос из предыдущего пункта, и «Чью проблему мы решаем?». Второй вопрос наводит нас (ну меня так точно) на очевидную мысль, что есть проблемы бизнеса и есть проблемы потребителя.
Далее большинство согласится, что «Успешный бизнес решает проблемы (потребности) потребителя». Как-то не комильфо кричать «Да нам пофиг на клиентов, главное чтобы наши показатели росли»...
Собственно математика
Если мы предлагаем гипотезу НЕ на базе проблемы пользователя, то мы угадываем две вещи: проблему пользователя и решение этой проблемы.
Допустим вероятность угадать каждое по отдельности — 50%. Вместе уже 25%. Чувствуете / видите / понимаете как успех отдаляется от нас?
Если гипотеза основана на реальной проблеме, то у нас сильно больше шансов на успех, т.к. угадыванием проблемы мы не занимаемся.
Следствие
Искать проблему надо с помощью классических исследований. Измерять на сколько решение подходит нужно с помощью тестирования.
Инь и ян А/Б тестирования
Есть две крайности (другие крайности я не встречал, к счастью):
1. Каждая гипотеза должна быть мега-мега обоснована. Это и количественные данные, и качественные исследования, и желательно ещё какой-то пре-тест сделать.
2. Запускаем просто как можно больше тестов, т.к. всё равно никто не знает какая гипотеза выстрелит и пока вы там будете искать обоснования, мы уже с десяток тестов запустим.
Первое очевидно, что истина где-то посередине. Второе очевидно, что середина у каждого своя.
На Reforge вышла прекрасная статья Good Experiment, Bad Experiment, в которой автор Fareed Mosavat в прошлом Dir of Product в Slack рассказывает о своём виденье этой самой середины и границы между хорошими и плохими тестами.
Очень рекомендую прочитать!
Есть две крайности (другие крайности я не встречал, к счастью):
1. Каждая гипотеза должна быть мега-мега обоснована. Это и количественные данные, и качественные исследования, и желательно ещё какой-то пре-тест сделать.
2. Запускаем просто как можно больше тестов, т.к. всё равно никто не знает какая гипотеза выстрелит и пока вы там будете искать обоснования, мы уже с десяток тестов запустим.
Первое очевидно, что истина где-то посередине. Второе очевидно, что середина у каждого своя.
На Reforge вышла прекрасная статья Good Experiment, Bad Experiment, в которой автор Fareed Mosavat в прошлом Dir of Product в Slack рассказывает о своём виденье этой самой середины и границы между хорошими и плохими тестами.
Очень рекомендую прочитать!
Лучший Проверятель Реализации Гипотезы
Считается, что ответственный за всё и вся является Product Manager / CRO Manager / Маркетолог (зависит от типа компании). Этот человек должен следить за качеством реализации гипотезы.
Проблема в том, что функцию выполняет _человек_. А из этого однозначно следует, что этот человек имеет свою субъективную оценку каждого эксперимента «выстрелит» / «не выстрелит». Из этого следует, что отношение к разным экспериментам будет разное.
К экспериментам, в которые верим, будет очень бережное отношение, много внимания деталям и т.д. К экспериментам, в которые не верим, будет более халатное отношение.
Это утрировано, но подсознание работает именно таким образом. Разницу можно увидеть только в сравнении.
Как сделать, чтобы все эксперименты получили максимум внимания?
На самом деле очень просто. Мерилом «клёвости» реализации должен выступать автор гипотезы.
Считается, что ответственный за всё и вся является Product Manager / CRO Manager / Маркетолог (зависит от типа компании). Этот человек должен следить за качеством реализации гипотезы.
Проблема в том, что функцию выполняет _человек_. А из этого однозначно следует, что этот человек имеет свою субъективную оценку каждого эксперимента «выстрелит» / «не выстрелит». Из этого следует, что отношение к разным экспериментам будет разное.
К экспериментам, в которые верим, будет очень бережное отношение, много внимания деталям и т.д. К экспериментам, в которые не верим, будет более халатное отношение.
Это утрировано, но подсознание работает именно таким образом. Разницу можно увидеть только в сравнении.
Как сделать, чтобы все эксперименты получили максимум внимания?
На самом деле очень просто. Мерилом «клёвости» реализации должен выступать автор гипотезы.
О продактах, аналитиках и data-driven подходе в одном диалоге
Аналитик и Продакт:
А: нравится-пилите)
П: нравится
А: так пилите)
П: меня было интересно на сколько реально посчитать это число
А: посчитай-и узнаешь)
А: я не буду
А: мне не нравится прям совсем)
Просто важно помнить, что на сколько бы мы все небыли data-driven, мы остаемся людьми с относительно изученной архитектурой мозга и известными алгоритмами мышления вместе с когнитивными искажениями. Ни больше, ни меньше.
Аналитик и Продакт:
А: нравится-пилите)
П: нравится
А: так пилите)
П: меня было интересно на сколько реально посчитать это число
А: посчитай-и узнаешь)
А: я не буду
А: мне не нравится прям совсем)
Просто важно помнить, что на сколько бы мы все небыли data-driven, мы остаемся людьми с относительно изученной архитектурой мозга и известными алгоритмами мышления вместе с когнитивными искажениями. Ни больше, ни меньше.