Зацепился за статью https://space.productsense.io/post/tri-podhoda-k-segmentatsii-30-millionnoj-auditorii-v-avito-pochemu-oni-provalilis-i-chem-ih-zamenili и уже два дня пытаюсь найти правильные слова, чтобы описать то, что мне не понравилось.

Начать стоит с того, что сегментация — это разделение всего рынка или аудитории продукта/сервиса на группы (сегменты), которые по всем важным параметрам гомогенны (однородны) внутри сегмента и гетерогенны (разнородны). То есть, разбиваем на группы так, чтобы внутри каждой группы пользователи были максимально похожие, а группы между собой различались.

Естественно, и это интуитивно понятно из определения, в зависимости от задачи можно подобрать совершенно разные параметры. Все параметры условно относят к трём большим группам: демографические (или фирмографические, если речь идёт о сегментации компаний, а не людей), психографические («отношенческие») и поведенческие. Пол, рост, вес, место жительства, религия, политические взгляды, занятие спортом — это всё примеры разных возможных параметров.

Возможных параметров и их комбинаций очень много. Если взять их все, то получится огромное количество мелких сегментиков, которые внутри может и гомогенны, но между собой отличаются мало. Да и анализировать такую прорву невозможно. Поэтому выбирают небольшое количество самых важных параметров, которые становятся базой для сегментации.

Выбор базы — работа мозга, для которой надо понимать задачу и вообще понимать, что ты делаешь. А еще понимать рынок и пользователей, для чего и надо делать качественные и количественные исследования — тоже много работы. Из инсайтов и данных, полученных в результате исследований, получают информацию, которая позволяет выделить те самые важные параметры, которые станут базой.

На базе базы :) делаются сегменты... Этому и многим другим полезным вещам классический маркетинг уже лет 30-40 учит приблизительно одними и теми же словами. Вместо магии и гадания там чёткая последовательность шагов и довольно несложная математика.

Картина получается очень простая: сначала сформулированная задача и изучение рынка, чтобы определить параметры базы для сегментации, и только после этого сегментация и ответ на изначальный вопрос.

Одним из самых популярных словосочетаний в маркетинге является “Segmentation Targeting Positioning” — STP или The Holy Trinity of Marketing, святая Троица маркетинга. Сначала Сегментация, для которой изучается рынок, потом выбор целевых сегментов (Таргетирование), которые наиболее перспективны с точки зрения задачи (рост аудитории, рост доходов или что-то ещё) и в конце Позиционирование — создание нужного образа товара или услуги в головах пользователей из определенного целевого сегмента. Это упражнение является одной из самых важных частей работы маркетолога.

Ничего из этого я в статье не увидел. Под совершенно расплывчато сформулированную задачу подводятся какие-то действия, которые сегментацией не являются, к результату не приводят и вполне ожидаемо проваливаются.

Не сразу понял зачем им номер телефона, если само сообщение они прислали смской :-)

Это конечно же уже Яндекс работает. От поддержки Убера даже при прямом обращении добиться толка можно было со второго или третьего раза. Они мой странный аккаунт, заведённый в США на швейцарскую симкарту и белорусскую дебетовую карту, постоянно блокировали за фрод.

Очень круто, что реагируют даже просто на низкую оценку водителю.

Максим из Варгейминга написал про их платформу -- https://habr.com/company/wargaming/blog/434004/

В статье всё изрядно упрощено, куча деталей и нюансов остались за бортом, но общее представление даёт. Со всей внутренней кухней получилось бы гораздо интереснее, но и длиннее, и конечно же просто нельзя такое наружу публиковать. Не потому, что там страшные тайны, а потому что сложно, сильно специализировано и страшные тайны :-).

Кроме этой технологической части в Варгейминге было несколько команд в издательском департаменте, которые делали много работы по поиску новых игр, улучшению инструментов оперирования играми, улучшения ключевых KPI проектов, созданию развлекательных и информационных сервисов и пр. Всё это в статье за бортом и теперь разве что в мемуарах всплывёт.

Люблю вот такие посты — https://goo.gl/i1Q45L. Сильно глубоких деталей нет, но зато обзорно есть куча разноплановых фактов, которые более или менее целостно описывают изменения.

Ещё интересно сравнивать с цифрами по другим проектам и иногда по различиям что-то понимать про аудиторию.

Раньше почему-то не натыкался на всю эту тему, а оказывается вокруг истории Pixar и участия в ней Стива Джобса есть целая драма. Alvy Ray Smith, который вместе с Ed Catmull основал Pixar, целый раздел у себя на сайте посвятил развенчанию мифов об участии Джобса в основании Pixar, создании фильмов, управлении компанией и т.п. -- http://alvyray.com/Pixar/PixarHistoryRevisited.htm

Если кратко, то там так: нет, Джобс не является основателем или сооснователем компании; он ей даже толком не управлял и уж точно не придумывал никаких мультфильмов; в самый критический момент компанию спас не Джобс, а заказ на мультфильм от Disney; и вообще большую часть времени всем рулил Эд. Точка.

P.S. Вот только вчера в зале смотрел ролик от Варгейминга "Кто придумал Танки?" :-). Ну вот как оно так случается, что всё в один день сходится?!

В @productsense_chat Рома из Варгейминга спросил "о customer development кейсах в игровой индустрии". Я попробую в нескольких постах написать мысли по этому поводу.

Про сам Customer Development можно вот тут почитать -- http://www.market-by-numbers.com/customer-development/. Начинается он с discovery, т.е. выявления потребности (проблемы), нахождения решения и проверки того, что клиенты готовы покупать такое решение своей проблемы.

Есть же разные типы потребностей. Те из них, которые про развлечения (в первую очередь игры, но и не только), очень сложно идентифицировать с помощью тех подходов, которые калифорнийские стартаперы придумали.

С одной стороны их подход -- чистый здравый смысл. А с другой стороны -- он даже им помогает через раз, а значит никогда.

Потребность в развлечениях очень сложная, т.к. ее удовлетворяет множество разных "продуктов". Можно видео посмотреть, можно пойти с друзьями время проводить, можно в футбол поиграть, можно пойти в бар (тоже развлечение!), можно в футбол поиграть на телефоне, компьютере и так далее, можно в инстаграм тупить, книжку почитать...

И даже внутри игровой индустрии множество способов удовлетворения потребности в развлечениях: много жанров, огромное количество игр, стримы, видео и пр.

Плюс к этому надо понимать, что игры довольно сложные, со множеством факторов влияющих на удовольствие: картинка, игровой процесс, сюжет, взаимодействие с другими игроками, качество сервиса и пр. Причем, это все еще длится не несколько секунд или минут, как со многими сервисами, а часами.

Чтобы проверить понравится ли игроку игра, зачастую надо ему эту игру показать. Т.е. MVP игры -- игра.

Если посмотреть на мобильщиков, то их подход с 10 прототипов - 3 софт-ланча - 1 релиз, это и есть ответ. Но у них дешевое производство (по сравнению с ПК или консольной игрой) и оч-чень конкурентная среда (легко копируют, очень много других игр).

Т.е. проблема известна, способов удовлетворения ее множество, игры только один из способов, среди игр огромная конкуренция, стоимость разработки очень высокая.

Из предыдущего поста может показаться, что всё безнадёжно: сама потребность понятна (развлечение), решение тоже понятно (конкретная игра), но проверка того, что игрокам понравится такое решение и они будут за него платить, стоит слишком дорого (MVP игры — игра).

Но тут надо вернуться на пару шагов назад, за шаг до самого Customer Development фреймворка. И задать себе тот вопрос, ради которого этот фреймворк придуман: как можно пораньше убедиться в том, что продукт будет успешным?

Во-первых, надо убедиться, что игра вообще имеет шансы быть успешной. Для этого изучают рынок, жанр, смотрят на то какие жанры на подъёме, с кем придётся конкурировать, в каком состоянии конкуренты и какая у них бизнес-модель, строят свою бизнес-модель, придумывают USP и дифференциаторы, и т.п. В игровой индустрии уже накопилось изрядное количество наблюдений, которые позволяют более или менее предсказать куда лезть не надо, где будет тяжело и т.п.

Fortnite, вон, отлично поймал жанр battle royal на подъёме и увидел у конкурента недостатки в бизнес-модели и качестве: PUBG -- платная, а потому недоступна куче игроков, и глючная. А вот тем, кто пошёл в жанр через полгода-год после Фортнайта, стоило бы подумать получше.

Во-вторых, игру надо как можно раньше начать показывать пользователям. Это тяжело, но не так уж невозможно: игроков можно звать на фокус-тесты совсем ранних версий, показывать им отдельные механики, тестировать новые карты или какие-то элементы геймплея. Главное, не забывать, что пара десятков игроков в офисе не является репрезентативной выборкой и их фидбек носит качественный, а не количественный характер.

Дальше игру по нарастующей можно показывать все большему и большему количеству игроков, каждый раз аккуратно анализируя фидбек и наблюдения. Игра уже в каком-то более или менее рабочем виде существует, но все еще может быть закрыта. В идеале, самые дорогие вещи (например, контент всех типов) лучше производить после того, как подтверждено, что игрокам нравится core gameplay. Даже после этого игра все еще может быть закрыта, но в нее хотя бы будет закопано сильно меньше денег.

Как я уже упоминал, у мобильщиков есть еще один рецепт: количество, переходящее в качество :-). Там очень быстрое производство, которое позволяет и сделать быстрее, и потестировать проще. Есть у этого большой недостаток: часто очень легко найти причины, факты и доказательства в пользу того, чтобы проект закрыть.

По стоимости и сложности производства, несмотря на айтишные корни, игры больше похожи на кинофильмы. Только, как я понимаю, у киношников еще меньше возможностей для тестирования на реальных людях. Sam Mendes, если я правильно помню, говорил, что первую реакцию реальных людей на 007 Specter увидел на предпоказах за несколько недель до запуска фильма в мировой прокат.

Утром забыл закинуть ссылку на очень интересное выступление Ed Catmull из Pixar -- https://www.youtube.com/watch?v=Er-yRcy7LlQ

Об этом вообще всем компаниям стоит задумываться, но особенно тем, кто производит сложные и дорогие продукты или контент. Как только вовлечено много людей, так сразу надо об этих вопросах задумываться.

Я очень много раз видел как неплохие идеи топят просто из-за того, что сама среда в компании токсична.

Не очень длинный трэд в Твиттере про события, которые сопровождали запуск iPad — https://threadreaderapp.com/thread/957378194927054848.html.

Вот например:
(4) at one point steve wanted to turn UIKit elements orange. not just any orange, he wanted a particular orange from the button on a certain old sony remote. we got a bunch of remotes from sony with orange buttons to try and find the right one. in the end, steve hated it.

#kisstwitterthread

Новый год начинается с работы. С чем вас и поздравляю!

Вот чем сейчас занимаюсь в области образования:

(1) Никуда не пропало намерение сделать в Минске большую конференцию про маркетинг. Именно этим и занимаюсь уже третий день нового года. Поиск и проверка идей, рисование скетчей от руки (на самом деле пером на айпаде), изучение Тильды, поиск партнёров, постоянное общение и т.п. Даже софт какой-то под это дело будем писать. В чистом виде стартап. Скоро сделаем анонс и начнём отбирать спикеров и партнёров (детали -- @keyhell).

(2) Появилось желание устроить в Минске митап про Market Research. Кое-что планирую рассказать сам, кого-нибудь из Wargaming позову, и ещё одного спикера с каким-нибудь интересным практическим кейсом ищу (детали -- @keyhell). Посмотрим кому эта тема в Минске интересна.

(3) Записался на онлайн курсы скетчноутинга https://bevisual.by/gym. Решил, что онлайн раз в неделю мне подходит.

Мне напомнили, что я обещал про NPS написать.

Как говорится, like, share, repost — очень интересно послушать аргументы “за” или success story.

ИМХО, NPS — https://en.wikipedia.org/wiki/Net_Promoter — это метрика, необходимость которой себе надо доказывать от обратного. Сначала сформулировать, что NPS вам не нужен, а потом, изучая методологические претензии, критику и опыт других компаний, пытаться найти хоть какие-то аргументы “за”.

Начать стоит с того, что у NPS нет никакого физического или логического смысла. За вычитанием detractors из promoters ничего не стоит. Это просто искусственно придуманная формула, с помощью которой получается число. Как если бы из количества правшей в мире вычли количество левшей, а результат объявили net количеством правшей.

Такой очень высокоуровневый KPI, который как-то должен выражать опыт пользователей и коррелировать с другими KPI.

Напомню, что NPS равный 30 — это и 31-1, и 50-20, и 65-35.
А 35% detractors — это любое распределение по ответам от 0 до 6.

Вот и думайте, что он может выражать и как коррелировать.

NPS — это измерение намерения пользователей (“порекомендуете ли вы…”), а не действия или результата действия. Нет никакой возможности проверить ни правдивость ответов, ни факт реальной рекомендации в будущем. Более того, момент ответа на вопрос о готовности рекомендовать и момент реальной рекомендации настолько далеко друг от друга во времени, что всё уже сто раз может поменяться.

Т.к. само по себе число ничего не значит, то обычно NPS используют так:

-- сравнивают текущий NPS с предыдущими значениями для этого же продукта или сервиса — чтобы оценивать влияние вносимых в продукт изменений на customer experience;

-- сравнивают NPS различных продуктов или сервисов друг с другом и со средним в индустрии.

Чтобы сравнивать, NPS сначала надо измерить: задать пользователям один простой вопрос и посчитать значение по примитивной формуле. Однако, на практике результат сильно зависит от огромного количества факторов: типа продукта или услуги, момента и контекста, самой формулировки вопроса и внешнего вида сообщения, наличия других вопросов в опроснике, культурных особенностей, времени суток, настроения, ожиданий, понимания происходящего, выборки, технических проблем и т.д. и т.п. Тысячи их. Большая часть из них не имеет отношения к опыту использования вашего продукта.

Например, сразу после покупки билетов я оценю цену и удобство сайта. За день до перелёта — свои ожидания от поездки. Сразу после перелёта — всё это вместе с перелётом, аэропортом, ранним подъёмом, тяжелой сумкой, слишком короткой стыковкой и т.п. Через неделю — удовлетворённость отпуском и что-нибудь ещё.

Если до вопроса о готовности рекомендовать продукт мне придётся заполнить анкету из пары десятков других вопросов, я наверняка отвечу не так, как если бы вопрос был один. Особенно, если в процессе вспомню все проблемы и косяки этого продукта.

Предположим, что для сравнения продукта с самим собой мы жёстко зафиксируем все подконтрольные нам факторы:
— выберем правильный момент так, чтобы отвечали именно те, кто реально воспользовался продуктом;
— чётко сформулируем вопрос, чтобы было понятно о чём речь;
— договоримся, что в сообщении будет только он, чтобы другие вопросы не влияли на ответ;
— договоримся о неизменности внешнего вида сообщения, одном и том же канале доставки и пр.;
— продумаем подход к выборке пользователей или решимся на то, чтобы опрашивать всех, подходящих;
— застрахуемся от технических проблем;
— и т.п.

Кажется, что после этого остаётся только менять продукт и оценивать изменение пользовательского опыта по колебаниям NPS. (В идеале, в продукте надо делать атомарные изменения и тестировать каждое из них в отдельности, т.к. если изменений будет много, будет непонятно что из них улучшило NPS, а что нет.)

Однако, тут же вмешивается время и сами пользователи.

Во-первых, на кучу изменений и измерений надо много времени и много выборок новых пользователей. Долбить одним и тем же вопросом одних и тех же пользователей — не выйдет.

Во-вторых, всё ещё никаких гарантий, что пользователи в выборках не отличаются по какому-нибудь невидимому вам параметру. Будут постоянные вопросы о том, что вызвало флуктуации — продукт или выборка.

В-третьих, пользователи со временем тоже меняются: новички приходят по другой рекламе с другими ожиданиями от продукта, появляются или пропадают конкуренты, появляются или перегорают ожидания в комьюнити, пользователи приходят с нового айфона, на котором опросник выглядит криво и т.п.

В конечном итоге станет понятно, что получение одного числа не стоит таких усилий. Вероятнее всего, для объяснения этого числа будет проводиться куча других исследований, которые гораздо лучше опишут происходящее.

Так может сразу строить нормальный процесс исследования аудитории?!!

Сравнение NPS разных продуктов и расчёт среднего значения по индустрии выглядит как шутка про сравнение яблок и ... даже не апельсинов, а яблок и бетонных столбов. Тёплое с мягким…

Приблизительно половина «исследователей» не может объяснить что и зачем. Путают цель, переформулируют вопрос как им угодно, меняют шкалу (почитайте публикации — там то 0-10, то 1-10, то вообще 1-4) и формулу (promoters то 9-10, то 8-10), задают вопрос отдельно или вместе с десятками других вопросов, и т.п. и т.д.

Опрашивают в разные (зачастую неправильные) моменты и в совершенно разных условиях. В итоге у одних — NPS сайта, у других — NPS самолёта, у третьих — NPS службы поддержки(!), а сравнивают это как NPS трёх разных авиакомпаний.

Банально манипулируют цифрами для достижения каких-то своих целей... У кого-то же NPS точно в KPI записан!

Непонятно как у кого-то рука поднимается найти в Интернете какое-то число и что-то с ним сравнивать.

В итоге, ИМХО так:
-- к самой идее NPS сплошные вопросы;
-- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
-- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
-- не стоит сравнивать свой NPS с тем, что публикуют в Интернете; тем более не стоит на базе этого делать какие-то выводы;
-- писать такие длинные тексты не стоит :-).

На практике я со многим из перечисленного сталкивался: и с падением NPS у не менявшегося продукта, и с падением NPS у улучшавшегося (по другим KPI) продукта, и с измерением NPS по шкале 1-10, и с выборкой в 16 человек, и с NPS как KPI для бонусов, и пр.

Много раз обсуждал NPS, как метрику, с теми, кто у себя в продуктах или компаниях его внедрял -- ЕМНИП, ни у кого сильно позитивного опыта нет. Многие считают, но никогда толком не используют.

Ну и в завершение поиграйтесь вот с этим и подумайте -- http://indexnps.com.

Откуда у них данные и как они считают? -- Да вот как:

"Index NPS gathers NPS® data from publicly available sources. In cases when we do not find an NPS score for a company, we use company’s Facebook Social Post behavior. Index NPS aggregates the last 100 social posts of a company and extracts each social post behavior, such as "Like", Angry, Sad, Happy. Based on the social data, we create an NPS score which is based more on social data rather than survey data."

Steven Sinofsky, который был VP подразделения Windows в Microsoft, написал в Твиттере абсолютно правильные рассуждения о том, как Apple относится к своим продуктам и ценообразованию -- https://threadreaderapp.com/thread/1081174886901473280.html.

Приятно наблюдать, что Apple работает прямо по учебнику классического маркетинга. Не устану повторять, что многие бизнесы очень много теряют из-за того, что позволяют себе иметь непрофессионалов именно в области маркетинга и продуктового управления.

P.S. Steven оказывается регулярно делает серии постов в Твиттере -- https://threadreaderapp.com/user/stevesi. Я себе прямо отдельную закладку на него сделал.

#kisstwitterthread

Вот как выглядел Product Vision того, что в последствии стало MS PowerPoint -- https://threadreaderapp.com/thread/1072942007453016064.html.

14 августа 1984 года 🙂
Две страницы кристально чистого вижна, в котором описано почти всё, чем мы пользуемся.

Сегодня анонсировали, открыли группу в Facebook и сразу стартовали поиск и отбор спикеров на Minsk Shift — конференцию про маркетинг, которую мы планируем провести во второй половине мая 2019.

С любой точки зрения это стартап с собственным маркетингом, производством, бизнес-девелопментом, продажами и службой поддержки. А ещё — поисками, озарениями, сомнениями, кранчами и т.п. Буду периодически про вызовы и достижения тут писать.

В первую очередь хочется написать мысли про ЦА. Первая мысль такая: мы не планируем делать это конференцией исключительно про маркетинг в IT. Не IT компании уже вовсю используют те же методы продвижения и инструментарий, а значит им всем — и IT, и не IT — есть о чём поговорить.

Мысль вторая: одна из важных задач маркетинга (как бы пафосно это не звучало) — это поддержание в компании ориентации на пользователей. И эта ноша не на них одних: продакт-менеджеры, CEO и всякие другие руководители продуктов и компаний должны иметь чёткое представление о маркетинге, актуальных проблемах и подходах, инструментах и т.п., а также постоянно возвращать фокус своих организаций на пользователей. Пренебрежение знаниями и опытом, накопленными в маркетинге, постоянно всплывает в кругах, где обсуждают создание продуктов и компаний, — а тут такой случай послушать и поучиться.

Группа вот — https://www.facebook.com/groups/MinskShift/. Ссылка на форму для спикеров там же.

Для конференции Minsk Shift завели чат — @minskshift.

У меня много спрашивали почему я не делаю чат к своему каналу... Ну вот, наверное, он. Там и конференция будет, и про маркетинг, и стык с технологиями, и просто курилка для обсуждения и знакомств.

Huawei начинают мочить по всему миру: сначала в Штатах, потом в Канаде, теперь вот в Польше. Я просто уверен, что китайцы могли и делали для себя бэкдоры, т.к. ЕМНИП такие претензии к ним возникали ещё в те времена, когда Huawei был известен как молодой растущий конкурент Cisco, Siemens и пр. на рынке телеком. оборудования. Как они развернулись в телефонах, даже представить страшно. А ведь я с Mate 10 несколько месяцев отходил 🙂

@theedinorogblog пишут о венчурном рынке и предпринимателях, но вот нашли и запостили моё видео про недостатки продакт менеджеров 🙂 За что им спасибо и всяческих успехов!