Keep it simple, stupid! – Telegram
Keep it simple, stupid!
2.55K subscribers
452 photos
23 videos
42 files
1.19K links
🐼 | CPMO @ fusion energy startup | Ex-Palta, Yandex, Wargaming, IBM | Пишу о том, что мне интересно
Download Telegram
В отчёте про Убер есть десять критериев их инвестора Bill Gurley, которые надо рассматривать при изучении marketplace:

• Is it a qualitatively better customer experience?
• Does it provide an economic advantage?
• Can the technology make the marketplace more powerful?
• Is the current market highly fragmented?
• Is supplier signup currently high-friction?
• Is the market large enough?
• Can the market be expanded?
• How often will people transact on the platform?
• How do you get paid?
• Does adding to the network make the network more powerful?

Забавно, что нет ни слова про chicken-egg problem, а ведь именно её Убер до сих пор заливает тоннами денег. После 18 раундов, имея $22 млрд. инвестиций, можно продолжать дотировать цену поездки и покупать и водителей и пассажиров. Но бесконечно так делать не выйдет, а конкуренты все никак не умирают. Lyft в США, вон, и вовсе растёт, отбирая долю у Убера.
В отчёте про Убер очень однобоко описана конкуренция с Lyft. Это локальный конкурент, но на самом важном, американском, рынке. Там Lyft и Убер растут приблизительно с одинаковой скоростью и сейчас делят рынок приблизительно 30/70.

У Убера экспансия по миру и ставка на self driving авто. У Lyft за спиной стратегическое партнёрство с Waymo и недавние инвестиции от Google ($1B). Экспансии по миру нет, но и нет связанных с этим костов и расфокусировки.

Обе компании собрались на IPO в 2019. И вот тут Lyft, который по некоторым оценкам может закончить 2018 с чистой прибылью, выглядит гораздо интереснее Убера, который и денег у инвесторов взял сильно больше, и в Китае/России/Азии облажался, и убыточен пока очень сильно (хотя и сокращает разрыв каждый год, но прибыль ожидается лет через 5). В текущей ситуации Lyft, как мне кажется, может гораздо более эффектный выход сделать: за спиной Google/Waymo, на столе профит, а на собранные деньги можно хоть продуманную экспансию по миру начинать, хоть за домашний рынок бороться.

Оценка Убера в несколько раз больше, но выход на IPO это не только деньги, а ещё и очень большой маркетинговых ход, который у Lyft может сработать гораздо лучше. Lyft там будут первые и так или иначе IPO Убера уже по ним будут судить.
Продолжаю тему Uber, Lyft и прочих надеющихся на беспилотные (self driving) автомобили.

Чем больше автомобилей на дорогах, тем хуже для всех: в среднем все едут медленнее и менее безопасно. Наблюдается чёткий anti-network effect: чем больше количество участников в сети, тем меньше в ней value для всех участников. Сейчас пока ещё ценность всё равно перевешивает, и количество водителей на машинах пока только растёт. Но оно так не может длиться вечно, а в отдельных случаях и уже не длится.

Есть отдельные подзадачи, для которых «чем больше, тем лучше». Например, пробки тем точнее описаны, чем больше машин с соответствующим ПО. Но это только отдельные задачи в рамках изолированных сетей (e.g. сеть Яндекс.Пробки).

В случае службы такси, чем больше авто на линии, тем меньше каждый клиент ждёт свою машину, тем он довольнее и лояльнее. Чем больше машин онлайн, тем более точной может быть навигация, сокращая время поездки. Только важно помнить, что пока растёт общее количество машин на дорогах, положительные эффекты в отдельных сетях будут нивелироваться ухудшением общей ситуации. Другими словами, быстро приехавшее такси будет стоять в тех же пробках, что и все остальные.

Вообще, светлое беспилотное будущее нужно Уберу затем, чтобы избавиться от водителя — самой дорогой и ненадежной части всей платформы. Сейчас у Убера за год из 100 водителей остаётся только 20, а уже и так большие расходы на привлечение новых только растут. А ещё водители читерят, работают на конкурентов, попадают в аварии, хамят клиентам и получают от 70 до 80% стоимости поездки. Получается, что лучше бы совсем без них. По крайней мере, так у Убера начнёт сходиться экономика, что может снизить цены для пассажиров и сделать такси ещё более доступным видом транспорта.

С одной стороны, ещё более доступное такси уберёт с улиц какое-то количество личного транспорта. С другой, на доступное такси безусловно пересядет часть тех, кто сейчас обходится общественным транспортом. А это потребует больше машин, пусть и беспилотных. Да и ездить все эти люди продолжат в одно и то же время, с приблизительно тем же количеством человек на одно авто. Можно конечно надеяться на то, что машины-роботы будут идеально координировать своё движение и за счёт этого будет какое-то увеличение пропускной способности, но это еще очень нескоро будет.

Вот и получается, что стоять в пробках мы вряд ли станем меньше, но те, кто пересядет в беспилотные авто или такси, хотя бы смогут потратить это время с какой-то пользой. При этом нам светит большой переходный период, в который, как уже сейчас кое-где в США, из-за беспилотных авто ездить станет чуть хуже: они едут медленнее машин с традиционными водителями, из-за чего вокруг них начинаются перестроения и снижение скорости.
На днях попалась на глаза статья про сегментацию, которую не осилили. Я до неё ещё на днях доберусь и постараюсь написать про сегментацию здорового человека, которая делается в контексте и с чётко определенной целью.

А пока вот пара ссылок на сайты «Собаки Павлова», которые у себя честно публикуют свои успешные и не очень успешные кейсы:

https://pavlova.cc/cases/sportmaster/ — кейс про наблюдение за пользователями киосков самообслуживания в магазинах «Спортмастер». Там же в портфолио куча подобного.

https://medium.com/sobaka/как-начать-изучать-пользователей-5c3ed468005c — набор материалов для тех, кто хочет начать изучать пользователей.
Зацепился за статью https://space.productsense.io/post/tri-podhoda-k-segmentatsii-30-millionnoj-auditorii-v-avito-pochemu-oni-provalilis-i-chem-ih-zamenili и уже два дня пытаюсь найти правильные слова, чтобы описать то, что мне не понравилось.

Начать стоит с того, что сегментация — это разделение всего рынка или аудитории продукта/сервиса на группы (сегменты), которые по всем важным параметрам гомогенны (однородны) внутри сегмента и гетерогенны (разнородны). То есть, разбиваем на группы так, чтобы внутри каждой группы пользователи были максимально похожие, а группы между собой различались.

Естественно, и это интуитивно понятно из определения, в зависимости от задачи можно подобрать совершенно разные параметры. Все параметры условно относят к трём большим группам: демографические (или фирмографические, если речь идёт о сегментации компаний, а не людей), психографические («отношенческие») и поведенческие. Пол, рост, вес, место жительства, религия, политические взгляды, занятие спортом — это всё примеры разных возможных параметров.

Возможных параметров и их комбинаций очень много. Если взять их все, то получится огромное количество мелких сегментиков, которые внутри может и гомогенны, но между собой отличаются мало. Да и анализировать такую прорву невозможно. Поэтому выбирают небольшое количество самых важных параметров, которые становятся базой для сегментации.

Выбор базы — работа мозга, для которой надо понимать задачу и вообще понимать, что ты делаешь. А еще понимать рынок и пользователей, для чего и надо делать качественные и количественные исследования — тоже много работы. Из инсайтов и данных, полученных в результате исследований, получают информацию, которая позволяет выделить те самые важные параметры, которые станут базой.

На базе базы :) делаются сегменты... Этому и многим другим полезным вещам классический маркетинг уже лет 30-40 учит приблизительно одними и теми же словами. Вместо магии и гадания там чёткая последовательность шагов и довольно несложная математика.

Картина получается очень простая: сначала сформулированная задача и изучение рынка, чтобы определить параметры базы для сегментации, и только после этого сегментация и ответ на изначальный вопрос.

Одним из самых популярных словосочетаний в маркетинге является “Segmentation Targeting Positioning” — STP или The Holy Trinity of Marketing, святая Троица маркетинга. Сначала Сегментация, для которой изучается рынок, потом выбор целевых сегментов (Таргетирование), которые наиболее перспективны с точки зрения задачи (рост аудитории, рост доходов или что-то ещё) и в конце Позиционирование — создание нужного образа товара или услуги в головах пользователей из определенного целевого сегмента. Это упражнение является одной из самых важных частей работы маркетолога.

Ничего из этого я в статье не увидел. Под совершенно расплывчато сформулированную задачу подводятся какие-то действия, которые сегментацией не являются, к результату не приводят и вполне ожидаемо проваливаются.
Не сразу понял зачем им номер телефона, если само сообщение они прислали смской :-)

Это конечно же уже Яндекс работает. От поддержки Убера даже при прямом обращении добиться толка можно было со второго или третьего раза. Они мой странный аккаунт, заведённый в США на швейцарскую симкарту и белорусскую дебетовую карту, постоянно блокировали за фрод.

Очень круто, что реагируют даже просто на низкую оценку водителю.
Максим из Варгейминга написал про их платформу -- https://habr.com/company/wargaming/blog/434004/

В статье всё изрядно упрощено, куча деталей и нюансов остались за бортом, но общее представление даёт. Со всей внутренней кухней получилось бы гораздо интереснее, но и длиннее, и конечно же просто нельзя такое наружу публиковать. Не потому, что там страшные тайны, а потому что сложно, сильно специализировано и страшные тайны :-).

Кроме этой технологической части в Варгейминге было несколько команд в издательском департаменте, которые делали много работы по поиску новых игр, улучшению инструментов оперирования играми, улучшения ключевых KPI проектов, созданию развлекательных и информационных сервисов и пр. Всё это в статье за бортом и теперь разве что в мемуарах всплывёт.
Люблю вот такие посты — https://goo.gl/i1Q45L. Сильно глубоких деталей нет, но зато обзорно есть куча разноплановых фактов, которые более или менее целостно описывают изменения.

Ещё интересно сравнивать с цифрами по другим проектам и иногда по различиям что-то понимать про аудиторию.
Раньше почему-то не натыкался на всю эту тему, а оказывается вокруг истории Pixar и участия в ней Стива Джобса есть целая драма. Alvy Ray Smith, который вместе с Ed Catmull основал Pixar, целый раздел у себя на сайте посвятил развенчанию мифов об участии Джобса в основании Pixar, создании фильмов, управлении компанией и т.п. -- http://alvyray.com/Pixar/PixarHistoryRevisited.htm

Если кратко, то там так: нет, Джобс не является основателем или сооснователем компании; он ей даже толком не управлял и уж точно не придумывал никаких мультфильмов; в самый критический момент компанию спас не Джобс, а заказ на мультфильм от Disney; и вообще большую часть времени всем рулил Эд. Точка.

P.S. Вот только вчера в зале смотрел ролик от Варгейминга "Кто придумал Танки?" :-). Ну вот как оно так случается, что всё в один день сходится?!
В @productsense_chat Рома из Варгейминга спросил "о customer development кейсах в игровой индустрии". Я попробую в нескольких постах написать мысли по этому поводу.
Про сам Customer Development можно вот тут почитать -- http://www.market-by-numbers.com/customer-development/. Начинается он с discovery, т.е. выявления потребности (проблемы), нахождения решения и проверки того, что клиенты готовы покупать такое решение своей проблемы.

Есть же разные типы потребностей. Те из них, которые про развлечения (в первую очередь игры, но и не только), очень сложно идентифицировать с помощью тех подходов, которые калифорнийские стартаперы придумали.

С одной стороны их подход -- чистый здравый смысл. А с другой стороны -- он даже им помогает через раз, а значит никогда.

Потребность в развлечениях очень сложная, т.к. ее удовлетворяет множество разных "продуктов". Можно видео посмотреть, можно пойти с друзьями время проводить, можно в футбол поиграть, можно пойти в бар (тоже развлечение!), можно в футбол поиграть на телефоне, компьютере и так далее, можно в инстаграм тупить, книжку почитать...

И даже внутри игровой индустрии множество способов удовлетворения потребности в развлечениях: много жанров, огромное количество игр, стримы, видео и пр.

Плюс к этому надо понимать, что игры довольно сложные, со множеством факторов влияющих на удовольствие: картинка, игровой процесс, сюжет, взаимодействие с другими игроками, качество сервиса и пр. Причем, это все еще длится не несколько секунд или минут, как со многими сервисами, а часами.

Чтобы проверить понравится ли игроку игра, зачастую надо ему эту игру показать. Т.е. MVP игры -- игра.

Если посмотреть на мобильщиков, то их подход с 10 прототипов - 3 софт-ланча - 1 релиз, это и есть ответ. Но у них дешевое производство (по сравнению с ПК или консольной игрой) и оч-чень конкурентная среда (легко копируют, очень много других игр).

Т.е. проблема известна, способов удовлетворения ее множество, игры только один из способов, среди игр огромная конкуренция, стоимость разработки очень высокая.
👍1
Из предыдущего поста может показаться, что всё безнадёжно: сама потребность понятна (развлечение), решение тоже понятно (конкретная игра), но проверка того, что игрокам понравится такое решение и они будут за него платить, стоит слишком дорого (MVP игры — игра).

Но тут надо вернуться на пару шагов назад, за шаг до самого Customer Development фреймворка. И задать себе тот вопрос, ради которого этот фреймворк придуман: как можно пораньше убедиться в том, что продукт будет успешным?

Во-первых, надо убедиться, что игра вообще имеет шансы быть успешной. Для этого изучают рынок, жанр, смотрят на то какие жанры на подъёме, с кем придётся конкурировать, в каком состоянии конкуренты и какая у них бизнес-модель, строят свою бизнес-модель, придумывают USP и дифференциаторы, и т.п. В игровой индустрии уже накопилось изрядное количество наблюдений, которые позволяют более или менее предсказать куда лезть не надо, где будет тяжело и т.п.

Fortnite, вон, отлично поймал жанр battle royal на подъёме и увидел у конкурента недостатки в бизнес-модели и качестве: PUBG -- платная, а потому недоступна куче игроков, и глючная. А вот тем, кто пошёл в жанр через полгода-год после Фортнайта, стоило бы подумать получше.

Во-вторых, игру надо как можно раньше начать показывать пользователям. Это тяжело, но не так уж невозможно: игроков можно звать на фокус-тесты совсем ранних версий, показывать им отдельные механики, тестировать новые карты или какие-то элементы геймплея. Главное, не забывать, что пара десятков игроков в офисе не является репрезентативной выборкой и их фидбек носит качественный, а не количественный характер.

Дальше игру по нарастующей можно показывать все большему и большему количеству игроков, каждый раз аккуратно анализируя фидбек и наблюдения. Игра уже в каком-то более или менее рабочем виде существует, но все еще может быть закрыта. В идеале, самые дорогие вещи (например, контент всех типов) лучше производить после того, как подтверждено, что игрокам нравится core gameplay. Даже после этого игра все еще может быть закрыта, но в нее хотя бы будет закопано сильно меньше денег.

Как я уже упоминал, у мобильщиков есть еще один рецепт: количество, переходящее в качество :-). Там очень быстрое производство, которое позволяет и сделать быстрее, и потестировать проще. Есть у этого большой недостаток: часто очень легко найти причины, факты и доказательства в пользу того, чтобы проект закрыть.

По стоимости и сложности производства, несмотря на айтишные корни, игры больше похожи на кинофильмы. Только, как я понимаю, у киношников еще меньше возможностей для тестирования на реальных людях. Sam Mendes, если я правильно помню, говорил, что первую реакцию реальных людей на 007 Specter увидел на предпоказах за несколько недель до запуска фильма в мировой прокат.
Утром забыл закинуть ссылку на очень интересное выступление Ed Catmull из Pixar -- https://www.youtube.com/watch?v=Er-yRcy7LlQ

Об этом вообще всем компаниям стоит задумываться, но особенно тем, кто производит сложные и дорогие продукты или контент. Как только вовлечено много людей, так сразу надо об этих вопросах задумываться.

Я очень много раз видел как неплохие идеи топят просто из-за того, что сама среда в компании токсична.
Не очень длинный трэд в Твиттере про события, которые сопровождали запуск iPad — https://threadreaderapp.com/thread/957378194927054848.html.

Вот например:
(4) at one point steve wanted to turn UIKit elements orange. not just any orange, he wanted a particular orange from the button on a certain old sony remote. we got a bunch of remotes from sony with orange buttons to try and find the right one. in the end, steve hated it.

#kisstwitterthread
Новый год начинается с работы. С чем вас и поздравляю!

Вот чем сейчас занимаюсь в области образования:

(1) Никуда не пропало намерение сделать в Минске большую конференцию про маркетинг. Именно этим и занимаюсь уже третий день нового года. Поиск и проверка идей, рисование скетчей от руки (на самом деле пером на айпаде), изучение Тильды, поиск партнёров, постоянное общение и т.п. Даже софт какой-то под это дело будем писать. В чистом виде стартап. Скоро сделаем анонс и начнём отбирать спикеров и партнёров (детали -- @keyhell).

(2) Появилось желание устроить в Минске митап про Market Research. Кое-что планирую рассказать сам, кого-нибудь из Wargaming позову, и ещё одного спикера с каким-нибудь интересным практическим кейсом ищу (детали -- @keyhell). Посмотрим кому эта тема в Минске интересна.

(3) Записался на онлайн курсы скетчноутинга https://bevisual.by/gym. Решил, что онлайн раз в неделю мне подходит.
Мне напомнили, что я обещал про NPS написать.

Как говорится, like, share, repost — очень интересно послушать аргументы “за” или success story.

ИМХО, NPS — https://en.wikipedia.org/wiki/Net_Promoter — это метрика, необходимость которой себе надо доказывать от обратного. Сначала сформулировать, что NPS вам не нужен, а потом, изучая методологические претензии, критику и опыт других компаний, пытаться найти хоть какие-то аргументы “за”.

Начать стоит с того, что у NPS нет никакого физического или логического смысла. За вычитанием detractors из promoters ничего не стоит. Это просто искусственно придуманная формула, с помощью которой получается число. Как если бы из количества правшей в мире вычли количество левшей, а результат объявили net количеством правшей.

Такой очень высокоуровневый KPI, который как-то должен выражать опыт пользователей и коррелировать с другими KPI.

Напомню, что NPS равный 30 — это и 31-1, и 50-20, и 65-35.
А 35% detractors — это любое распределение по ответам от 0 до 6.

Вот и думайте, что он может выражать и как коррелировать.

NPS — это измерение намерения пользователей (“порекомендуете ли вы…”), а не действия или результата действия. Нет никакой возможности проверить ни правдивость ответов, ни факт реальной рекомендации в будущем. Более того, момент ответа на вопрос о готовности рекомендовать и момент реальной рекомендации настолько далеко друг от друга во времени, что всё уже сто раз может поменяться.

Т.к. само по себе число ничего не значит, то обычно NPS используют так:

-- сравнивают текущий NPS с предыдущими значениями для этого же продукта или сервиса — чтобы оценивать влияние вносимых в продукт изменений на customer experience;

-- сравнивают NPS различных продуктов или сервисов друг с другом и со средним в индустрии.
Чтобы сравнивать, NPS сначала надо измерить: задать пользователям один простой вопрос и посчитать значение по примитивной формуле. Однако, на практике результат сильно зависит от огромного количества факторов: типа продукта или услуги, момента и контекста, самой формулировки вопроса и внешнего вида сообщения, наличия других вопросов в опроснике, культурных особенностей, времени суток, настроения, ожиданий, понимания происходящего, выборки, технических проблем и т.д. и т.п. Тысячи их. Большая часть из них не имеет отношения к опыту использования вашего продукта.

Например, сразу после покупки билетов я оценю цену и удобство сайта. За день до перелёта — свои ожидания от поездки. Сразу после перелёта — всё это вместе с перелётом, аэропортом, ранним подъёмом, тяжелой сумкой, слишком короткой стыковкой и т.п. Через неделю — удовлетворённость отпуском и что-нибудь ещё.

Если до вопроса о готовности рекомендовать продукт мне придётся заполнить анкету из пары десятков других вопросов, я наверняка отвечу не так, как если бы вопрос был один. Особенно, если в процессе вспомню все проблемы и косяки этого продукта.

Предположим, что для сравнения продукта с самим собой мы жёстко зафиксируем все подконтрольные нам факторы:
— выберем правильный момент так, чтобы отвечали именно те, кто реально воспользовался продуктом;
— чётко сформулируем вопрос, чтобы было понятно о чём речь;
— договоримся, что в сообщении будет только он, чтобы другие вопросы не влияли на ответ;
— договоримся о неизменности внешнего вида сообщения, одном и том же канале доставки и пр.;
— продумаем подход к выборке пользователей или решимся на то, чтобы опрашивать всех, подходящих;
— застрахуемся от технических проблем;
— и т.п.

Кажется, что после этого остаётся только менять продукт и оценивать изменение пользовательского опыта по колебаниям NPS. (В идеале, в продукте надо делать атомарные изменения и тестировать каждое из них в отдельности, т.к. если изменений будет много, будет непонятно что из них улучшило NPS, а что нет.)

Однако, тут же вмешивается время и сами пользователи.

Во-первых, на кучу изменений и измерений надо много времени и много выборок новых пользователей. Долбить одним и тем же вопросом одних и тех же пользователей — не выйдет.

Во-вторых, всё ещё никаких гарантий, что пользователи в выборках не отличаются по какому-нибудь невидимому вам параметру. Будут постоянные вопросы о том, что вызвало флуктуации — продукт или выборка.

В-третьих, пользователи со временем тоже меняются: новички приходят по другой рекламе с другими ожиданиями от продукта, появляются или пропадают конкуренты, появляются или перегорают ожидания в комьюнити, пользователи приходят с нового айфона, на котором опросник выглядит криво и т.п.

В конечном итоге станет понятно, что получение одного числа не стоит таких усилий. Вероятнее всего, для объяснения этого числа будет проводиться куча других исследований, которые гораздо лучше опишут происходящее.

Так может сразу строить нормальный процесс исследования аудитории?!!
Сравнение NPS разных продуктов и расчёт среднего значения по индустрии выглядит как шутка про сравнение яблок и ... даже не апельсинов, а яблок и бетонных столбов. Тёплое с мягким…

Приблизительно половина «исследователей» не может объяснить что и зачем. Путают цель, переформулируют вопрос как им угодно, меняют шкалу (почитайте публикации — там то 0-10, то 1-10, то вообще 1-4) и формулу (promoters то 9-10, то 8-10), задают вопрос отдельно или вместе с десятками других вопросов, и т.п. и т.д.

Опрашивают в разные (зачастую неправильные) моменты и в совершенно разных условиях. В итоге у одних — NPS сайта, у других — NPS самолёта, у третьих — NPS службы поддержки(!), а сравнивают это как NPS трёх разных авиакомпаний.

Банально манипулируют цифрами для достижения каких-то своих целей... У кого-то же NPS точно в KPI записан!

Непонятно как у кого-то рука поднимается найти в Интернете какое-то число и что-то с ним сравнивать.

В итоге, ИМХО так:
-- к самой идее NPS сплошные вопросы;
-- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
-- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
-- не стоит сравнивать свой NPS с тем, что публикуют в Интернете; тем более не стоит на базе этого делать какие-то выводы;
-- писать такие длинные тексты не стоит :-).
На практике я со многим из перечисленного сталкивался: и с падением NPS у не менявшегося продукта, и с падением NPS у улучшавшегося (по другим KPI) продукта, и с измерением NPS по шкале 1-10, и с выборкой в 16 человек, и с NPS как KPI для бонусов, и пр.

Много раз обсуждал NPS, как метрику, с теми, кто у себя в продуктах или компаниях его внедрял -- ЕМНИП, ни у кого сильно позитивного опыта нет. Многие считают, но никогда толком не используют.

Ну и в завершение поиграйтесь вот с этим и подумайте -- http://indexnps.com.

Откуда у них данные и как они считают? -- Да вот как:

"Index NPS gathers NPS® data from publicly available sources. In cases when we do not find an NPS score for a company, we use company’s Facebook Social Post behavior. Index NPS aggregates the last 100 social posts of a company and extracts each social post behavior, such as "Like", Angry, Sad, Happy. Based on the social data, we create an NPS score which is based more on social data rather than survey data."