Разве аналитика - не про математику?

Взяла интервью у легендарного Вани Иван Ямщикова (евангелиста ABBYY, сооснователя проекта Creaited Labs и ex-аналитика Яндекс) про нашу профессию, аналитическое мышление и адекватное использование данных для роста бизнеса.

Ваня рассказал:

👉 О роли математики в аналитике
👉 Что такое "аналитическое мышление"
🔥 Надо ли продактами и маркетологам изучать статистику и программирование?
🔥 Что перспективнее: аналитика или менеджемент?
🔥 Как стать крутым продактом?
🔥 Про данные и vision на примере истории развития Instagram

http://datalatte.ru/blog/interview/kroniker

Лайк, шер и конечно же пишите свои пожелания, кого позвать на следующие выпуски, какие вопросы об аналитике и продуктах вас волнуют 🙏

А у меня тем временем уже еще пачка ответов классных ребят 😍 Проект полностью некоммерческий, если есть желающие помочь делом - пишите!!!! 🦄🦄🦄

Написала статью про анализ рынков. В ней нет гайда или ссылок на популярные инструменты. Цель статьи - показать, в чем основные трудности оценки рынков и как их обходить. Также я не думаю, что можно создать универсальный гайд анализа рынка. Несмотря на то, что я не считаю себя мега-специалистом в этой теме, и всегда очень осторожно беру задачи на оценку рынка, сделала их я тоже немало. И все найденные в Интернете гайды мне не очень-то помогли. Гайд можно сделать только для типовых задач, в рамках, например, одной индустрии и одной цели анализа.

Пирамида метрик — неплохой инструмент, но не панацея. Поскольку после статьи про "Пирамиду метрик VS Иерархия метрик" возник повышенный интерес к теме, написала статью о том, когда Пирамида Метрик действительно эффективна и что делать, когда она too much.

⁠В эпоху data-driven самое сложное – не данные и не метрики, а что с ними делать. Нередко наблюдаю ситуацию (в компаниях любого размера и “уровня”), что метрик/дэшбордов множество, а аналитика все ещё не в стиле Lean: не направляет решения и действия; не интерпретируется понятно.

Хотя, если задуматься, почему же так всё сложно? Метрик, нужных для счастья не много. Но весь черт в деталях. Даже пресловутый Retention – это блеск аналитики (когда вы хорошо понимаете своих пользователей и продукт) и нищета (когда у вас есть данные, график Retention и упорное нежелание связать эти абстракции с реальностью).

Важно запомнить простую истину. Метрики с одним и тем же названием имеют разные формулы и физический смысл в разных продуктах и задачах.

Звучит понятно, а что делать ясно ли? По-прежнему нет. И тут нам на помощь приходят инструменты работы с метриками. Один из способов заставить метрики говорить на языке продукта – прогнать их через фреймворк. Прогнать - значит, задавая вопросы про продукт, бизнес и пользователей, измерять ответы метриками, расставляя эти метрики в заданные “места” фрейма. Так мы решаем две крупные задачи:

1. начинаем думать о смысле метрик
2. объединяем метрики в систему, а вместе они сговорчивее, чем по отдельности.

Есть классические фреймворки (неполный список):
✅AARRR,
✅unit-экономика в стиле MBA (читать Т/Ж и последнюю книгу Тинькова),
✅unit-экономика имени Красинского (смотреть ютуб);
✅RFM, когортный анализ, продуктовая воронка
✅ ретеншениринг (популяризирован Байрамом Анаковым)

Я также являюсь автором и интерпретатором двух фреймов:
✌️Пирамида метрик – для связи продукта с бизнесом и не только.
✌️ Продуктовая воронка – когда Пирамида метрик too much.

[По просьбам трудящихся пост из фейсбука] Аналитика для фаундеров и продактов - нередко особый вид прокрастинации. Уход от решений и действий в данные. Сейчас я тоже немного продакт и фаундер. И примерив шкуру тех, с кем обычно работаю (кого учу Аналитике и даю советы, о господи), могу понять, как же им трудно.
Сейчас многие хотят иметь технические скиллы. Все больше продактов и фаундеров идут учиться аналитике.
Стоит помнить о пропасти между знанием теории, практическими скиллами и практическим бэкграундом. Также стоит понимать, что аналитический бэкграунд не сделает из нас Стивов Джобсов.
В начале карьеры я писала много кода, просто чтобы достать данные. Мы с коллегами на несколько дней становились сначала разработчиками, а потом аналитиками - делали выводы и объясняли их бизнесу. Обосновывая сроки на задачу, один аналитик любил повторять:
- Между состояниями “аналитик” и “разработчик” должна пройти ночь.
А сколько ночей должно пройти между состояниями менеджер/руководитель и аналитик, прежде чем, менеджер/руководитель займется аналитикой, а не “аналитической прокрастинацией”?
Сейчас я делаю свой проект. В нем не хватает аналитика и разработчика. Я могу поставить себе задачу, но мне нужно время, чтобы ее качественно реализовать. Задача может быть минут на 5. Но я сделаю ее быстро и качественно, если заплачу за результат лагом на переключение между ролями.
И вот когда очередной продакт спрашивает меня, надо ли ему учить Python и аналитику, я в растерянности. С одной стороны, круто, что он сможет сэкономить на разработчике и аналитике. С другой стороны, ознакомление с инструментом не заменит опыт, который помогает быстро и без фатальных ошибок решать задачи.
Поэтому я не верю в обучение продактов и фаундеров базовым хард скиллам. У каждого свой бэкграунд. Безумие - пытаться его перелатать заплатками “хайповых скиллов”. Гораздо разумнее оценить свой опыт с позиции преимуществ, которые он дает.
Надо ли в таком случае просвещать аналитике не-аналитиков? Да! Необходимо. Но нам давно пора сместить акцент с хайповых тем на то, что действительно помогает делать мир лучше, не упарываясь. Кстати, какие аналитические навыки по вашему мнению стоит передать продактам и фаундерам?

⁠NSM - это главная метрика продукта, либо она про проблему, которую решает продукт, либо про проблему, которую решает продуктовая команда на данном этапе. В первом случае её проще вывести логически, во втором - чаще всего она появляется из данных.

PS. Фото подготовки к воркшопу после книги Фитцпатрика

⁠У меня чёрный пояс по общению с предпринимателями по Адизесу (E). Работаю часто с этим типом менеджеров и в личной жизни тоже их встречаю. У предпринимателей (E) далеко не всегда свой бизнес. Что у них всегда свое - собственное мнение про все на свете. Попробуйте убедить в чем-то предпринимателя и точно проиграете!
В старых сезонах Симпсонов глава семейства ходит в одной из серий с карточкой “Делай всё противоположно словам жены”. Похоже, у некоторых предпринимателей есть аналогичная карточка:
- Делай всё противоположно словам коллег.
Кроме шуток. Куда ни приди на рынке, всюду “болит” про аналитику. Данные не сходятся, нанимать аналитиков тяжело, дэшборды не те и аналитики не понимают потребности бизнеса. Но стоит какой-то компании нанять одного-двух понимающих аналитиков, как после спада восторга не происходит ровным счетом ничего. Почему?
Это понимают все разумные люди. Но давайте, я скажу. Данные - море. И надо на берегу решить, чего вы от них хотите. Взвесить каждый кубический миллиметр до точной сходимости или найти драгоценности затонувших кораблей. Обычно, первое. Даже, если говорят, что второе, хотят на самом деле первого. Взвешивать - это занятный и ненапряжный процесс. В то время как драгоценности на дне моря, когда аналитики их найдут, придется доставать вам!
Все те годы, что я в аналитике, у меня болит. Болит там, где черный пояс по общению с предпринимателями. Периодически я нахожу точки кратного роста для очередного продукта. Но нередко проигрываю этот раунд. Находку “не покупают” или не реализовывают. А потом этот продукт теряет позиции на рынке по причинам, о которых сигналили данные.
Болит мускул, который у аналитиков в компаниях обычно атрофируется за ненадобностью. Я про этот мускул постоянно говорю:
- Наблюдения графиков и чисел - это аналитическая прокрастинация. Аналитика - это продуктовые действия, последовавшие после анализа данных. Действуйте!
Действуйте, пожалуйста, дорогие мои. Меняйте пространство сообща! 🙏

В Интернете снова кто-то прав №3. Интересные ссылки из Инстраграм и Youtube.

💥“Любовь - это про уверенность, спокойствие, надежность. Имея это на клеточном уровне, ты ничерта не боишься” (Дэйв Вайсер, CEO Gett)

1️⃣Классные истаграмы:
👉Директор по продукту из Google (русский) https://instagram.com/dobry
👉Долларовый миллиардер (наш физтех) https://www.instagram.com/rybakov_igor/

2️⃣Интересные видео
👉Обожаю “Русские норм”. Вот свежий и очень насыщенный выпуск с основателем Gett:
“Как таксисту заработать $50 тыc. в год? Интервью Дэйва Вайсера о Gett, IPO и жизни на 4 страны” https://www.youtube.com/watch?v=-dC1QVKog9k
👉Side-проекты как большой урок на всю жизнь https://www.youtube.com/watch?v=AEKpROPQ8Cc

3️⃣Книги:
👉Роб Фитцпатрик “THE WORKSHOP SURVIVAL GUIDE” https://www.workshopsurvival.com/
👉Шармер “U Theory” https://www.amazon.com/gp/product/1523094400?
👉Стратегия жизни Кристенсен https://www.alpinabook.ru/catalog/samorazvitie/442313/

Написала статью про NSM и метрики ценности продукта. Все, что вам нужно знать о метриках продукта. Жду вопросы и комментарии 🙏

Писать ли вам про личный рост? Ниже пост + голосовалка
+пишите комментарии
~*~*~
Я несколько лет работаю с целями. Раз в полгода ставлю 9 целей. И 7 стабильно достигаю. Две цели безуспешно мигрируют из старого списка в новый . А остальные часто удивляют:

-Зачем тебе было это нужно, Лена?

В конце июня я не смогла поставить цели до конца 2019. Я начала бояться мечтать. Стало казаться, что умение достигать цели - отнюдь не успех.

За месяц я прочла несколько книг. Обсудила тему целей и стратегии жизни с умными и сильными людьми. И вот список важных выводов про цели:

1️⃣ Начинай с вопроса “Зачем?” Зачем я хочу этим обладать? Зачем я хочу там быть? Зачем мне все это? Ответ должен быть коротким. Иначе к нему опять придется задавать несколько вопросов “зачем”.

2️⃣ "Какой подарок от меня хочет жизнь?” Мне понравилось, как написал недавно миллиардер и физик по образованию Игорь Рыбаков: 🔥“Как целью может быть то, что является следствием?” Цель “попасть в список Форбс” или “получить признание”, заработать кучу денег или повышение - это не цели, а следствия.

3️⃣ "Боже, пошли мне то, что считаешь нужным". Конкретика может завести нас не туда. Сначала я думала, что недостаточная конкретика приводит к тому, что цели сбываются, но извращенным образом. Однако уточняя конкретику снова и снова, лишь заводила себя все глубже в тупик. Живая цель не нуждается в словесных уточнениях. Помните, как говорил Стив Джобс? 🔥 “Как и со всеми делами близкими вашему сердцу — вы узнаете и почувствуете сами, когда найдете. ” Желать не конкретное, а своё. Допускать, что еще не все о себе знаешь. Разрешать себе выбрать в моменте. Снимать шоры вчерашнего дня.

4️⃣ "Что здесь хочет случиться?" В математике есть два понятия: левая и правая производные. Фактически, левая производная про то, как настоящее отличается от прошлого. Чаще всего мы берём воображаемую линейку и делаем одно из двух. Экстраполируем старый тренд или решаем, что тренда не будет и строим горизонтальную прямую в будущее. Но хороший прогноз - это еще и правая производная. Она отвечает на вопрос, как будущее будет отличаться от настоящего. И узнать этот ответ из настоящего можно, опираясь на теорию (доказанные и подходящие закономерности) и восприятие Настоящего с вопросом: "Что здесь хочет случиться? Куда всё идёт?"

5️⃣ Мечтай по-крупному! Большие мечты не только лучше мотивируют, но и позволяют познать свои пределы.

6️⃣ Цель про деньги надо ставить в самом конце работы с целями. Чтобы не упахататься, зарабатывая все деньги мира. И, напротив, чтобы не пропустить ценное, потому что немного не хватило. Цель про деньги - это подсчет того, сколько требуется для достижения других целей + 30% на риски.

Я тут случайно нашла уже старую, но очень важную статью на Хабр. И не могу ей не поделиться. Она написана человеком, который
1) создал для меня и многих других ребят образ аналитика, к которому надо стремиться;
2) стал основным учителем в профессии.
Теперь, когда меня будут спрашивать, кто такой аналитик и куда расти, какое образование нужно и склад ума, я буду просто предлагать прочитать эту статью: https://habr.com/ru/company/yandex/blog/447822/
❤️

Руководство по выживанию на воркшопах 🤟. Написала конспект книги Роба Фитцпатрика “The Workshop Survival Guide" (на самом деле только первой её части). Если будет спрос на эту тему, напишу продолжение. Ссылка внизу 😊

Преждевременная аналитика. На днях консультировала компанию “Чебурашка”. На рынке они давно и метрики узнаваемости бренда - 🔥. Но экономика расползается по швам. Поэтому потребовалась помощь аналитики.

Когда не сходится экономика (то есть продукт в минусе или близко к тому) принимающие решения обычно решают повысить цены. Вопрос к аналитику состоит лишь в том, как.

- Как нам оптимально поднять цены? - спрашивают они.

Если бы метрикой моей работы был Retention клиентов, я бы формально сегментировала базу и спокойно выдала список маржинальных и масштабируемых сегментов. Через полгода-год они вернутся со словами “Всё плохо, давайте дальше копать”.

Но моя главная метрика - вероятность того, что я буду гордиться кейсом, даже если меня закидают гнилыми помидорами. Поэтому давайте разберёмся, в чем там было дело и надо ли бежать в ценообразование.

Кейс типичный. Поэтому я могу представить, как у них всё начиналось. Когда более 5 лет назад стартовал этот продукт. Мы еще с ними не работали. Но.

Стартапов, которые приходят к аналитику еще до запуска, я видела немало.

-Хотим сразу сделать хорошо, - хором говорят они.

И это похвально. Однако классическая аналитика на этапе запуска чаще всего является преждевременной. Какой вопрос я обычно задаю пришедшим ко мне стартапам? Ну много вопросов, но суть одна. Понять их продукт - product fit.

Хотите верьте, хотите нет. Но до запуска и сразу после у стартапов ещё очень расплывчатое понимание продукта (product fit). При этом почти всегда есть набор «правильных» метрик, на которые НАДО смотреть.

Я не то, чтобы опытный стартапер. Но по себе знаю. Итеративный процесс “MVP-CUSTDEV” какой-то очень болезненный. То ли перестаешь в него верить, то ли он требует сверхспособности. Но обвесить продукт оберегами из метрик и преждевременной аналитики как-то легче.

И все бы ничего, но преждевременная аналитика опасна калечащими продукт и его будущее решениями.

Знаете, например, что при рождении даже у людей метрики ведут себя «странно». Например пульс здорового младенца почти в 2 раза выше, чем у взрослого. А такие грозные сигналы, как сбивчивость ритма дыхания или шум в сердце, для только что запущенного продукта, простите, новорожденного чаще всего вариант нормы.

Теперь представьте, что мы начнём все это «лечить». Сбивать пульс, оперировать сердце. Доживет ли такой малыш до взрослых лет?

Вы хотите смотреть на:

💹 конверсия в первую оплату (C1)
💹 конверсия в какое-нибудь супер-важное действие
💹 Retention на 1 и 2 неделе
💹 Аудитория (DAU / WAU / MAU) и скачивания (Downloads)
💹 Средний чек (ARPU) и иногда даже LTV
💹 Цена привлечения пользователя (CAC)

А теперь, внимание, вопрос: как вы собираетесь это интерпретировать? Вы будете способны «не залечить своё детище до смерти» на самых первых порах?

Наши друзья - “Чебурашка”, как стартап технарей с превосходным образованием, был обвешан метриками еще до рождения. Несмотря на прорывную модель бизнеса, Чебурашка сразу после запуска словил такие проблемы адаптации нового продукта, как:

✅ Непопадание в ЦА (они таргетировались на ближайших конкурентов, но это был продукт про другие проблемы пользователей)
✅ Непонятный онбординг (даже таргетная аудитория просто терялась в продукте)
✅ Скрытые издержки (так я называю ситуации, когда баги продукта мешают пользоваться им по назначению)

Итого, будучи управляемыми классическими метриками стартапа, ребята медленно, но верно сделали не жизнеспособный продукт. То есть бизнес-модель от одного продукта и фичи / позиционирование / качество от другого продукта. Франкенштейн, который оттеняет другие рыночные решения.

Что делать? Тут два подхода. Но про это в следующем посте о Чебурашке ☺️

⁠Дружественное HR-агенство New.HR провело масштабное исследование рынка аналитиков. Исследование длилось больше года (Ваша покорная слуга помогала с ним в самом начале) и его результаты заслуживают внимания.

Мои комментарии:

✅ на рынке до сих пор нет понимания, что аналитики бывают разными (data science != product analytics, marketing analytics != product analytics)
✅ по личным ощущениям большинство крутых аналитиков себя недооценивают (см. место со средними зп и сравнивай со своей)
✅ приходя в аналитику, вы должны помнить о том, что это история не навсегда. Если вы настоящий аналитик, то сразу сделаете себе примерную стратегию развития в профессии и после выхода из нее.
✅ См. исследование и размышляйте про стратегии найма или карьеры

⁠А/Б-тесты. Ни слова о большой математике. Маленькое наблюдение. Именно так и проводят А/Б-тесты в большинстве компаний: берут две идентичные репрезентативные выборки. Показывают им два совершенно разных продукта. Долго спорят о выводах. Или, что хуже, делают выводы. Или, что чаще, просто катят в прод.

⁠Экономика счастья. Решение лежало на поверхности. 4 месяца назад я ушла в self-employed. И начала вести статистику времени и доходов в Google Sheets. А вчера просто классифицировала проекты на 2 типа:

вдохновляющие и напрягающие.

С чего такая мысль? Что-то пошло не так в жизни. Да, она не простая. Но я раньше просыпалась с радостью, у меня драйва хватало на себя, близких и даже дальних. А последнее время я была бледной тенью себя. Я почти не болею. И когда я начинаю болеть - это сигнал того, что я довела себя до предела.

Я классифицировала свои доходы по источникам:

✅ Из вдохновения - задачи, которые случались как чудо, которые приносили вдохновляющие люди, проекты, в которых я обнаруживала себя растущей и счастливой
✅ Из желания нравиться или страха неудачи - это задачи, которые я брала по просьбе друзей, или с желанием заработать все деньги мира

Про последнее поясню. Иногда думаешь: “нет, за эти деньги, нет” или “нет, эту задачу, нет”. А потом “но да, потому что хоть что-то лучше, чем ничего”. И не важно, что ты пользуешься спросом и понимаешь всю абсурдность такого подхода.

И ровно так же я классифицировала время по тому, куда оно утекало:

✅ На вдохновение
✅ На преодоление и напряжение в не привлекающих меня задачах

🔥Когда я перевела числа в доли %, мое сердце забилось, как раньше. 70% времени я трачу на то, что меня напрягает и даёт всего 30% моего дохода.

🔥Если посчитать экономику счастья, добавив в формулу издержки на НЕсчастье, то экономика перестанет сходиться.

Я дала себе обещание разобраться с не вдохновляющими проектами до начала октября. В крайнем случае это всего лишь 30% от моего дохода и можно их просто закрыть навсегда. И кто знает, какой станет жизнь, если я перестану делать то, меня убивает.

⁠Задачка для тренировки аналитического мышления из фб-паблика Яндекса:
---
Однажды мы для смеха написали алгоритм, определяющий слова, популярность которых в Поиске изменяется так, как будто между ними есть какая-то связь. Получилось лучше, чем мы думали. С тех пор мы каждую неделю выбираем очередную пару и делимся с вами.
Сегодня это «персик» и «хромосома». Как вы думаете, почему так получается?

⁠По следам Стива Бланка: Как видеть продукт во всём

Сейчас модно смотреть на всё «как на продукт». Я часто спрашиваю участников своих занятий: «Что такое продукт?» Ответ обычной такой: «Продукт — это то, что удовлетворяет потребность».

Что ж, близко к истине. Но, как аналитик, я цепляюсь к деталям. И здесь, мне кажется, важно увидеть и осознать разницу между потребностью и проблемой.

Судите сами. Проблема = боль. Потребность = желание. На решение своей проблемы мы готовы отдавать время, деньги и другие ресурсы. Удовлетворение потребностей - чаще вопрос отложенных инвестиций: не сейчас, я сделаю это завтра.

Проблема - это самый нижний из всех неудовлетворенных уровней Пирамиды Маслоу. Сложная мысль. Поживите с ней в течение дня и вы увидите, в какой из уровней Пирамиды Маслоу целится Ваш продукт.

Пример. Поисковики типа Яндекса и Google решают проблему пользователя «я хочу получить ответ на свой вопрос». Доставка еды из ресторанов решает проблему «я хочу качественную еду быстро и там, где я нахожусь».

Внизу по кнопке видео Стива Бланка 2013 года (на 3 мин) о том, что такое проблема, которую решает продукт и почему важно её определить.