Культура. Всё чаще и больше мне кажется, что успех того или иного начинания, его результативность определяется не тем, КТО и даже не тем КАК, а КУЛЬТУРОЙ. Вот почему я всё меньше предлагаю компаниям мастер-классы по вау-аналитике. И всё чаще поворачиваю в сторону культуры:
💥порядок в данных
💥порядок в бэклоге
💥база знаний
💥среда развития
💥культура кода / визуализации / отчета / презентации / etc
Культуру тяжко внедрять там, где люди уже привыкли жить странно. Даже после объяснений, что 2 минуты на опрятный вид графика и добавление его в базу знаний вместе с выводами бережет вам и компании часы/дни/недели, я всё равно слышу:
😭 мы слишком быстро растем
😭 мы слишком заняты
😭 никто не будет это поддерживать
😭ой, да и так же все раньше работало
Культура легче прививается молодым аналитикам или компаниям, где у топов преобладает установка на рост (growth mindset).
💥порядок в данных
💥порядок в бэклоге
💥база знаний
💥среда развития
💥культура кода / визуализации / отчета / презентации / etc
Культуру тяжко внедрять там, где люди уже привыкли жить странно. Даже после объяснений, что 2 минуты на опрятный вид графика и добавление его в базу знаний вместе с выводами бережет вам и компании часы/дни/недели, я всё равно слышу:
😭 мы слишком быстро растем
😭 мы слишком заняты
😭 никто не будет это поддерживать
😭ой, да и так же все раньше работало
Культура легче прививается молодым аналитикам или компаниям, где у топов преобладает установка на рост (growth mindset).
Как найти баланс между упоротыми визуализациями из какого-то-нибудь BI, аптечно-роботным дизайном pandas и убогими Excel-графиками? Чаще всего рисователь графиков, хочет он того или нет палит самое главное – свой внутренний мир в момент размышления над конкретными числами.
Нет. Техника тут ни при чем.
#1 А не *ерунду* ли я делаю? Конечно важный вопрос. Но когда рисуешь графики, стоит спросить: Что я вообще тут делаю? На какой вопрос ищу ответ ? Какую историю хочу рассказать?
!!! Кстати обратите внимание. Есть аналитическая визуализация, а есть визуальная аналитика.
#2 Are you need this? Все элементы, которые не несут никакой дополнительной информации или информационно перегружают, надо удалить. Подписи, очевидные легенды, сетка.
#3 Минимализм размерностей. Я насчитала аж 6 доступных размерностей:
1) ось икс
2) ось игрек
3) цвет
4) толщина
5) форма
6) подписи
Но не стоит запихивать их все на один график. Мудрость в том, чтобы с высоты своего ума и технической оснащённости нарисовать простенький, но действенный график.
PS. Помните о том, что графики отражают ваш внутренний мир в момент решения задачи. Хотите вы навялить, спихнуть, понравиться, покрасоваться умом или умением делать импорт в пандас — все это читается сначала, а уже потом история, которая есть в графике. Любите себя в графиках, а не графики от себя.
Продолжение следует.
Нет. Техника тут ни при чем.
#1 А не *ерунду* ли я делаю? Конечно важный вопрос. Но когда рисуешь графики, стоит спросить: Что я вообще тут делаю? На какой вопрос ищу ответ ? Какую историю хочу рассказать?
!!! Кстати обратите внимание. Есть аналитическая визуализация, а есть визуальная аналитика.
#2 Are you need this? Все элементы, которые не несут никакой дополнительной информации или информационно перегружают, надо удалить. Подписи, очевидные легенды, сетка.
#3 Минимализм размерностей. Я насчитала аж 6 доступных размерностей:
1) ось икс
2) ось игрек
3) цвет
4) толщина
5) форма
6) подписи
Но не стоит запихивать их все на один график. Мудрость в том, чтобы с высоты своего ума и технической оснащённости нарисовать простенький, но действенный график.
PS. Помните о том, что графики отражают ваш внутренний мир в момент решения задачи. Хотите вы навялить, спихнуть, понравиться, покрасоваться умом или умением делать импорт в пандас — все это читается сначала, а уже потом история, которая есть в графике. Любите себя в графиках, а не графики от себя.
Продолжение следует.
Я была дикарем, который строит культуру. Помню эту свою любимую фразу "Когда у меня нет ресурсов, я делаю себе крепкий кофе и открываю терминал".
Я помню, как интуитивно пришла к концепции DWH (Datawarehouse - хранилище данных). Пришла с идеей к руководству. Продавать сложные технологические идеи трудно. Во-первых, ты сам не до конца уверен в их правильности. Во-вторых, топ-менеджеры не могут контролировать всё, а мидлл-менеджеры нередко стали таковыми, убегая от проблем, порожденных технологическим несовершенством.
Получается, замкнутый круг. Нет точки опоры для принятия решения - фигачить и выделять бюджет. И нередко такой точкой опоры может стать герой-одиночка, коим я долгие годы и была. Я писала в ночи код для построения своей первой DWH.
В последствии мои самодельные DWH использовали и большие/растущие компании, и небольшие стартапы. Но всё это было дико. Надо признать, что КУЛЬТУРА делается не так. И не кодом продуктовых аналитиков.
Надо смотреть по миру, по рынку. Изучать элегантные решения технологических проблем и привлекать на помощь их носителей. Я вот даже не знала, что то, что я строю называется DWH. Я знаю одного сильного аналитика, которые везде и всюду строит DWH и не знает, что это так называется. А еще я знаю множество компаний, в которых DWH - это страх и слёзы. Потому что там аналитические хранилища строятся в отрыве от аналитики.
С другой стороны, ничего крайне сложного в построении аналитических хранилищ нет. И именно с них начинается культура data-driven.
Если и у вас тоже проблемы с данными, ставьте + и не стесняйтесь описать их в комментариях!
Я помню, как интуитивно пришла к концепции DWH (Datawarehouse - хранилище данных). Пришла с идеей к руководству. Продавать сложные технологические идеи трудно. Во-первых, ты сам не до конца уверен в их правильности. Во-вторых, топ-менеджеры не могут контролировать всё, а мидлл-менеджеры нередко стали таковыми, убегая от проблем, порожденных технологическим несовершенством.
Получается, замкнутый круг. Нет точки опоры для принятия решения - фигачить и выделять бюджет. И нередко такой точкой опоры может стать герой-одиночка, коим я долгие годы и была. Я писала в ночи код для построения своей первой DWH.
В последствии мои самодельные DWH использовали и большие/растущие компании, и небольшие стартапы. Но всё это было дико. Надо признать, что КУЛЬТУРА делается не так. И не кодом продуктовых аналитиков.
Надо смотреть по миру, по рынку. Изучать элегантные решения технологических проблем и привлекать на помощь их носителей. Я вот даже не знала, что то, что я строю называется DWH. Я знаю одного сильного аналитика, которые везде и всюду строит DWH и не знает, что это так называется. А еще я знаю множество компаний, в которых DWH - это страх и слёзы. Потому что там аналитические хранилища строятся в отрыве от аналитики.
С другой стороны, ничего крайне сложного в построении аналитических хранилищ нет. И именно с них начинается культура data-driven.
Если и у вас тоже проблемы с данными, ставьте + и не стесняйтесь описать их в комментариях!
Правда или действие? Ценность или данные!
Я всегда прошу своих клиентов перестать смотреть на пользователей в терминах систем веб-аналитики, мобильной аналитики и т.д. "Куки - не люди!" - говорю я им. И показываю кейсы, когда переход от визитов или транзакций к сессиям, характерных для потребления в конкретном бизнесе, давал множество прорывных инсайтов, помогал выявить реальные классы пользователей, роли, боли и т.д. (Кому стало очень интересно про равномерное/интервальное потребление, скоро будет статья - t.me/@close2sense)
Другая частая история - это управление конверсиями вверху воронки продаж с помощью работы над временем знакомства пользователя с продуктом. Очень часто его невозможно посчитать, так как мы имеем только "сессионные куки". То есть до какого-то момента "пользователь" и "Визит" - это одно и то же.
"Мы не можем (собирать логины/аккаунты в соцсетях/почты)" - говорят мне продакты. И вот здесь знания из классической экономической теории оказываются как нельзя кстати.
Мы можем! Во-первых, надо понимать, что покрыть всю базу пользователей логинами невозможно и не требуется. Наша цель - это репрезентативное покрытие. Во-вторых, надо помнить, что продуктовое взаимодействие с пользователем - это ОБМЕН БЛАГАМИ (понятие из классической экономики). Хочешь что-то забрать? Деньги, время, внимание, данные... Дай ценность!
Хотите взять данные? Сначала дайте ценность - разогрейте. И обязательно пообещайте ценность в конце. Пользователь должен знать, зачем он регистрируется в вашем сервисе/продукте.
ПРИМЕР. Сервис по подбору ипотеки. Пользователь заполняет важные поля, сервис дает информацию по предложению банков, исходя из условий пользователя. В момент, когда пользователь получил ценность (value в том, что теперь я знаю, какая ипотека и где мне светит) самое время дать ему еще больше ценности. Это может быть предложение получать уведомления об изменениях за регистрацию через соцсети или чек-лист получения одобрения ипотеки на почту или т.д.
Будьте ласковыми! Обратная противоположность - это сложные формы регистрации в начале воронки. Отказаться от этого бывает сложно из-за того, что решение убрать регистрацию на входе требует массу разработки и перепроектировку всего CJM. Поэтому лучше сразу делать хорошо. И помнить - хороших конверсий без ценности не бывает:
Сначала дайте ценность - потом регистрируйте.
PS. На худой конец всегда есть flash куки, которые живут годами в отличие от сессионных. Пользуйтесь - не благодарите!
Я всегда прошу своих клиентов перестать смотреть на пользователей в терминах систем веб-аналитики, мобильной аналитики и т.д. "Куки - не люди!" - говорю я им. И показываю кейсы, когда переход от визитов или транзакций к сессиям, характерных для потребления в конкретном бизнесе, давал множество прорывных инсайтов, помогал выявить реальные классы пользователей, роли, боли и т.д. (Кому стало очень интересно про равномерное/интервальное потребление, скоро будет статья - t.me/@close2sense)
Другая частая история - это управление конверсиями вверху воронки продаж с помощью работы над временем знакомства пользователя с продуктом. Очень часто его невозможно посчитать, так как мы имеем только "сессионные куки". То есть до какого-то момента "пользователь" и "Визит" - это одно и то же.
"Мы не можем (собирать логины/аккаунты в соцсетях/почты)" - говорят мне продакты. И вот здесь знания из классической экономической теории оказываются как нельзя кстати.
Мы можем! Во-первых, надо понимать, что покрыть всю базу пользователей логинами невозможно и не требуется. Наша цель - это репрезентативное покрытие. Во-вторых, надо помнить, что продуктовое взаимодействие с пользователем - это ОБМЕН БЛАГАМИ (понятие из классической экономики). Хочешь что-то забрать? Деньги, время, внимание, данные... Дай ценность!
Хотите взять данные? Сначала дайте ценность - разогрейте. И обязательно пообещайте ценность в конце. Пользователь должен знать, зачем он регистрируется в вашем сервисе/продукте.
ПРИМЕР. Сервис по подбору ипотеки. Пользователь заполняет важные поля, сервис дает информацию по предложению банков, исходя из условий пользователя. В момент, когда пользователь получил ценность (value в том, что теперь я знаю, какая ипотека и где мне светит) самое время дать ему еще больше ценности. Это может быть предложение получать уведомления об изменениях за регистрацию через соцсети или чек-лист получения одобрения ипотеки на почту или т.д.
Будьте ласковыми! Обратная противоположность - это сложные формы регистрации в начале воронки. Отказаться от этого бывает сложно из-за того, что решение убрать регистрацию на входе требует массу разработки и перепроектировку всего CJM. Поэтому лучше сразу делать хорошо. И помнить - хороших конверсий без ценности не бывает:
Сначала дайте ценность - потом регистрируйте.
PS. На худой конец всегда есть flash куки, которые живут годами в отличие от сессионных. Пользуйтесь - не благодарите!
Топ 5 методов анализа данных, которые будут полезны каждому 🔥
Towards Data Science опубликовали отличный и (что важно) не попсовый текст про методы продуктовой аналитики. Поскольку все это очень удобные и полезные методы, но обычно не встречаются в одном материале и (как это принято говорить) в структурированном виде, делюсь:
https://towardsdatascience.com/top-5-data-analysis-methods-you-need-to-know-e83f95cae355
Ниже тезисно:
1) Формулы для связи и декомпозиции метрик
2) Метод сравнения метрик в динамике (по срезам)
3) Метод квадрантов для анализа аудитории/продаж/etc при различных значениях метрик. Например, низкая конверсия в корзину и высокая конверсия в выкуп (1) ; низкая конверсия в корзину и низкая конверсия в выкуп (2); высокая конверсия в корзину и высокая конверсия в выкуп (3);
высокая конверсия в корзину и низкая конверсия в выкуп (4))
4) Принцип Парето (правило 80/20): классификация пользователей/продаж с целью поиска наиболее доходного (и как правило) не основного сегмента. На практике это не всегда 80/20, иногда 70/30. По личному опыту Принцип Парето реализовавывается между 70/20 и 90/10.
5) Анализ воронок. Воронка - это универсальный фрейморк для решения множества задач в аналитике, где есть этапы и потери на этих этапах. Это не обязательно продажи или уровни игры. Это может быть задача передачи данных, прохождения онбординга и даже найма специалистов.
Towards Data Science опубликовали отличный и (что важно) не попсовый текст про методы продуктовой аналитики. Поскольку все это очень удобные и полезные методы, но обычно не встречаются в одном материале и (как это принято говорить) в структурированном виде, делюсь:
https://towardsdatascience.com/top-5-data-analysis-methods-you-need-to-know-e83f95cae355
Ниже тезисно:
1) Формулы для связи и декомпозиции метрик
2) Метод сравнения метрик в динамике (по срезам)
3) Метод квадрантов для анализа аудитории/продаж/etc при различных значениях метрик. Например, низкая конверсия в корзину и высокая конверсия в выкуп (1) ; низкая конверсия в корзину и низкая конверсия в выкуп (2); высокая конверсия в корзину и высокая конверсия в выкуп (3);
высокая конверсия в корзину и низкая конверсия в выкуп (4))
4) Принцип Парето (правило 80/20): классификация пользователей/продаж с целью поиска наиболее доходного (и как правило) не основного сегмента. На практике это не всегда 80/20, иногда 70/30. По личному опыту Принцип Парето реализовавывается между 70/20 и 90/10.
5) Анализ воронок. Воронка - это универсальный фрейморк для решения множества задач в аналитике, где есть этапы и потери на этих этапах. Это не обязательно продажи или уровни игры. Это может быть задача передачи данных, прохождения онбординга и даже найма специалистов.
Недавно узнала, что потребление бывает двух видов:
✅интервальное
✅равномерное
При этом в одном продукте всегда есть оба типа потребления (см. картинку). Но! Можно выделить пользователей, которые чаще потребляют продукт интервалами (покупают или просто заходят на сайт) или равномерно. И обычно это две разные аудитории.
Простейшая по исполнению, но мощнейшая по эффекту для бизнеса классификация пользователей сводится к тому, чтобы выделить перечисленные выше два сегмента.
Интервальное потребление: пользователи "частят" и потом на продолжительное время исчезают. Например, у клиента есть периоды ежедневной активности, между которыми проходит 9-15 месяцев.
Равномерное потребление: пользователей, которые совершают разовые покупки/действия в продукте с характерными интервалами примерно одного порядка. Например, клиент появляется в продукте каждые 2-7 недель.
КАК выделяются эти типы потребления? Есть 2 подхода к работе с этой историей.
Первый - шаманский. Мы миксуем качественный анализ и несложную статистику. Так мы узнаем, как выглядит реальное потребление в продукте и получаем набор гипотез для глубинных интервью и, например, кластеризации пользователей.
Второй - ещё хуже. Он «ботанский». Мы делаем всё то же самое, но потом добавляем статистику и анализ данных, постоянно помешивая и разбавляя шаманскими методами.
✅интервальное
✅равномерное
При этом в одном продукте всегда есть оба типа потребления (см. картинку). Но! Можно выделить пользователей, которые чаще потребляют продукт интервалами (покупают или просто заходят на сайт) или равномерно. И обычно это две разные аудитории.
Простейшая по исполнению, но мощнейшая по эффекту для бизнеса классификация пользователей сводится к тому, чтобы выделить перечисленные выше два сегмента.
Интервальное потребление: пользователи "частят" и потом на продолжительное время исчезают. Например, у клиента есть периоды ежедневной активности, между которыми проходит 9-15 месяцев.
Равномерное потребление: пользователей, которые совершают разовые покупки/действия в продукте с характерными интервалами примерно одного порядка. Например, клиент появляется в продукте каждые 2-7 недель.
КАК выделяются эти типы потребления? Есть 2 подхода к работе с этой историей.
Первый - шаманский. Мы миксуем качественный анализ и несложную статистику. Так мы узнаем, как выглядит реальное потребление в продукте и получаем набор гипотез для глубинных интервью и, например, кластеризации пользователей.
Второй - ещё хуже. Он «ботанский». Мы делаем всё то же самое, но потом добавляем статистику и анализ данных, постоянно помешивая и разбавляя шаманскими методами.
Метод квадрантов на наглядном примере
Источник: "Harvard Business Review: Самоирония: правила безопасности" https://hbr-russia.ru/karera/lichnye-kachestva-i-navyki/767857?
Цитата:
"В 2009 году группа ученых под руководством Рене Пройера из Университета Цюриха опубликовала результаты масштабного исследования гелотофобии. Изучив 73 страны, они расположили их на диаграмме, где по оси абсцисс — страх быть осмеянным, по оси ординат — мнительность, то есть ощущение, что смеются именно над тобой.
Быть осмеянными меньше всего боятся жители Англии, Норвегии, Австралии, Гонконга, США. Россия, что интересно, тоже находится в левой половине диаграммы — гелотофобия нам свойственна в небольшой степени.
По данным другого исследования, проведенного группой психологов под руководством Сергея Ениколопова, в России наблюдается зависимость между размером города и уровнем гелотофобии: чем меньше населенный пункт — тем сильнее страх быть осмеянным. Похожая связь отмечается и в США."
Отсылка: Ранее метод квадрантов упоминался мной в посте "Топ 5 методов анализа данных, которые будут полезны каждому"
Источник: "Harvard Business Review: Самоирония: правила безопасности" https://hbr-russia.ru/karera/lichnye-kachestva-i-navyki/767857?
Цитата:
"В 2009 году группа ученых под руководством Рене Пройера из Университета Цюриха опубликовала результаты масштабного исследования гелотофобии. Изучив 73 страны, они расположили их на диаграмме, где по оси абсцисс — страх быть осмеянным, по оси ординат — мнительность, то есть ощущение, что смеются именно над тобой.
Быть осмеянными меньше всего боятся жители Англии, Норвегии, Австралии, Гонконга, США. Россия, что интересно, тоже находится в левой половине диаграммы — гелотофобия нам свойственна в небольшой степени.
По данным другого исследования, проведенного группой психологов под руководством Сергея Ениколопова, в России наблюдается зависимость между размером города и уровнем гелотофобии: чем меньше населенный пункт — тем сильнее страх быть осмеянным. Похожая связь отмечается и в США."
Отсылка: Ранее метод квадрантов упоминался мной в посте "Топ 5 методов анализа данных, которые будут полезны каждому"
Учиться, учиться и ещё раз учиться! Нет, это не Владимир Ильич расписывает ручку, это рынок Образования нам напоминает, прирастая почти на 5% в год. Не то, чтобы это был грандиозный рост. Рынок игр например растёт быстрее. Но всё же. Образование пленит. Технологии в нём способны произвести революцию, однако их там по-прежнему не то, чтобы много.
Тем временем, мне попалась занятная статья про метрики в Образовании. Прочитайте, если ещё нет: https://fh.school/tpost/ktsrsf1j80-tsar-metrika-onlain-obucheniya-chto-skri
Я по большей части согласна с авторами, поэтому делюсь ей с Вами. Вот метрики, которые они предлагаю смотреть в Образовании, с моими комментариями:
1) Традиционная, почти NSM образования ("The One Metric That Matters" - напутствие из Lean Analytics ~ по бОльшей части чушь, как уже понимает всё цивилизованное человечество) -это COR (Completion Rate) ИЛИ «доходимость курса до конца» (для массовых бесплатных курсов она составляет 3-5%, для платных - 30-40%)
2) Уровень сложности. Авторы предлагают снимать его через опросы и глубинные интервью. Сама по себе идея норм, но без чёткой методологии может обернуться для компании профанацией. Тем не менее метрика относится к важным Оффлайн метрикам качества, о которых я довольно часто напоминаю гражданам. Пример - Rel (релевантность ссылок по запросу в Поиске). Методология в данном случае - единая инструкция для асессоров и репрезентативная группа асессоров* / *асессор - тот, кто оффлайн оценивает качество ответов Поиска за запросы
3) Ожидания и реальность. Это конечно уже не совсем про метрики, но точно про русские образовательные программы. Как правило, сначала создается лендинг (одними людьми), а затем обучающая программа (вторыми людьми) и обучение собственно (третьими людьми). Ну вы сами всё понимаете. Круто, что авторы про это пишут.
4) Темп и нагрузка. Здесь, кажется, и так ясно, что я думаю из предыдущих комментариев.
5) Время просмотра контента. Да, да, да! И глубина. Хотите учиться у лидеров, погуглите, как это делает Medium.
6) Количество выполненных домашних заданий. И доля. Потому что доли - это "good metrics"))
7) Качество усвоения материала. Говорят, как измерять это, есть методология. Пока не разбиралась.
8) Активность участия в обсуждениях. Да, да, да! Только вот как бы это явление измерить? Что думаете? Допустим, у нас есть логи Slack. Пишите в комментариях!
9) Трудоустройство. А также повышение по службе или рост ЗП. Пожалуй, самая важная метрика. Однако трудно измеримая.
Картинка отсюда: https://www.holoniq.com/edtech/10-charts-that-explain-the-global-education-technology-market/
Тем временем, мне попалась занятная статья про метрики в Образовании. Прочитайте, если ещё нет: https://fh.school/tpost/ktsrsf1j80-tsar-metrika-onlain-obucheniya-chto-skri
Я по большей части согласна с авторами, поэтому делюсь ей с Вами. Вот метрики, которые они предлагаю смотреть в Образовании, с моими комментариями:
1) Традиционная, почти NSM образования ("The One Metric That Matters" - напутствие из Lean Analytics ~ по бОльшей части чушь, как уже понимает всё цивилизованное человечество) -это COR (Completion Rate) ИЛИ «доходимость курса до конца» (для массовых бесплатных курсов она составляет 3-5%, для платных - 30-40%)
2) Уровень сложности. Авторы предлагают снимать его через опросы и глубинные интервью. Сама по себе идея норм, но без чёткой методологии может обернуться для компании профанацией. Тем не менее метрика относится к важным Оффлайн метрикам качества, о которых я довольно часто напоминаю гражданам. Пример - Rel (релевантность ссылок по запросу в Поиске). Методология в данном случае - единая инструкция для асессоров и репрезентативная группа асессоров* / *асессор - тот, кто оффлайн оценивает качество ответов Поиска за запросы
3) Ожидания и реальность. Это конечно уже не совсем про метрики, но точно про русские образовательные программы. Как правило, сначала создается лендинг (одними людьми), а затем обучающая программа (вторыми людьми) и обучение собственно (третьими людьми). Ну вы сами всё понимаете. Круто, что авторы про это пишут.
4) Темп и нагрузка. Здесь, кажется, и так ясно, что я думаю из предыдущих комментариев.
5) Время просмотра контента. Да, да, да! И глубина. Хотите учиться у лидеров, погуглите, как это делает Medium.
6) Количество выполненных домашних заданий. И доля. Потому что доли - это "good metrics"))
7) Качество усвоения материала. Говорят, как измерять это, есть методология. Пока не разбиралась.
8) Активность участия в обсуждениях. Да, да, да! Только вот как бы это явление измерить? Что думаете? Допустим, у нас есть логи Slack. Пишите в комментариях!
9) Трудоустройство. А также повышение по службе или рост ЗП. Пожалуй, самая важная метрика. Однако трудно измеримая.
Картинка отсюда: https://www.holoniq.com/edtech/10-charts-that-explain-the-global-education-technology-market/
Data Аналитики и консультанты в этой теме в США зарабатывают 10 000 - 15 000 $ в месяц и совсем не похожи на наших типичных аналитиков.
См. занятное видео (на английском): "What Does A Data Analyst Do? ($80,000+ Starting Salary)" https://youtu.be/OF132jIS8XM
Кстати, давно вынашиваю идею подобного видео-проекта. Хотите короткие видео про аналитику в разных компаниях?
См. занятное видео (на английском): "What Does A Data Analyst Do? ($80,000+ Starting Salary)" https://youtu.be/OF132jIS8XM
Кстати, давно вынашиваю идею подобного видео-проекта. Хотите короткие видео про аналитику в разных компаниях?
Для одного из курсов в Высшей Школе Экономики меня попросили собрать материалы, которые слушатели могут изучить до семинаров. Собрала. Делюсь с вами:
🔰Продуктовая аналитика
👉Книга «Lean Analytics» [Ангоязычная книга / бумажная версия https://clck.ru/MAZmy и перевод в PDF https://yadi.sk/i/RV0Uca3r8bo7HA]
🔰Метрики:
На русском:
👉NSM и метрики ценности продукта https://clck.ru/MAZmb
👉Иерархия метрик VS Пирамида метрик https://clck.ru/Fxp2W
Тихомирова статья
На английском:
👉AARRR Framework- Metrics That Let Your StartUp Sound Like A Pirate Ship https://clck.ru/MAZqW
👉The Five Mobile Marketing Metrics That Matter Most https://clck.ru/MAZpm
🔰Tableau:
Если Вы еще не посмотрели что такое Tableau, то можете изучить короткие видео тут:
👉https://public.tableau.com/en-us/s/resources
❗️Особенно рекомендую эти:
3. Connecting to Google Sheets (3:15)
8. Data Preparation – Pivoting your Data (4:54)
7. Data Preparation – The Data Interpreter (4:29)
10. Data Preparation – Joins and Unions (6:28)
11. Creating Your First Chart (2:34)
12. Using the Show Me Tool Bar (4:15)
15. Adding Interactivity to Dashboards (4:30)
13. Understanding the Logic of Charts (5:05)
В скобочках время в минутах, которое вы потратите на эти видео. Если не знаете английский или нет наушников, не беда - 80% информации - это визуальный ряд. Суммарно речь идет об обучающих видео на 30-35 минут.
🔰Unit-экономика и Экономика продукта
👉Олег Тиньков «Бизнес без MBA» https://clck.ru/MAZrC
👉Все лекции и выступления Ильи Красинского (полезно любое)
https://www.youtube.com/results?search_query=красинский
👉Конспект лекций Ильи Красинского https://clck.ru/F6vug
🔰Анализ рынка
👉Оценивать рынки как. Или “Не участвуй в собрании статистиков и не сотвори греха социологии” https://clck.ru/MAZru
ЗЫ. Сегодня записала тьюториал по анализу открытых данных на примере темы коронавируса 😷 Может быть, сюда что-то запишу
🔰Продуктовая аналитика
👉Книга «Lean Analytics» [Ангоязычная книга / бумажная версия https://clck.ru/MAZmy и перевод в PDF https://yadi.sk/i/RV0Uca3r8bo7HA]
🔰Метрики:
На русском:
👉NSM и метрики ценности продукта https://clck.ru/MAZmb
👉Иерархия метрик VS Пирамида метрик https://clck.ru/Fxp2W
Тихомирова статья
На английском:
👉AARRR Framework- Metrics That Let Your StartUp Sound Like A Pirate Ship https://clck.ru/MAZqW
👉The Five Mobile Marketing Metrics That Matter Most https://clck.ru/MAZpm
🔰Tableau:
Если Вы еще не посмотрели что такое Tableau, то можете изучить короткие видео тут:
👉https://public.tableau.com/en-us/s/resources
❗️Особенно рекомендую эти:
3. Connecting to Google Sheets (3:15)
8. Data Preparation – Pivoting your Data (4:54)
7. Data Preparation – The Data Interpreter (4:29)
10. Data Preparation – Joins and Unions (6:28)
11. Creating Your First Chart (2:34)
12. Using the Show Me Tool Bar (4:15)
15. Adding Interactivity to Dashboards (4:30)
13. Understanding the Logic of Charts (5:05)
В скобочках время в минутах, которое вы потратите на эти видео. Если не знаете английский или нет наушников, не беда - 80% информации - это визуальный ряд. Суммарно речь идет об обучающих видео на 30-35 минут.
🔰Unit-экономика и Экономика продукта
👉Олег Тиньков «Бизнес без MBA» https://clck.ru/MAZrC
👉Все лекции и выступления Ильи Красинского (полезно любое)
https://www.youtube.com/results?search_query=красинский
👉Конспект лекций Ильи Красинского https://clck.ru/F6vug
🔰Анализ рынка
👉Оценивать рынки как. Или “Не участвуй в собрании статистиков и не сотвори греха социологии” https://clck.ru/MAZru
ЗЫ. Сегодня записала тьюториал по анализу открытых данных на примере темы коронавируса 😷 Может быть, сюда что-то запишу
OZON
Lean Analytics: Use Data to Build a Better Startup Faster | Croll Alistair, Yoskovitz Benjamin купить на OZON по низкой цене (25358316)
Lean Analytics: Use Data to Build a Better Startup Faster | Croll Alistair, Yoskovitz Benjamin – покупайте на OZON по выгодным ценам! Быстрая и бесплатная доставка, большой ассортимент, бонусы, рассрочка и кэшбэк. Распродажи, скидки и акции. Реальные отзывы…
Не так давно выяснилось, что понятие «данные», с которым мы все ежедневно сталкиваемся и работаем одновременно очевидно для всех и абсолютно не понятно. Даже опытные аналитики не смогли объяснить, что такое те самые «данные», с которыми они работают.
Почему важно разобраться в вопросе? Во-первых, для глубины понимания своей собственной работы, если вы аналитик, или понимания возможностей коллег-аналитиков. Во-вторых, для избавления от ложных мечт и ожиданий, которыми полон не до конца оцифрованный рынок оффлайн. А это, на секундочку, всё ещё преобладающая часть мировой экономики.
Лично для меня вопрос никогда не стоял в том, что такое «данные». Пока я не увидела, что в некоторых оффлайн-компаниях не просто не понимают, что это. Я увидела категорически опасное и неправильное понимание слова «данные»:
ДАННЫЕ == ИНФОРМАЦИЯ
Возможно, вам покажется это правильным или бредом. Однако,
ДАННЫЕ - это собрание сырых (не обработанных) фактов и чисел, подлежащих упорядочивания и обработке с целью получения информации, то есть метрик (упорядоченных и пригодных для анализа чисел), графиков, выводов и так далее.
К сожалению, часто я наблюдаю попытку строить аналитику не на данных, а на информации. Например, аналитик работает только с аналитической базой и не понимает, как возникли агрегаты в ней. Или менеджер имеет доступ только к дашбордам без возможности в любой момент сделать drill down до конкретного пользователя или строчки в данных.
Важно понимать, что подобные случаи являют интерпретацией информации. Аналитика данных - упорядочивание и сведение данных в информацию - уже случилась частично или полностью РАНЕЕ.
Почему часто интерпретация аналитической информации ведет к неверным выводам или медленной работе? Мне кажется, нередко потому, что забывается:
ДАННЫЕ != ИНФОРМАЦИЯ
Относитесь адекватно ко всему доступному вам арсеналу средств и не путайте мух с котлетами.
Почему важно разобраться в вопросе? Во-первых, для глубины понимания своей собственной работы, если вы аналитик, или понимания возможностей коллег-аналитиков. Во-вторых, для избавления от ложных мечт и ожиданий, которыми полон не до конца оцифрованный рынок оффлайн. А это, на секундочку, всё ещё преобладающая часть мировой экономики.
Лично для меня вопрос никогда не стоял в том, что такое «данные». Пока я не увидела, что в некоторых оффлайн-компаниях не просто не понимают, что это. Я увидела категорически опасное и неправильное понимание слова «данные»:
ДАННЫЕ == ИНФОРМАЦИЯ
Возможно, вам покажется это правильным или бредом. Однако,
ДАННЫЕ - это собрание сырых (не обработанных) фактов и чисел, подлежащих упорядочивания и обработке с целью получения информации, то есть метрик (упорядоченных и пригодных для анализа чисел), графиков, выводов и так далее.
К сожалению, часто я наблюдаю попытку строить аналитику не на данных, а на информации. Например, аналитик работает только с аналитической базой и не понимает, как возникли агрегаты в ней. Или менеджер имеет доступ только к дашбордам без возможности в любой момент сделать drill down до конкретного пользователя или строчки в данных.
Важно понимать, что подобные случаи являют интерпретацией информации. Аналитика данных - упорядочивание и сведение данных в информацию - уже случилась частично или полностью РАНЕЕ.
Почему часто интерпретация аналитической информации ведет к неверным выводам или медленной работе? Мне кажется, нередко потому, что забывается:
ДАННЫЕ != ИНФОРМАЦИЯ
Относитесь адекватно ко всему доступному вам арсеналу средств и не путайте мух с котлетами.
С праздником, дорогие подписчики!
Желаю вам Настоящей Аналитики и Взаимного Data-driven 🌞
Желаю вам Настоящей Аналитики и Взаимного Data-driven 🌞
Экспериментальная рубрика #вопрос_ответ (Ваши голоса решат её будущее).
Q: Лена привет, а подскажи пожалуйста что ты понимаешь под actionable метрикой?
Например, метрика ROI в отделе маркетинга может быть actionable, если видим что наше ROI ниже плана, то можем выключать канал.
Или екшенебл метрика, это условно алгоритм, который мы прописываем заранее.
A: Моё личное понимание таково. Actionable метрика должна указывать что делать => из этого следует, что:
1) мы должны быть способы на нее влиять (она упала, а мы знаем что делать, чтобы она выросла)
2) чувствительность метрики (мы что-то сделали или не сделали, а она это отразила)
3) интрепретируемость и/или декомпозируемость (метрика изменилась, а мы можем локализовать причину - дело в том, что редко когда одного только показателя хватает для понимания причин измений) - здесь полезно и заранее изучить метрику, и продумать для неё иерахическое разложение (без фанатизма, конечно же)
Q: Встречались еще какие-то примеры из digital мира ?
A: Ну например доля на рынке в ситуациях, когда её умеют считать. все важные истории она хорошо ловит (изменение цен, большие релизы, демпинг конкурентов).
#вопрос_ответ
#метрики_основы
#продуктовая_аналитика
Q: Лена привет, а подскажи пожалуйста что ты понимаешь под actionable метрикой?
Например, метрика ROI в отделе маркетинга может быть actionable, если видим что наше ROI ниже плана, то можем выключать канал.
Или екшенебл метрика, это условно алгоритм, который мы прописываем заранее.
A: Моё личное понимание таково. Actionable метрика должна указывать что делать => из этого следует, что:
1) мы должны быть способы на нее влиять (она упала, а мы знаем что делать, чтобы она выросла)
2) чувствительность метрики (мы что-то сделали или не сделали, а она это отразила)
3) интрепретируемость и/или декомпозируемость (метрика изменилась, а мы можем локализовать причину - дело в том, что редко когда одного только показателя хватает для понимания причин измений) - здесь полезно и заранее изучить метрику, и продумать для неё иерахическое разложение (без фанатизма, конечно же)
Q: Встречались еще какие-то примеры из digital мира ?
A: Ну например доля на рынке в ситуациях, когда её умеют считать. все важные истории она хорошо ловит (изменение цен, большие релизы, демпинг конкурентов).
#вопрос_ответ
#метрики_основы
#продуктовая_аналитика
То, что должно быть в мозге настоящего аналитика у меня не всегда включается. Это называется – системное внимание к деталям. 🔥 НЕ ПУТАТЬ с обычным вниманием к деталям. Я вижу мелкие проблемы (вниманием деталям) и вижу за деревьями лес (think outside the box). Но не вижу ВСЕ пеньки в лесу (системное внимание к деталям).
Вообще, сколько я консультирую, нанимаю, менторю, работаю - вижу 3 проблемы:
1️⃣ люди при найме аналитика ищут внимание к отдельным пенькам и умение видеть за деревьями лес
2️⃣ находят людей типа меня
3️⃣ не проверяют умение видеть все пеньки в лесу – я называю это 🔥системное внимание к деталям 🔥
Пока я не обнаружила людей, которые видят все пеньки, думала, что их не существует!
Это очень редкий тип профессионалов в нашей среде. Но без них вся ваша аналитика будет переливанием из пустого в порожнее. Вам же очень хорошо знакома ситуация, когда числа не сходятся, в данных бардак, а аналитики говорят что-то вроде «у вас не база, а болото!»
Проблема в том, что системному вниманию к деталям не учили в наших школах, нет про это тренингов, нет похоже даже книг.
⁉️ КАК проверить человека на наличие системного внимания к деталям?
Дайте ему домашнее задание не с выхолощенным датасетом. А максимально анонимизированное ваше естественное ботото данных. Попросите посчитать MAU, Retention. Ну, а дальше очевидно:
1) просто посчитал – не аналитик
2) попытался поискать проблемы в данных перед расчетами – классический аналитик
3) нашёл все косяки в данных и усомнился, что вам вообще надо на данном этапе считать Retention, потому что эта Метрика всегда сбоит – человек с системным вниманием к деталям.🔥
В этом эксперименте есть только один момент. Обычно наниматель находится на этапе 2. Но это уже совсем другая история.
Вообще, сколько я консультирую, нанимаю, менторю, работаю - вижу 3 проблемы:
1️⃣ люди при найме аналитика ищут внимание к отдельным пенькам и умение видеть за деревьями лес
2️⃣ находят людей типа меня
3️⃣ не проверяют умение видеть все пеньки в лесу – я называю это 🔥системное внимание к деталям 🔥
Пока я не обнаружила людей, которые видят все пеньки, думала, что их не существует!
Это очень редкий тип профессионалов в нашей среде. Но без них вся ваша аналитика будет переливанием из пустого в порожнее. Вам же очень хорошо знакома ситуация, когда числа не сходятся, в данных бардак, а аналитики говорят что-то вроде «у вас не база, а болото!»
Проблема в том, что системному вниманию к деталям не учили в наших школах, нет про это тренингов, нет похоже даже книг.
⁉️ КАК проверить человека на наличие системного внимания к деталям?
Дайте ему домашнее задание не с выхолощенным датасетом. А максимально анонимизированное ваше естественное ботото данных. Попросите посчитать MAU, Retention. Ну, а дальше очевидно:
1) просто посчитал – не аналитик
2) попытался поискать проблемы в данных перед расчетами – классический аналитик
3) нашёл все косяки в данных и усомнился, что вам вообще надо на данном этапе считать Retention, потому что эта Метрика всегда сбоит – человек с системным вниманием к деталям.🔥
В этом эксперименте есть только один момент. Обычно наниматель находится на этапе 2. Но это уже совсем другая история.
#слайды Показываю кусочек презентации с сегодняшнего Митапа по метрикам от Product Sense.
Выступила с апдейтом по моей Пирамиде Метрик, о которой впервые рассказала на площадке ProductSense в 2018 году, на той же площадке - митапе от организаторов ProductSense.
Все, кто скопировал мои лекции, пропагандируют устаревший вариант пирамиды. За годы интеграции фреймворка в разные компании я многое переосознала. И часть этих инсайтов в видео:
https://www.youtube.com/watch?v=d5lV2KXVPfU
Все, кто скопировал мои лекции, пропагандируют устаревший вариант пирамиды. За годы интеграции фреймворка в разные компании я многое переосознала. И часть этих инсайтов в видео:
https://www.youtube.com/watch?v=d5lV2KXVPfU
YouTube
Фреймворк Product Metrics Pyramid: чем он может вам помочь, даже если метрики не ваш конек
Фреймворк Product Metrics Pyramid: чем он может вам помочь, даже если метрики не ваш конек
Выступление Елены Серёгиной на Product Mindset Meetup 3.03.2020
12 апреля Елена проведет 8-часовой воркшоп о метриках https://productsense.io/mw20-seryogina?utm_s…
Выступление Елены Серёгиной на Product Mindset Meetup 3.03.2020
12 апреля Елена проведет 8-часовой воркшоп о метриках https://productsense.io/mw20-seryogina?utm_s…
Как найти ментора по аналитике #вопрос_ответ
Q: Добрый день, хотел спросить у вас как у эксперта по аналитике по одному вопросу.
Я ищу наставника / ментора, чтобы быстрее вырасти как специалист.
Мне бы хотелось найти человека, который поможет мне фиксировать мои результаты, консультироваться по сложным вопросам.
Было бы здорово, если вы направили)
A: Как и где искать ментора. Есть 2 стратегии:
1️⃣ лучшее из доступного (лучший специалист из Вашего окружения)
2️⃣ доступное из лучшего (лучший специалист на рынке, которого Вы смогли привлечь в свой круг общения)
Частно рассуждаю с собой на тему того, как распознать по внешним признакам сильного специалиста.
Очевидно, но напомню, что не стоит полагаться на:
🙃Конференции
🙃Наличие блога
🙃Должность
Это признаки умения создавать личный бренд. Что же касается профессии, то я знаю только один надежный способ найти спеца:
☝️Селективное сарафанное радио
Это значит, что вы изначально слушаете не всех, а только людей, в чем профессионализме (а не личном бренде) вы не сомневаетесь. Личный эксперимент показал:
☝️Имена, которые у всех на слуху, и имена, которые называют реальные спецы, - плохо пересекающиеся множества.
Допустим, у вас появился список из кандидатов на роль вашего наставника. Следующий шаг - найти того, кому будет интересно именно с вами. Частая ошибка - искать крутого, в то время как надо искать своего. Да и тренер олимпийского чемпиона не обязательно должен быть сам чемпионом.
Итак, у вас случился Match. Наставник хочет помогать вам расти, вы уверены в профессиональных и человеческих качествах этого человека. Что дальше? Проверьте, что готовы к тому, что:
🙌Ментор - это не психотерапевт
🙌Ментор - не божество или гений (он будет ошибаться - это нормально, ваша задача быть критичным)
🙌Вы готовы к тому, что наступит момент скуки или завала на основной работе, когда не будет сил делать домашние задания и покажется бессмысленным идти на встречу. Если вы понимаете, что в этом случае перестанете работать, то стоит ли начитать?
Удачи!
Q: Добрый день, хотел спросить у вас как у эксперта по аналитике по одному вопросу.
Я ищу наставника / ментора, чтобы быстрее вырасти как специалист.
Мне бы хотелось найти человека, который поможет мне фиксировать мои результаты, консультироваться по сложным вопросам.
Было бы здорово, если вы направили)
A: Как и где искать ментора. Есть 2 стратегии:
1️⃣ лучшее из доступного (лучший специалист из Вашего окружения)
2️⃣ доступное из лучшего (лучший специалист на рынке, которого Вы смогли привлечь в свой круг общения)
Частно рассуждаю с собой на тему того, как распознать по внешним признакам сильного специалиста.
Очевидно, но напомню, что не стоит полагаться на:
🙃Конференции
🙃Наличие блога
🙃Должность
Это признаки умения создавать личный бренд. Что же касается профессии, то я знаю только один надежный способ найти спеца:
☝️Селективное сарафанное радио
Это значит, что вы изначально слушаете не всех, а только людей, в чем профессионализме (а не личном бренде) вы не сомневаетесь. Личный эксперимент показал:
☝️Имена, которые у всех на слуху, и имена, которые называют реальные спецы, - плохо пересекающиеся множества.
Допустим, у вас появился список из кандидатов на роль вашего наставника. Следующий шаг - найти того, кому будет интересно именно с вами. Частая ошибка - искать крутого, в то время как надо искать своего. Да и тренер олимпийского чемпиона не обязательно должен быть сам чемпионом.
Итак, у вас случился Match. Наставник хочет помогать вам расти, вы уверены в профессиональных и человеческих качествах этого человека. Что дальше? Проверьте, что готовы к тому, что:
🙌Ментор - это не психотерапевт
🙌Ментор - не божество или гений (он будет ошибаться - это нормально, ваша задача быть критичным)
🙌Вы готовы к тому, что наступит момент скуки или завала на основной работе, когда не будет сил делать домашние задания и покажется бессмысленным идти на встречу. Если вы понимаете, что в этом случае перестанете работать, то стоит ли начитать?
Удачи!
Как научиться формулировать гипотезы?
Умение формулировать продуктовые (и жизненные) гипотезы - чуть ли не основной навык, ради которого стоит идти в профессию «аналитик».
На старте карьеры может показываться, что хорошая гипотеза содержит в себе и метрику для её поверки и даже критерий стат значимости для оценки результата.
Оглядываясь назад, я вижу, что гипотезы, которые принесли разным продуктам и компаниям рост, обладали несколько иным общим свойством.
Они ставили под сомнение то, что непоколебимо. Аксиомы, вшитые в ДНК продукта. Наследие образа мышления основателей.
Начнём с того, что есть идиотский совет от меня. Как искать такие гипотезы.
Быть тем самым гадким утёнком, который вместо горящих глаз на очередную гениальную идею команды реагирует сомнением. Он всегда говорит :
⁃ А что, если не так?
В этот момент рождается гипотеза. Но только умоляю, не говорите это вслух. Проверяйте Базовые утверждения, лежащие в основе дизайна продуктовой модели так, чтобы ниже вступать в конфликт с ее носителями.
Танцуйте так, будто вас никто не видит. Проверяйте ДНК-гипотезы так, чтобы действительно никто не увидел.
Почему данный совет идиотский? Я прекрасно понимаю его слабость. Он не отвечает на главный вопрос:
Как в принципе заметить базовые утверждения — ДНК-кирпичики — продукта?
Давайте я подумаю, как минимальным числом слов объяснить это. И напишу в следующем посте.
А пока поживите с этими мыслями. Вероятно, ваш опыт и знания говорят о чём-то похожем.
Умение формулировать продуктовые (и жизненные) гипотезы - чуть ли не основной навык, ради которого стоит идти в профессию «аналитик».
На старте карьеры может показываться, что хорошая гипотеза содержит в себе и метрику для её поверки и даже критерий стат значимости для оценки результата.
Оглядываясь назад, я вижу, что гипотезы, которые принесли разным продуктам и компаниям рост, обладали несколько иным общим свойством.
Они ставили под сомнение то, что непоколебимо. Аксиомы, вшитые в ДНК продукта. Наследие образа мышления основателей.
Начнём с того, что есть идиотский совет от меня. Как искать такие гипотезы.
Быть тем самым гадким утёнком, который вместо горящих глаз на очередную гениальную идею команды реагирует сомнением. Он всегда говорит :
⁃ А что, если не так?
В этот момент рождается гипотеза. Но только умоляю, не говорите это вслух. Проверяйте Базовые утверждения, лежащие в основе дизайна продуктовой модели так, чтобы ниже вступать в конфликт с ее носителями.
Танцуйте так, будто вас никто не видит. Проверяйте ДНК-гипотезы так, чтобы действительно никто не увидел.
Почему данный совет идиотский? Я прекрасно понимаю его слабость. Он не отвечает на главный вопрос:
Как в принципе заметить базовые утверждения — ДНК-кирпичики — продукта?
Давайте я подумаю, как минимальным числом слов объяснить это. И напишу в следующем посте.
А пока поживите с этими мыслями. Вероятно, ваш опыт и знания говорят о чём-то похожем.
👍1
Почти год не писала статей. И кажется, за это время, нас здесь стало на порядок больше. А значит, нужно немного ликбеза. Поэтому сегодня будет чтиво на 3 минуты о том, что самого важного стоит знать про метрики.
Прежде чем вы пойдёте по ссылке читать, я хочу обозначить 2 момента:
Момент #1. В статье я ставила целью очертить границы знания и незнания. Показать структуру темы. Далеко не всему в этой жизни надо учиться по лекциям, далеко не всё надо вычитывать в книгах. Иногда (а на самом деле чаще всего) достаточно увидеть структуру темы, чтобы разобрать в ней самостоятельно путём рассуждений и правильно поставленных экспериментов.
Момент #2. В этом посте экспериментально отключены реакции (aka лайки). Потому что лайки для этого канала не только пустая, но и *возможно* плохая метрика. А потому избавлю себя и вас от инфо-шума.
Ссылка 👉 "Три важных слова в аналитике, если время простых решений истекло"
Прежде чем вы пойдёте по ссылке читать, я хочу обозначить 2 момента:
Момент #1. В статье я ставила целью очертить границы знания и незнания. Показать структуру темы. Далеко не всему в этой жизни надо учиться по лекциям, далеко не всё надо вычитывать в книгах. Иногда (а на самом деле чаще всего) достаточно увидеть структуру темы, чтобы разобрать в ней самостоятельно путём рассуждений и правильно поставленных экспериментов.
Момент #2. В этом посте экспериментально отключены реакции (aka лайки). Потому что лайки для этого канала не только пустая, но и *возможно* плохая метрика. А потому избавлю себя и вас от инфо-шума.
Ссылка 👉 "Три важных слова в аналитике, если время простых решений истекло"