Приветствую, любители аналитики!

Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?

NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир, «путеводная звезда», которая помогает всей команде двигаться в одном направлении.
Признайтесь, есть у вас такая?
Нет?
А зачем тогда жить?..
Без NSM-то...

Ладно, несколько советов, как сформулировать царь-метрику. Она должна быть:
* числом, то бишь, измеримой или рассчитываемой
* понятной всем в команде
* зависящей от ваших усилий, то есть, связанной с вашим продуктом/услугой
* влияющей на успешность бизнеса (иначе в ней мало толку, верно?)

А вот хорошая статейка о том, какие NSM выбирают себе разные бизнесы: https://habr.com/ru/articles/651875/

Автор выделил 6 категорий ценностей, на которые опираются при выборе центральной метрики:

1. Деньги. Например выручка, доход, оборот за месяц.

2. Клиентская база. Например, количество платящих пользователей или доля рынка.

3. Использование (потребление) продукта. Например, количество бронирований или время, проведенное на сайте.

4. Вовлеченность пользователей. Например, количество активных пользователей в день.

5. Эффективность бизнеса или его основных процессов. Например, отношение LTV (Lifetime Value, метрика, отражающая, сколько выручки принес вам данный клиент за все время) к CAC (Customer Acquisition Cost, стоимость привлечения клиента)

6. Клиентский опыт. Например, NPS — Net Promoter Score — показатель лояльности клиентов.


Не поленитесь, почитайте статейку.
А мы как-нибудь рассмотрим еще одно понятие, связанное с метриками.
До связи!

PS. С NSM тесно связано понятие "Дерево метрик". Кстати, о нем хорошо рассказал Иван Меркурьев - продакт из Яндекса - в своём канале Ordinary PM. Загляните, будет полезно.

Приветствую, любители аналитики!

Вернёмся-ка к теме потока.
Напомню, Михай определил поток как состояние, при котором внимание сосредоточено на целевом процессе, и ему ничего не мешает, ничто не угрожает.
Это противостояние психическому хаосу.

Что делать с угрозами?
1) Предварительно выписать и уделить внимание каждой. Выполнить или обоснованно отложить задачи.
2) Игнорировать угрозы, пока находишься в потоке.

Пункт 2 хорошо дополняется законом другого именитого автора - Сирила Паркинсона:
Работа заполняет всё время, отпущенное на неё.
(Кстати, его книгу "Законы Паркинсона" тоже рекомендую.)

А вот конспект выступления, которое я думал провести в Еламе несколько лет назад, да так и не провел.

1. Что такое Поток?
Психическое состояние, в котором вы:
* максимально сосредоточены на текущем деле
* максимально вовлечены в процесс
* ощущаете, что это дело вам в принципе по силам, полностью контролируете ситуацию/процесс
* не рефлексируете, не тревожитесь попусту и вообще не осознаёте себя
* получаете удовольствие от деятельности
* смотрите на преграды к цели не как на проблему, а как на награды, т.к. их преодоление приятно

После выхода из потока (по завершении дела) вы:
* самоутверждаетесь, повышаете самооценку, "доказав" себе свою силу/компетентность
* обнаруживаете, что времени прошло больше, чем казалось
* становитесь более развитым, т.к. задачи чуть-чуть сложнее, чем ваш обычный уровень

2. Что нужно, чтобы попасть в поток?
* Поставьте ясную цель. Если она не ясна, уточните или разбейте на подцели.
* Найдите способ измерять свой прогресс в рамках выбранной системы целей. Обеспечьте обратную связь
* Подготовьте рабочую среду, чтобы ничто не отвлекало. Сформулируйте правила игры
* Научитесь необходимым инструментам, навыкам.
* Повышайте сложность задач по мере того, как деятельность становится скучной.

3. Потоку мешают
* расстройство внимания, хаос, отсутствие правил, тревога
* чрезмерная ригидность, отчуждение и сосредоточенность на себе, скука

4. Быстрый вход в поток (переключение)
* Создание настроя:
- любимая подходящая музыка,
- изучение планов,
- своих прошлых результатов и плодов
- подберите свои триггеры
* декомпозиция задачи, начинаем с самого простого и понятного
* представьте, что все проблемы, что не касаются задачи - вас вообще не касаются

5. Лайфхаки на основе концепции потока
* если ваши отношения с кем-то скучнеют, находите новые совместные цели и интересы
* перед тем как взяться за что-то, определите свой уровень энергии (об этом расскажу отдельно) и подберите дело, которое этому уровню соответствует
* свободное время старайтесь тратить на развивающий, т.е. деятельный отдых. Поток даст удовольствие и приятный осадок в виде гордости за себя.
* двигайтесь, когда хочется движения, творите, когда прёт.

По мне, поток - пожалуй, лучший способ повысить свою эффективность.
Повесьте на видное место инструкцию входа в него и нарабатывайте привычку работать с удовольствием!

Приветствую, любители аналитики!

Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.

Аналитика для бизнеса
Ценность аналитики - где она?
Решения на основе аналитики - как ставить вопросы?
North Star Metrica - Путеводная метрика, ради которой стоит работать

Аналитика для жизни
Поток и Поток 2 - процесс оптимального переживания
Блокнот для мыслей и самоанализа - для людей-сканеров и всех остальных)

Енджой!

Приветствую, любители аналитики!

Поговорим-ка о ролях в сфере аналитики. Кто все эти прекрасные люди, которые извлекают смысл из хаоса циферок и символов?

Помните конвейер данных?
За каждый этап в пути данных отвечает своя роль.

Правда, в разных компаниях должности специалистов называются по-разному, часто один сотрудник сочетает в себе несколько ролей.
Поэтому я приведу только наиболее характерные для каждой роли зоны ответственности.

Дата-инженер.
Обеспечивает сбор, предобработку и загрузку сырых данных из источников в аналитическое хранилище, а также решает вопросы архитектуры хранилища, настраивает бэкапирование, обновляет систему, следит за вычислительными ресурсами и т.д.

Дата-аналитик.
"Готовит" сырые данные, преобразовывает их в витрины данных, в которых заложена требуемая логика: агрегация, фильтрация, сегментация, объединение, вычисление и т.д.

BI-аналитик.
Разрабатывает хорошо читаемые визуально отчёты в средствах визуализации. В качестве источников может использовать как витрины данных, так и сырые данные при необходимости.

Бизнес-аналитик.
Собирает потребности заказчика, превращает их в конкретные метрики, продумывает аналитическую логику, ставит задачи другим ролям на разработку витрин или отчетов, анализирует их и делает выводы, презентует заказчику результаты.

Продуктовый аналитик.
Изучает эффективность работы продукта (как правило, айтишного). Для этого он выстраивает пирамиду метрик, настраивает отслеживание используемости продукта или его частей, а также проводит A/B-тесты.

Есть и более сложные роли, такие как дата-саентист, специалист по машинному обучению и т.д. Но их тоже можно отнести к дата-аналитикам, они тоже преобразуют данные, только более хитрыми способами.

Я выступаю за всестороннее развитие человека, а в нашем контексте это значит, что любому аналитику и для души и для дела полезно понимать, что и как делают его коллеги в своей епархии.
Во-первых, приятнее строить ирригационную систему, чем просто рыть канаву, верно?
Во-вторых, чем больше умеешь, тем позже выгоришь.
В-третьих, понимать язык соседей - это кайфово.

Так что рекомендую учиться всем премудростям аналитики. Одно надоест - переключитесь на другое)

Приветствую, любители аналитики!

Когда я был молодым и глупым, не понимал смысла ритуалов - зачем все эти нелепые шоу?
Теперь не только понимаю, но и активно использую для работы и для жизни.

Ритуал - прежде всего, способ ввести участника в нужное состояние, будь то церковное песнопение, поднятие бокалов в новогоднюю ночь или ежеквартальное выступление директора компании.

Но раз так, почему бы не применять ритуалы сознательно для повышения своей эффективности?
Ведь зачастую нам мешают работать даже не внешние факторы, а неправильный настрой.
Придумайте свой ритуал, который поможет вработаться, не задумываясь, автоматически!

Я уже писал про ритуал входа в поток. Он как бы универсален, т.к. постановка задачи может быть любой.
Но могут и должны быть также ритуалы, специфические для конкретных задач. Например:
* начало рабочего дня
* подготовка к совещанию
* обход затыков/тупиков в задаче (например, после 1 часа тупняка, остановиться, поискать другой путь или запросить доп.разъяснения у заказчиков/поставщиков данных)
* тестирование витрин данных, ревью кода
* разговор 1х1 с коллегой - начальником или подчинённым

И даже для личных задач!
* время с детьми (помощь с уроками, игры)
* разрешение конфликтов с домочадцами
* завершение рабочего дня, выгрузка из дел.

Свойства хорошего ритуала:
- можно составить список действий из нескольких пунктов
- действия просты, не требуют осмысления
- все действия посильны и легко выполнимы
- все действия легко могут стать привычными

Например, ритуал включения в работу в начале дня:
* проверяем входящие (почту, тасктрекер, мессенджеры и т.д.), никому не отвечаем сразу, выписываем, кому надо ответить
* составляем план на день: кому ответить; задачи, не законченные вчера; сегодняшние задачи; встречи/созвоны
* приблизительно распределяем план по дню
* окидываем взглядом план, выбираем задачу, начинаем выполнять.

Наверняка вы умеете составлять план на день, но далеко не все осознают процесс его составления как ритуал входа в рабочее состояние. По сути, входа в поток.

Успехов вам в борьбе с прокрастинацией, друзья!

Пара слов о ETL-процессах

Приветствую, любители аналитики!
Скажу кое-что об этих трёх весёлых буквах.

В многочисленных статьях и курсах вы найдете такую расшифровку:
E(xtract) - извлечение из источника
T(ransform) - преобразование данных
L(oad) - загрузка в аналитическое хранилище
То есть, ETL-процесс - это вроде как подготовка данных к анализу - сбор, преобразование и заливка в инструмент аналитики.

На самом деле, обычно всё не так хорошо разложено по полочкам. Красиво спроектировать и реализовать аналитическую архитектуру могут себе позволить только крупные и богатые компании, для которых данные - ощутимый источник дохода. (Например, в талмуде "DAMA DMBOK" описаны процессы работы с данными для идеальной мегакомпании, созревшей для дата-говернанса.)

Что имеется в реальности?

* E - Сбор.
Запросы к БД могут быть простыми вида SELECT * FROM table, и тогда это "чистый" сбор;
но чаще они содержат в себе джойны, условия, подмены и т.д., а это уже обработка, то есть уже не просто E.
Разработчики (вернее, их руководство) не хотят тратить своё драгоценное время на консультации дата-инженеру, им проще самим написать запрос, которым надо вытягивать требуемые данные.
К тому же, действительно зачастую удобнее брать только то что нужно из источника, а не выгружать его весь.

* T - Преобразования.
Этот этап размазан по всему процессу для разных видов данных. Начинается уже в запросе к источнику, потом что-то происходит в Промежуточном хранилище, потом собираются витрины уже после загрузки в Аналитическое хранилище.

* L - Загрузка
Тоже возможны варианты. Что-то кладется из ПХ в АХ, что-то кочует из источников прямиком в АХ (потому что так проще), что-то окольными путями, например, кладётся в S3, а уже в АХ к нему обращаются соответствующие вьюшки. Короче, даже в этом простом шаге не всегда всё стройно.

Но во всём этом "беспорядке" есть и прелесть)
Как бы кому ни хотелось разделять зоны ответственности, но дата-инженер вынужден понимать смысл данных в источнике, а дата-аналитику приходится разбираться в особенностях процессов сбора данных.
А значит они растут и живут насыщенной интересной жизнью!

Действие INNER JOIN наглядно.

Пара слов о самооценке

Приветствую любителей аналитики!

Еще одна полезная книга - "Книга решений. 50 моделей стратегического мышления", написанная Микаэлем Крогерусом и Романом Чеппелером.

Авторы, помимо прочего, предлагают смотреть на себя с четырех точек зрения:
1) Каким я вижу себя?
2) Каким я хотел бы видеть себя?
3) Каким меня видят другие?
4) Каким меня хотят видеть другие?

Оценку предлагается проводить для пар параметров по 10-балльной шкале:
Командность - Индивидуализм
Содержание - Форма
Физическая сила - Интеллект
Глобальное - Локальное

По-хорошему, сначала следует оценить самому, а потом попросить это сделать других.

Результат оценки удобно представить в виде графика "Роза ветров", на котором отразить ответы со всех четырех точек зрения. Тогда будут видны расхождения и можно будет сообразить, что с ними делать.

До связи!

О цикле жизни витрины данных

Приветствую любителей аналитики!

Продолжим разбирать конвейер данных. Про ETL я немножко высказался, теперь рассмотрим работу с витринами данных.

Витрина данных - это такая таблица, готовая для анализа: в ней данные обработаны требуемым образом, выбрано только нужное и в нужном виде.

А вот через что она может пройти за свою жизнь:

1) Выявление потребности и формирование технического задания.
2) Сбор или досбор необходимых данных, если их ещё нет в аналитическом хранилище.
3) Разработка скрипта или запроса, формирующих витрину.
4) Отладка/тестирование витрины
5) Принятие заказчиком, внедрение, использование
6) Доработка: добавление столбцов, изменение логики - при необходимости.
7) Потеря актуальности витрины, снятие с поддержки, удаление.

Эти пункты затрагивают разных экторов и таят в себе множество нюансов, которые я испытал на своей шкуре (и шкурах своих дата-аналитиков)). Поэтому дальше мы рассмотрим их подробней.

О принятии решений

Приветствую, любители аналитики!

Когда-то меня угнетало, что я долговато решаю, никак не могу решиться, а если и делаю это быстро, то получается плохо.

Принятие решений - последний шаг конвейера данных, и в жизни тоже следует проводить перед ним анализ. Мы же с вами дата-драйвен публика, да?

Итак, я озаботился проблемой, в частности, читал "Книгу решений", о которой уже упоминал, и написал (в тот самый блокнот) себе такой подход.

Положим, делать что-то или не делать. Как быстро решать?

1) Отключить эмоции. Если из проблемы убрать эмоции, получим просто ситуацию.
Мешающие эмоции:
* страхи
* обязательства перед кем-то
* стыд, смущение

2) Описать себе ситуацию:
* задачи, цели
* преграды, враждебные агенты и факторы
* награда в случае успеха, мотивация
* имеющиеся ресурсы
* требуемые затраты и предлагаемые методы
* штраф за отказ

3) Оценить целесообразность. Стоит ли овчинка выделки?
* самостоятельно
* с помощью консультантов
* исследовав статистику, материалы по теме, изучив предмет
* подобрать альтернативные варианты

4) Принять одно из решений:
* выполнить задачу
* отказаться от выполнения задачи
* видоизменить и выполнить задачу.

Тема огромная, задачи и ситуации разные, поэтому каждый детализирует по-своему. Но иметь такой "чек-лист" на видном месте полезно пока не образуется привычка проходить по нему автоматически.

Успехов и удачных вам решений!

Друзья, заглядывайте на огонёк во вторник, кое-чо расскажу!

📌 [Вебинар] Конвейер данных: путь данных от сбора до анализа

Знаете ли вы, что данные, прежде чем стать действительно полезными, проходят долгий путь? Он называется «конвейер данных» и в его работе принимают участие разные специалисты: дата-инженеры, дата-аналитики, BI-аналитики (хотя часто это один и тот же человек 😉).

📍 Об этапах этого процесса расскажет на вебинаре 15 апреля в 18:30 по МСК Павел Беляев — руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».

📊 Павел расскажет, как в целом данные собираются, обрабатываются и анализируются. Тема богатая, тянет на целый курс, но за вебинар можно дать верхнеуровневый взгляд, дающий понимание процесса.

Может быть, взгляд на весь процесс поможет вам определить своё место в нём!

Дайджест №2

Приветствую любителей аналитики!
Давайте-ка немного вспомним, что было здесь интересного за последние пару недель.

Прошлые вспоминалки
Дайджест №1

Аналитика для бизнеса
Роли аналитиков
Пара слов о ETL-процессах
Цикл жизни витрины данных

Аналитика для жизни
Ритуалы для работы
Пара слов о самооценке
Как принимать решения

Техническое задание на витрину данных

Приветствую любителей аналитики!

Итак, витрина данных начинается с хорошего ТЗ.
Расскажу, исходя из своего опыта, каким оно должно быть, чтобы задача выполнилась без проволочек, а результат получился качественным.

В задаче на создание витрины должны быть отражены следующие сведения:
* Заказчик - какой отдел и какой сотрудник нуждаются в витрине.
* Назначение витрины - что ожидает выяснить потребитель, анализируя витрину.
* Перечень столбцов с описанием их смысла и логики их получения
* Фильтры: сегмент, период и т.д.
* Пример результата в виде небольшой таблицы с ожидаемыми значениями
* Дополнительные разъяснения: отсылки к другим витринам, ссылки на документацию, цитаты заинтересованных лиц и т.д.
* "Юнит-тесты" (по возможности) - правила, которые должны выполняться в витрине: диапазоны значений, взаимосвязь/согласованность полей, допустимость пустот, возможные тренды и т.д. То есть, всё что может помочь протестировать витрину, понять, что данные получились качественными. (К этому вопросу мы еще подойдем.)

Обычно ТЗ на витрину составляет бизнес-аналитик или сам дата-аналитик, словом, специалист, разбирающийся в сути исследуемого объекта, и представляющий техническую сторону.

Всем успешного взаимодействия!

А это пост для вопросов от участников вебинара Simulative)
Пишите в комментарий, друзья!

Напряжение или расслабление?

Приветствую любителей аналитики!

У достаточно активной и целеустремлённой личности в какой-то момент может возникнуть жизненное противоречие.

С одной стороны, хочется добиваться результатов, а для этого нужны продолжительное напряжение и самоконтроль.

С другой стороны, перенапряжение ведёт к неврозу, упадку сил или даже депрессии. А это мешает продвижению к цели и вообще счастью.

Как разрешить этот конфликт? Как найти грань между необходимостью работать и необходимостью отдохнуть?

Константин Николаич Дыкин, коуч, который мне когда-то очень помог, учил, что как только мы достигаем точки Z, в которой дело перестает нас энергонасыщать, вдохновлять, следует остановиться. Передохнуть, осмотреться, восстановиться.

Автор книги "Сила воли. Как развить и укрепить", Келли Макгонигал пишет, что сила воли - это "мышца", её можно тренировать; а также, что первый признак усталости - это еще не недостаток энергии.

То есть, имеем два подхода

К. Дыкин
Дело начинает истощать? Остановись и подумай, что не так:
* кончилась энергия?
* неверный путь?
* нет мотивации?
* нет инструментов или материалов?
Часто точка Z - это признак не столько упадка сил, сколько неверности цели.
Если цель не вдохновляет на продолжение, значит следует задуматься о ней.

К. Макгонигал
а) Мозг стремится сберечь энергию для трудных времён при достижении её порога.
Но трудных времён не будет! Можно тратить ещё!
б) Если чаще тренировать силу воли, то продолжение работы будет даваться легче.

Какой подход выбрать, сказать трудно.
Я использую оба, ориентируясь на текущий уровень усталости, а также уровень отвращения к задаче.
Когда-то заставляю себя ещё немного поднапрячься, а когда-то - отпускаю дела и иду умирать отдыхать.

Нюансы сбора данных

Приветствую любителей аналитики!

Сбор или досбор данных - зачастую самый непредсказуемый этап в разработке витрины. Потому что за данными приходится обращаться к неким источникам, которые мы не знаем и не контролируем.

Покажу-ка некоторые нюансы, с которыми мне приходилось сталкиваться.

Источник: базы данных
Требуемые данные находятся в базах приложения/продукта компании, на которую мы работаем. Казалось бы, в чем проблема, это же наши данные!
Как бы да, но нет.

* Разработчики БД - не аналитики, это другая команда. Получить информацию от них о том, где что лежит и как с чем связаны разные сущности, дата-инженеру бывает весьма непросто. Потому что время программистов дорогое, и их часто ограждают от действий, не связанных с разработкой продукта непосредственно. В том числе от консультаций просителям данных (ведь программисту нужно понять вопрос и покопаться в БД, чтобы найти ответ, а это займёт время).

* Документация к БД традиционно либо неполна, либо не актуальна, либо отсутствует, либо представлена в виде, понятном только самим разработчикам.
Именно добыча точных сведений о данных (т.е. метаданных) обычно занимает большую часть времени на этапе сбора. А дальше-то дело пойдет - настроил стандартный пайплайн или даг Airflow и готово. Ну, еще на мониторинг качества поставить хорошо бы, но это тоже стандартизированный процесс.

* Данные в БД часто неконсистентны, содержат баги, несогласованность, пропуски. За качеством данных, по идее, должны бы следить владельцы (оунеры) БД, но это уж насколько компания созрела для такой "роскоши".
Вот пример проблемы: произведено руками срочное изменение в БД каких-то строк по заказу руководства, а дату обновления строки исправить забыли. Значит, эти строки не будут выбраны при сборе как изменившиеся, не обновятся в аналитическом хранилище и в отчетности не отразятся эти изменения! И никто даже не узнает об этом!

Продолжение следует...