Коллеги, заходите в грядущий вторник, буду показыать решение тестового. На этом примере покажу как вообще разбирать задачи по SQL.

Приветствую любителей аналитики!

Лет 10 назад попалась мне книжка "Отказываюсь выбирать" Барбары Шер.
Она про сканеров - людей, которым много что интересно, они берутся за тысячу дел, но редкое доводят до конца.
Оказывается, это норма!)

Я ещё вернусь к этой книге, а пока один из полезнейших для меня советов из неё:

Заведите блокнот для идей, сливайте в него всё что зудит или тревожит.

Я не расстаюсь с таким блокнотом вот уж несколько лет, их накопилась уже стопка.
И это мой чертовски действенный инструмент решать жизненные проблемы.
Мой инструмент самоаналитики.

Рекомендую и вам завести такое.
Не обязательно в бумажном виде, вот, например, подборка электронных ежедневников:
https://timeweb.com/ru/community/articles/luchshie-elektronnye-ezhednevniki-na-kompyuter-ili-smartfon
или мой любимый RedNotebook

Задачи, которые решает блокнот:
* планирование
* анализ своих проблем любой сложности и поиск решений
* преодоление страхов
* повышение личной эффективности
* складирование идей, мыслей, чтобы не потерялись
* подготовка к переговорам
* оценка перспективности затей
и многое другое, всё что угодно можете доверить бумаге!

Аналитик крут тем, что любую проблему он может разложить по полочкам и превратить в задачи.
В этом ему и поможет такой блокнот - лучше разобраться в себе.

Когда ощущаете дискомфорт, напряжение, смело открываете новую страницу и начинаете свой самоанализ примерно так:
- Что я ощущаю? Тревогу/страх/напряжение?
- Из-за чего? Каковы причины?
- Что с этим делать? Варианты решений, которые стоит попробовать. Либо доп.вопросы, на которые следует ответить.
- Что мешает? Факторы, отвлекающие, блокирующие или затрудняющие реализацию решения.

Расписав всё это на бумаге, вы получаете "отчет", который подкинет скрытые доселе инсайты и поможет двигаться дальше.

А кроме того, вы получите зафиксированную историю своей жизни, чтобы отслеживать свой прогресс, вспоминать достижения или просто ностальгировать.
Ну, и конечно, вы сильно облегчите работу своему биографу)

Начните сегодня!

Приветствую, любители аналитики!

Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?

NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир, «путеводная звезда», которая помогает всей команде двигаться в одном направлении.
Признайтесь, есть у вас такая?
Нет?
А зачем тогда жить?..
Без NSM-то...

Ладно, несколько советов, как сформулировать царь-метрику. Она должна быть:
* числом, то бишь, измеримой или рассчитываемой
* понятной всем в команде
* зависящей от ваших усилий, то есть, связанной с вашим продуктом/услугой
* влияющей на успешность бизнеса (иначе в ней мало толку, верно?)

А вот хорошая статейка о том, какие NSM выбирают себе разные бизнесы: https://habr.com/ru/articles/651875/

Автор выделил 6 категорий ценностей, на которые опираются при выборе центральной метрики:

1. Деньги. Например выручка, доход, оборот за месяц.

2. Клиентская база. Например, количество платящих пользователей или доля рынка.

3. Использование (потребление) продукта. Например, количество бронирований или время, проведенное на сайте.

4. Вовлеченность пользователей. Например, количество активных пользователей в день.

5. Эффективность бизнеса или его основных процессов. Например, отношение LTV (Lifetime Value, метрика, отражающая, сколько выручки принес вам данный клиент за все время) к CAC (Customer Acquisition Cost, стоимость привлечения клиента)

6. Клиентский опыт. Например, NPS — Net Promoter Score — показатель лояльности клиентов.


Не поленитесь, почитайте статейку.
А мы как-нибудь рассмотрим еще одно понятие, связанное с метриками.
До связи!

PS. С NSM тесно связано понятие "Дерево метрик". Кстати, о нем хорошо рассказал Иван Меркурьев - продакт из Яндекса - в своём канале Ordinary PM. Загляните, будет полезно.

Приветствую, любители аналитики!

Вернёмся-ка к теме потока.
Напомню, Михай определил поток как состояние, при котором внимание сосредоточено на целевом процессе, и ему ничего не мешает, ничто не угрожает.
Это противостояние психическому хаосу.

Что делать с угрозами?
1) Предварительно выписать и уделить внимание каждой. Выполнить или обоснованно отложить задачи.
2) Игнорировать угрозы, пока находишься в потоке.

Пункт 2 хорошо дополняется законом другого именитого автора - Сирила Паркинсона:
Работа заполняет всё время, отпущенное на неё.
(Кстати, его книгу "Законы Паркинсона" тоже рекомендую.)

А вот конспект выступления, которое я думал провести в Еламе несколько лет назад, да так и не провел.

1. Что такое Поток?
Психическое состояние, в котором вы:
* максимально сосредоточены на текущем деле
* максимально вовлечены в процесс
* ощущаете, что это дело вам в принципе по силам, полностью контролируете ситуацию/процесс
* не рефлексируете, не тревожитесь попусту и вообще не осознаёте себя
* получаете удовольствие от деятельности
* смотрите на преграды к цели не как на проблему, а как на награды, т.к. их преодоление приятно

После выхода из потока (по завершении дела) вы:
* самоутверждаетесь, повышаете самооценку, "доказав" себе свою силу/компетентность
* обнаруживаете, что времени прошло больше, чем казалось
* становитесь более развитым, т.к. задачи чуть-чуть сложнее, чем ваш обычный уровень

2. Что нужно, чтобы попасть в поток?
* Поставьте ясную цель. Если она не ясна, уточните или разбейте на подцели.
* Найдите способ измерять свой прогресс в рамках выбранной системы целей. Обеспечьте обратную связь
* Подготовьте рабочую среду, чтобы ничто не отвлекало. Сформулируйте правила игры
* Научитесь необходимым инструментам, навыкам.
* Повышайте сложность задач по мере того, как деятельность становится скучной.

3. Потоку мешают
* расстройство внимания, хаос, отсутствие правил, тревога
* чрезмерная ригидность, отчуждение и сосредоточенность на себе, скука

4. Быстрый вход в поток (переключение)
* Создание настроя:
- любимая подходящая музыка,
- изучение планов,
- своих прошлых результатов и плодов
- подберите свои триггеры
* декомпозиция задачи, начинаем с самого простого и понятного
* представьте, что все проблемы, что не касаются задачи - вас вообще не касаются

5. Лайфхаки на основе концепции потока
* если ваши отношения с кем-то скучнеют, находите новые совместные цели и интересы
* перед тем как взяться за что-то, определите свой уровень энергии (об этом расскажу отдельно) и подберите дело, которое этому уровню соответствует
* свободное время старайтесь тратить на развивающий, т.е. деятельный отдых. Поток даст удовольствие и приятный осадок в виде гордости за себя.
* двигайтесь, когда хочется движения, творите, когда прёт.

По мне, поток - пожалуй, лучший способ повысить свою эффективность.
Повесьте на видное место инструкцию входа в него и нарабатывайте привычку работать с удовольствием!

Приветствую, любители аналитики!

Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.

Аналитика для бизнеса
Ценность аналитики - где она?
Решения на основе аналитики - как ставить вопросы?
North Star Metrica - Путеводная метрика, ради которой стоит работать

Аналитика для жизни
Поток и Поток 2 - процесс оптимального переживания
Блокнот для мыслей и самоанализа - для людей-сканеров и всех остальных)

Енджой!

Приветствую, любители аналитики!

Поговорим-ка о ролях в сфере аналитики. Кто все эти прекрасные люди, которые извлекают смысл из хаоса циферок и символов?

Помните конвейер данных?
За каждый этап в пути данных отвечает своя роль.

Правда, в разных компаниях должности специалистов называются по-разному, часто один сотрудник сочетает в себе несколько ролей.
Поэтому я приведу только наиболее характерные для каждой роли зоны ответственности.

Дата-инженер.
Обеспечивает сбор, предобработку и загрузку сырых данных из источников в аналитическое хранилище, а также решает вопросы архитектуры хранилища, настраивает бэкапирование, обновляет систему, следит за вычислительными ресурсами и т.д.

Дата-аналитик.
"Готовит" сырые данные, преобразовывает их в витрины данных, в которых заложена требуемая логика: агрегация, фильтрация, сегментация, объединение, вычисление и т.д.

BI-аналитик.
Разрабатывает хорошо читаемые визуально отчёты в средствах визуализации. В качестве источников может использовать как витрины данных, так и сырые данные при необходимости.

Бизнес-аналитик.
Собирает потребности заказчика, превращает их в конкретные метрики, продумывает аналитическую логику, ставит задачи другим ролям на разработку витрин или отчетов, анализирует их и делает выводы, презентует заказчику результаты.

Продуктовый аналитик.
Изучает эффективность работы продукта (как правило, айтишного). Для этого он выстраивает пирамиду метрик, настраивает отслеживание используемости продукта или его частей, а также проводит A/B-тесты.

Есть и более сложные роли, такие как дата-саентист, специалист по машинному обучению и т.д. Но их тоже можно отнести к дата-аналитикам, они тоже преобразуют данные, только более хитрыми способами.

Я выступаю за всестороннее развитие человека, а в нашем контексте это значит, что любому аналитику и для души и для дела полезно понимать, что и как делают его коллеги в своей епархии.
Во-первых, приятнее строить ирригационную систему, чем просто рыть канаву, верно?
Во-вторых, чем больше умеешь, тем позже выгоришь.
В-третьих, понимать язык соседей - это кайфово.

Так что рекомендую учиться всем премудростям аналитики. Одно надоест - переключитесь на другое)

Приветствую, любители аналитики!

Когда я был молодым и глупым, не понимал смысла ритуалов - зачем все эти нелепые шоу?
Теперь не только понимаю, но и активно использую для работы и для жизни.

Ритуал - прежде всего, способ ввести участника в нужное состояние, будь то церковное песнопение, поднятие бокалов в новогоднюю ночь или ежеквартальное выступление директора компании.

Но раз так, почему бы не применять ритуалы сознательно для повышения своей эффективности?
Ведь зачастую нам мешают работать даже не внешние факторы, а неправильный настрой.
Придумайте свой ритуал, который поможет вработаться, не задумываясь, автоматически!

Я уже писал про ритуал входа в поток. Он как бы универсален, т.к. постановка задачи может быть любой.
Но могут и должны быть также ритуалы, специфические для конкретных задач. Например:
* начало рабочего дня
* подготовка к совещанию
* обход затыков/тупиков в задаче (например, после 1 часа тупняка, остановиться, поискать другой путь или запросить доп.разъяснения у заказчиков/поставщиков данных)
* тестирование витрин данных, ревью кода
* разговор 1х1 с коллегой - начальником или подчинённым

И даже для личных задач!
* время с детьми (помощь с уроками, игры)
* разрешение конфликтов с домочадцами
* завершение рабочего дня, выгрузка из дел.

Свойства хорошего ритуала:
- можно составить список действий из нескольких пунктов
- действия просты, не требуют осмысления
- все действия посильны и легко выполнимы
- все действия легко могут стать привычными

Например, ритуал включения в работу в начале дня:
* проверяем входящие (почту, тасктрекер, мессенджеры и т.д.), никому не отвечаем сразу, выписываем, кому надо ответить
* составляем план на день: кому ответить; задачи, не законченные вчера; сегодняшние задачи; встречи/созвоны
* приблизительно распределяем план по дню
* окидываем взглядом план, выбираем задачу, начинаем выполнять.

Наверняка вы умеете составлять план на день, но далеко не все осознают процесс его составления как ритуал входа в рабочее состояние. По сути, входа в поток.

Успехов вам в борьбе с прокрастинацией, друзья!

Пара слов о ETL-процессах

Приветствую, любители аналитики!
Скажу кое-что об этих трёх весёлых буквах.

В многочисленных статьях и курсах вы найдете такую расшифровку:
E(xtract) - извлечение из источника
T(ransform) - преобразование данных
L(oad) - загрузка в аналитическое хранилище
То есть, ETL-процесс - это вроде как подготовка данных к анализу - сбор, преобразование и заливка в инструмент аналитики.

На самом деле, обычно всё не так хорошо разложено по полочкам. Красиво спроектировать и реализовать аналитическую архитектуру могут себе позволить только крупные и богатые компании, для которых данные - ощутимый источник дохода. (Например, в талмуде "DAMA DMBOK" описаны процессы работы с данными для идеальной мегакомпании, созревшей для дата-говернанса.)

Что имеется в реальности?

* E - Сбор.
Запросы к БД могут быть простыми вида SELECT * FROM table, и тогда это "чистый" сбор;
но чаще они содержат в себе джойны, условия, подмены и т.д., а это уже обработка, то есть уже не просто E.
Разработчики (вернее, их руководство) не хотят тратить своё драгоценное время на консультации дата-инженеру, им проще самим написать запрос, которым надо вытягивать требуемые данные.
К тому же, действительно зачастую удобнее брать только то что нужно из источника, а не выгружать его весь.

* T - Преобразования.
Этот этап размазан по всему процессу для разных видов данных. Начинается уже в запросе к источнику, потом что-то происходит в Промежуточном хранилище, потом собираются витрины уже после загрузки в Аналитическое хранилище.

* L - Загрузка
Тоже возможны варианты. Что-то кладется из ПХ в АХ, что-то кочует из источников прямиком в АХ (потому что так проще), что-то окольными путями, например, кладётся в S3, а уже в АХ к нему обращаются соответствующие вьюшки. Короче, даже в этом простом шаге не всегда всё стройно.

Но во всём этом "беспорядке" есть и прелесть)
Как бы кому ни хотелось разделять зоны ответственности, но дата-инженер вынужден понимать смысл данных в источнике, а дата-аналитику приходится разбираться в особенностях процессов сбора данных.
А значит они растут и живут насыщенной интересной жизнью!

Действие INNER JOIN наглядно.

Пара слов о самооценке

Приветствую любителей аналитики!

Еще одна полезная книга - "Книга решений. 50 моделей стратегического мышления", написанная Микаэлем Крогерусом и Романом Чеппелером.

Авторы, помимо прочего, предлагают смотреть на себя с четырех точек зрения:
1) Каким я вижу себя?
2) Каким я хотел бы видеть себя?
3) Каким меня видят другие?
4) Каким меня хотят видеть другие?

Оценку предлагается проводить для пар параметров по 10-балльной шкале:
Командность - Индивидуализм
Содержание - Форма
Физическая сила - Интеллект
Глобальное - Локальное

По-хорошему, сначала следует оценить самому, а потом попросить это сделать других.

Результат оценки удобно представить в виде графика "Роза ветров", на котором отразить ответы со всех четырех точек зрения. Тогда будут видны расхождения и можно будет сообразить, что с ними делать.

До связи!

О цикле жизни витрины данных

Приветствую любителей аналитики!

Продолжим разбирать конвейер данных. Про ETL я немножко высказался, теперь рассмотрим работу с витринами данных.

Витрина данных - это такая таблица, готовая для анализа: в ней данные обработаны требуемым образом, выбрано только нужное и в нужном виде.

А вот через что она может пройти за свою жизнь:

1) Выявление потребности и формирование технического задания.
2) Сбор или досбор необходимых данных, если их ещё нет в аналитическом хранилище.
3) Разработка скрипта или запроса, формирующих витрину.
4) Отладка/тестирование витрины
5) Принятие заказчиком, внедрение, использование
6) Доработка: добавление столбцов, изменение логики - при необходимости.
7) Потеря актуальности витрины, снятие с поддержки, удаление.

Эти пункты затрагивают разных экторов и таят в себе множество нюансов, которые я испытал на своей шкуре (и шкурах своих дата-аналитиков)). Поэтому дальше мы рассмотрим их подробней.

О принятии решений

Приветствую, любители аналитики!

Когда-то меня угнетало, что я долговато решаю, никак не могу решиться, а если и делаю это быстро, то получается плохо.

Принятие решений - последний шаг конвейера данных, и в жизни тоже следует проводить перед ним анализ. Мы же с вами дата-драйвен публика, да?

Итак, я озаботился проблемой, в частности, читал "Книгу решений", о которой уже упоминал, и написал (в тот самый блокнот) себе такой подход.

Положим, делать что-то или не делать. Как быстро решать?

1) Отключить эмоции. Если из проблемы убрать эмоции, получим просто ситуацию.
Мешающие эмоции:
* страхи
* обязательства перед кем-то
* стыд, смущение

2) Описать себе ситуацию:
* задачи, цели
* преграды, враждебные агенты и факторы
* награда в случае успеха, мотивация
* имеющиеся ресурсы
* требуемые затраты и предлагаемые методы
* штраф за отказ

3) Оценить целесообразность. Стоит ли овчинка выделки?
* самостоятельно
* с помощью консультантов
* исследовав статистику, материалы по теме, изучив предмет
* подобрать альтернативные варианты

4) Принять одно из решений:
* выполнить задачу
* отказаться от выполнения задачи
* видоизменить и выполнить задачу.

Тема огромная, задачи и ситуации разные, поэтому каждый детализирует по-своему. Но иметь такой "чек-лист" на видном месте полезно пока не образуется привычка проходить по нему автоматически.

Успехов и удачных вам решений!

Друзья, заглядывайте на огонёк во вторник, кое-чо расскажу!

📌 [Вебинар] Конвейер данных: путь данных от сбора до анализа

Знаете ли вы, что данные, прежде чем стать действительно полезными, проходят долгий путь? Он называется «конвейер данных» и в его работе принимают участие разные специалисты: дата-инженеры, дата-аналитики, BI-аналитики (хотя часто это один и тот же человек 😉).

📍 Об этапах этого процесса расскажет на вебинаре 15 апреля в 18:30 по МСК Павел Беляев — руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».

📊 Павел расскажет, как в целом данные собираются, обрабатываются и анализируются. Тема богатая, тянет на целый курс, но за вебинар можно дать верхнеуровневый взгляд, дающий понимание процесса.

Может быть, взгляд на весь процесс поможет вам определить своё место в нём!

Дайджест №2

Приветствую любителей аналитики!
Давайте-ка немного вспомним, что было здесь интересного за последние пару недель.

Прошлые вспоминалки
Дайджест №1

Аналитика для бизнеса
Роли аналитиков
Пара слов о ETL-процессах
Цикл жизни витрины данных

Аналитика для жизни
Ритуалы для работы
Пара слов о самооценке
Как принимать решения

Техническое задание на витрину данных

Приветствую любителей аналитики!

Итак, витрина данных начинается с хорошего ТЗ.
Расскажу, исходя из своего опыта, каким оно должно быть, чтобы задача выполнилась без проволочек, а результат получился качественным.

В задаче на создание витрины должны быть отражены следующие сведения:
* Заказчик - какой отдел и какой сотрудник нуждаются в витрине.
* Назначение витрины - что ожидает выяснить потребитель, анализируя витрину.
* Перечень столбцов с описанием их смысла и логики их получения
* Фильтры: сегмент, период и т.д.
* Пример результата в виде небольшой таблицы с ожидаемыми значениями
* Дополнительные разъяснения: отсылки к другим витринам, ссылки на документацию, цитаты заинтересованных лиц и т.д.
* "Юнит-тесты" (по возможности) - правила, которые должны выполняться в витрине: диапазоны значений, взаимосвязь/согласованность полей, допустимость пустот, возможные тренды и т.д. То есть, всё что может помочь протестировать витрину, понять, что данные получились качественными. (К этому вопросу мы еще подойдем.)

Обычно ТЗ на витрину составляет бизнес-аналитик или сам дата-аналитик, словом, специалист, разбирающийся в сути исследуемого объекта, и представляющий техническую сторону.

Всем успешного взаимодействия!

А это пост для вопросов от участников вебинара Simulative)
Пишите в комментарий, друзья!

Напряжение или расслабление?

Приветствую любителей аналитики!

У достаточно активной и целеустремлённой личности в какой-то момент может возникнуть жизненное противоречие.

С одной стороны, хочется добиваться результатов, а для этого нужны продолжительное напряжение и самоконтроль.

С другой стороны, перенапряжение ведёт к неврозу, упадку сил или даже депрессии. А это мешает продвижению к цели и вообще счастью.

Как разрешить этот конфликт? Как найти грань между необходимостью работать и необходимостью отдохнуть?