На что обращаете внимание в описании вакансии?

Я стараюсь следить за рынком, с этой целью периодически просматриваю вакансии BI аналитиков и BI разработчиков. Сегодня в описании одной из них встретил такие требования:

- АБС анализ
- Разработка КПЭ
- Анализ КПЭ

❓Как вы считаете: такое описание вакансии повлияет на количество откликов?

Думаю, что ABC анализ и KPI стоит писать в привычном для всех формате. Подобный текст может указывать на непонимание сути требований к соискателю со стороны лица, который готовил описание вакансии. Разумеется, готовить мог HR далекий от BI, но проверять описание все-же должно заинтересованное в найме лицо.

Power BI Rest API - подключение и работа

Сегодня хочу поделиться инструкцией по работе с Power BI Rest API. Для работы с ним нужно создать приложение, выдать ему необходимые права и дальше организовать взаимодействие с API удобным способом.

В своем материале я использовал Python для пары простых примеров и подробно расписал порядок создания приложения и активации необходимых параметров в нем и Power BI Service

Как выбрать график для отчета?

Для этого нужно ответить себе на вопрос, что я хочу показать или какую историю рассказать с его помощью. Существуют различные виды графиков, которые решают определенные задачи. Можно показать динамику, можно части целого, а может быть необходимо отразить зависимость между переменными. Чтобы проще было подобрать необходимый график существует различные шпаргалки. Одной из таких поделились Financial Times. Было это четыре года назад, но информация не теряет своей актуальности и сегодня.

Его можно использовать как интерактивный справочник.

А можно распечатать плакат и повесить в офисе или на рабочем месте.

Немного юмора из жизни аналитика

Задача заключалась в том, что нужно оперативно внести правку в визуализацию. Конец рабочего дня.

Заказчик: Вот то что сейчас показывается графиком. Должно быть диаграммой
Мой вопрос: чем график от диаграммы отличается? )
Заказчик: Ща нарисую 😂
... отправка рисунка от руки ...
Заказчик: Ты меня понял? 😂
Мой ответ: судя по "картинке" в отчете там сейчас уже и диаграмма и график )
Заказчик: Так вот. То что есть диаграмма, должно быть график. То что сейчас график, должно быть диаграмма ...

Фрагмент взят из переписки по доработке отчета, а неформальное общение обусловлено тем, что на проекте я уже давно, с командой сложились хорошие отношения, рабочие моменты стараемся решать без лишних условностей - все работаем на общий результат

Как задать вопрос пользователю дашборда если он видит в нем "проблему"

Начну с того, что "проблема" не всегда действительно проблема. На моей практике была ситуация когда пользователь дашборда на одном из проектов забил тревогу, что он не видит части данных. А это как всегда значит "отчет сломался!"

При проверке выяснилось, что в PowerBI Service при работе он сам установил фильтры, которые затем не сбросил.

✔️ Как в этой ситуации получить максимум информации о "проблеме"? Для всех пользователей дашбордов установите правила, что при выявлении каких-то вопросов по его работе необходимо сделать полный скриншот экрана с: названием дашборда, выбранным листом, настроенными срезами. Помимо этого нужно описать при каких обстоятельствах получился тот результат, который вызывает вопросы.

Если такой практики ранее не было можно столкнуться с сопротивлением со стороны конечных пользователей, но в итоге это приведет к экономии времени как при постановке задачи так и при выяснении причин проблемы и ее устранения.

💬 Будет интересно узнать как на вашем проекте или при работе с вашими клиентами вы организовали подобную работу

Немного про построение модели данных (справочники)

В зависимости от задачи, исходных условий, внутренних бизнес-процессов приходится искать оптимальную модель данных, чтобы дашборд отвечал на все поставленные вопросы заказчика.

Иногда приходится вводить дополнительные справочники, поскольку бизнес-процессы не могут быть перестроены, а данные для модели критически важны. Иногда они заполняются вручную.

👉 Примером такого справочника может быть "справочник рекламных кампаний". Возможно, у части из вас возникнет вопрос: "Вести справочник рекламных кампаний вручную? У нас их сотни, мы так не можем!". Согласен, но выше я обозначил, что иногда приходится делать именно так по ряду причин (к тому же заполнить его можно наполовину автоматически, дополнив некоторые данные вручную). Согласитесь, что там, где присутствует человеческий фактор, вероятность ошибки возрастает. Как мониторить такие ситуации?

1️⃣ Нужно проанализировать ваш справочник, где может быть допущена ошибка, затем минимизировать вероятность ее возникновения, например, через выбор значений из списка и не давать возможности вводить свои (такое можно сделать в Google Sheets).

2️⃣ Назначьте одного ответственного за работу со справочником, либо разделите внутри него направления. Например, подрядчиков вносит один сотрудник, партнеров другой.

3️⃣ Добавьте на дашборд отдельный лист с данными мониторинга состояния данных в справочниках.

Импортозамещение BI

В последнее время занимался изучением рынка BI инструментов, которые можно использовать в качестве замены тройки мировых лидеров. Мое мнение - выполнить импортозамещение достаточно сложно. Но ...

1️⃣ Если на вашем проекте BI использовался только как средство визуализации без дополнительных вычислений (например, в DAX), вы ограничивались базовыми визуализациями и у вас есть готовые витрины данных, то переход будем максимально безболезненным.

2️⃣ Если мы говорим про выстроенную систему отчетности и дашбордов, сложные визуализации, настройку интерактивных элементов (например, выбор метрики, которую отобразить на графике), расчеты на DAX, возможность предобработки данных пользователями и прочие возможности тройки лидеров рынка, то заменить их объективно нечем. Можно сделать похожие решения с помощью нескольких инструментов, но явной замены не найти.

✅ Однако, не все так плохо. Если принято решение заместить BI инструмент, то процесс внедрения нового упрощается так как:

- у вас уже есть понимание ожидаемого результата (количество дашбордов, пользователей, нагрузка на систему и пр.)
- документация на разработку решения уже создана
- основные дашборды реализованы и нужно их максимально воспроизвести в новом инструменте, а это проще, чем собрать требования и сделать с нуля новый
- хранилище и витрины созданы и оптимизированы под требования BI системы

🔅 Следующий пост планирую по SQL, а именно разбор JOINов, давайте наберем 20 положительных реакций под этим сообщением и попрактикуемся в объединении таблиц

Про сообщества вендров российских BI

Одной из мер своего успеха некоторые вендоры считают объем участников их сообщества в телеграм. Хочу поделиться своими мыслями на эту тему.

1️⃣ Во-первых, состав аудитории. Когда аудитория собирается по принципу "для участия в конкурсе подпишитесь на наш канал" или на презентациях продукта, ждать от такого канала или чата качественного контента не приходится, это погоня за количеством.

2️⃣ Во вторых, такое измерение качества своего продукта ничего объективно не говорит о вендоре и продукте. Опять же стоит обращать внимание на качество аудитории. Например, я пытался получить ответ в одном из сообществ обращаясь с конкретным вопросом, аудитория очень даже хорошая судя по числу участников, но по факту мне не дали внятного ответа и даже не подсказали где в официальной документации можно прочитать про необходимый функционал.

Я для себе сделал вывод, что если вендор заявляет о своем канале, как об одном из критериев оценки себя как инструмента, то стоит постоянно следить за сообщениями и давать необходимую поддержку, тем более что рынок еще формируется, специалистам необходима поддержка в решении их вопросов.

Не везде так, в одном из чатов присутствуют представители вендора и активные участники сообщества, которые действительно при возникновении вопроса помогают по существу, повышая лояльность к своему продукту.

✅ В общем качество поддержки и оперативная помощь в решении актуальных вопросов по продукту, для всех, а не только для интеграторов, это то над чем стоит подумать российским BI решениям.

Если вам интересно, то в следующий раз поделюсь своими наблюдениями за тем как вендоры предоставляют демо доступы и стенды для изучения их продуктов

С Наступающим Новым годом!

🎄 Пусть в нем вам встретятся новые, интересные и амбициозные проекты. Сложные, но адекватные задачи. Найдется время на свои любимые занятия, сбудутся и появятся новые мечты!

Не буду раскрывать подробности, но в скором времени здесь вы увидите много новой, интересной, актуальной информации. Будем разбирать задачи в области работы с данными от сбора до визуализации.

Спасибо, что в этом году присоединились к моему каналу!

Как происходит разработка дашборда. Часть 1

Предлагаю обсудить некоторые вопросы, связанные с разработкой дашбордов, и начать с общего описания процесса работы.

После того как собраны требования от бизнеса, согласованы макеты, выполнена работа по подготовке данных мы приступаем непосредственно к разработке дашборда. Используем для этого BI инструмент и визуализируем данные. После этого необходимо результаты нашей работы презентовать заказчику (бизнесу), после чего-либо доработать либо передать в использование.

❗️ Правильным решением по разработке и передаче решения в эксплуатацию будет использование двух типов окружения:
- окружение для разработки (dev или develop окружение, контур или среда);
- боевое окружение или продакшн (prod или production окружение, контур или среда).

В первом вы делаете все что угодно и добиваетесь необходимо результата, второе содержит финальный результат вашей работы с проверенными данными и выверенными визуализациями.

В зависимости от проекта вы можете работать и только в одном окружении, но это не лучший вариант.

✔️ Постарайтесь распределять окружения или среды для работы.

По-хорошему, в описанный выше вариант нужно добавить промежуточное окружение - тестовое, где выполнять презентацию работы и получать от бизнеса обратную связь.

В зависимости от сложности проекта и его развития может быть и больше уровней, например, preprod, это уже не просто тестирование, а работа с решением перед его передачей в эксплуатацию.

Давайте наберем более 20 положительный реакций под этим сообщением и в следующий раз поговорим про сбор требований от бизнеса к дашборду.

Про доступы к демоверсиям и демостендам вендров российских BI

В первом сообщении я поделился своими рассуждениями на тему сообществ вокруг российских BI решений, в этом расскажу о своем опыте получения демонстрационных версий и стендов.

Всех вендоров я для себя разделил на две группы:
- открытые, готовые к обратной связи от сообщества
- закрытые, полностью думающие и решающие сами

1️⃣ Начну с того, что не у всех вендоров есть демонстрационный доступ как таковой (тут я понимаю под демо веб-версию продукта). В лучшем случае вам придётся пообщаться с его представителями или партнерами, которые соберут от вас информацию зачем, почему и как вы хотите использовать демодоступ. После чего они возьмут время на подумать, достойны ли вы такой чести или нет.

2️⃣ Другая группа может предоставить демонстрационную версию или стенд, опять же изучив кто вы и что вы хотите. В этом случае вы получите дистрибутив для самостоятельной установки или реквизиты стенда в сети. Не стоит бояться самостоятельной установки - наоборот, так вы сможете понять, что за инструмент, какие сложности в развертывании и пр., что сэкономит вам время и деньги в будущем.

3️⃣ Ну и еще одна группа, где нет такой возможности. Сейчас я рассуждаю от имени специалиста или ИП, который изучает или подбирает решения для своих клиентов. Можете написать вендору через официальный сайт и не дождаться обратной связи. Вы ему не интересны скорее всего как "мелкий" клиент.

Для полноты картины стоит отметить, что у некоторых вендоров работа с сообществом специалистов организована очень хорошо. Оперативные доступы, продление срока демо доступа, ответы поддержки и пр.

Я был приятно удивлен, когда один из вендоров мне сам, без моей просьбы, предоставил дистрибутив своего продукта для изучения.

Мое мнение: идет распределение систем по сегментам и направлениям, завоевание рынка вендорами и пока этот процесс не завершится в их фокусе будут крупные интеграторы и федеральные проекты, подбирающее себе решения.

Как происходит разработка дашборда. Часть 2

Сегодня поговорим про сбор требований от бизнес-заказчиков на дашборд.

Как и во многих других случаях вопрос можно разделить на составляющие:
- как собирать требования
- какие собирать требования

1️⃣ Первая часть: как собирать требования?

Зависит от того, кто ваш бизнес-заказчик. Вы можете работать как специалист и выполнять работы для внешних заказчиков, а можете быть внутри проекта или компании.

Если работаете с внешним заказчиком, то собирать требования лучше всего напрямую общаясь с конечным пользователем дашборда. Так вы узнаете откуда нужно извлечь информацию, какие данные отразить на дашборде и как он будет использоваться. При работе через посредника часть информации может остаться "за кадром", что в последствии скажется на результате, а также сроках разработки.

При работе внутри проекта или компании процесс может оказаться несколько проще, т.к. у вас как BI специалиста будет более глубокое понимание бизнес-составляющей, а также знание внутренней архитектуры в части работы с данными. В случае крупных компаний выделяются команды, которые решают задачи бизнеса, в этом случае присутствует бизнес-аналитик, который связывает бизнес-заказчиков и IT специалистов. В любом случае нужно искать возможность личной коммуникации с бизнес-заказчиком.

2️⃣ Второй вопрос: какие собирать требования?

Стоит обратить внимание на два важных аспекта:
- какой результат в плане визуальной составляющей ожидает заказчик
- какие данные нужно использовать для разработки дашборда

Идеальный вариант, когда от заказчика есть некоторый набросок того, как он представляет себе результат работы BI специалиста в виде дашборда. Но это бывает крайне редко и тут задача в коммуникации с бизнесом предложить ему вариант визуализации данных. Могут быть споры и трения, не стоит этого бояться. Нужно уметь слушать заказчика и мотивированно отстаивать свою позицию, при этом всегда стоит искать компромисс. Помните - вы решаете задачу бизнеса, а не делает красивый дашборд. Можно предложить свой вариант в виде некоторого эскиза, который вполне можно нарисовать на бумаге или планшете от руки, не обязательно сразу делать в BI инструменте.

Какие данные используются для дашборда - вопрос, который может поставить в тупик бизнес-заказчика. Он привык использовать файлы или ему настроили подключение к базе данных, и он просто использует ее для работы не зная, что происходит "под капотом". В этом случае можно попросить показать как и к чему он подключается, кто настраивал выгрузку, как формируются исходные файлы, с кем он общается если у него сложности с данными и т.п. Шаг за шагом у вас появится понимание источника данных и их структуры, что поможет лучше оценить предстоящий объем и сложность работ.

Основная рекомендация: всегда ищите возможность общения с бизнес-заказчиком лично

Какие специалисты нужны для внедрения BI

Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи:

✔️ извлечь данные из разрозненных источников
✔️ организовать единое хранилище данных
✔️ построить витрины данных
✔️ выполнить визуализацию, разработку дашбордов

В зависимости от объема данных и зрелости бизнеса эту задачу можно решить с привлечением одного или нескольких специалистов.

Первый вариант: один специалист, который понимает и умеет делать всего по немного, что-то лучше, что-то хуже, но он закрывает задачу.

Второй вариант: несколько специалистов, которые хорошо разбираются в своей предметной области.

❓Что должен уметь и знать один специалист или какие специалисты могут закрыть эти задачи?

Инженер данных – сможет собрать данные из различных источников в единое хранилище, настроить соответствующие потоки данных, обеспечит проверку корректности данных и регулярность обновления/дополнения данными хранилища.

Специалист по хранилищам данных – поможет выбрать хранилище с учетом требований, выполнить его настройку, разработает и реализует в хранилище хранение данных в оптимальном формате (типы столбцов, индексы, распределение ресурсов, слои данных и пр.).

Специалист по BI – соберет от бизнеса требования к дашбордам и в целом по отчетности, подготовит макеты, разработает модели данных и витрины, выполнить визуализацию данных и поддержку дашбордов.

Как видим при серьезном подходе к работе с BI в компании нужны специалисты из нескольких областей, это минимум технических специалистов, которые должны решать задчу внедрения и поддержки BI.

Один специалист тоже может справиться с некоторым объемом задач, но нужно принимать во внимание сложность и объемы работы. Возможное решение - разделение на BI аналитика и BI разработчика.

В целом разработка и поддержка BI решения — это сложный процесс, который состоит не только из дашбордов, который, как результат работы, видит бизнес. Огромный объем работ остается скрытым от бизнес-пользователей.

Коллеги, накидайте огонечков чтобы я видел, что вы читаете мои материалы и они вам интересны и полезны. Если есть предложения о чем можно написать – поделитесь идеями в комментариях.

Один из типов источников - данные в формате JSON

Очень часто используется при работе с API различных систем, из которых, в том числе, необходимо забирать данные для последующей работы с дашбордом. Как правило данные от таких систем возвращаются в JSON формате, но иногда может потребоваться и отправка запроса на получение данных также в этом формате.

JSON - текстовый формат обмена данными, основанный на JavaScript.

Сложного ничего в нем нет. Простая схема: ключ - значение. Могут быть использованы вложенные ключи, что дает возможность построить сложные структуры данных. Пример данных в формате JSON:

{
    "artistname" : "Scorpions",
    "albums" : [
        {
            "albumname" : "Humanity",
            "year" : "2007"
        },
        {
            "albumname" : "Crazy World",
            "year" : "1990"
        }
    ]
}

После того как получены данные в JSON формате (не важно по API или просто прочитан файл) их нужно обработать. Наилучшим вариантом будет сложить все данные в хранилище и уже с ним работать далее (если речь идет про дашборды). Но можно использовать и Python для обработки данных, например для генерации датасета.

Использование JSON формата дает следующие преимущества:

1️⃣ Может использоваться с любым языком программирования. Как правило в них есть встроенные библиотеки для его обработки

2️⃣ Обеспечивает структурированное хранение информации о некотором объекте или объектах

3️⃣ Можно прочитать данные в текстовом редакторе, без использования средств для расшифровки данных

Как BI специалисту организовать свою работу

Сначала определим из каких основных задач складывается работа BI специалиста:

📌 сбор требований по разработке дашбордов и по доработке существующих
📌 изучение источников информации (данных)
📌 формирование моделей для дашборда (или группы дашбордов)
📌 визуализация данных
📌 презентация своей работы
📌 обучение бизнес заказчиков работе с дашбордом

Понимая, что необходимо в целом делать можно детализировать каждую из задач и исходя из этого выстраивать свою работу.

✔️ Например, если требуется разработка нового дашборда, то обязательно сначала стоит пообщаться с бизнесом, собрать его пожелания и требования, выяснить какие источники информации используются и пр. После этого можно взять время на разработку прототипа дашборда и построение модели, после чего вернуться к бизнесу и показать свои предложения.

✔️ Если поставлена задача по доработке дашборда, то стоит начать с изучения наличия необходимых данных в текущей модели поскольку доработку можно разделить на две группы:

1️⃣ изменить/добавить визуальную составляющую, показатель и пр., что не требует вмешательства в модель и набор дынных
2️⃣ добавить показатель, измерение или фильтр, которых нет в модели

В первом случае задачу можно решить быстро, а вот второй потребует большего времени и ресурсов

Планировать свою загрузку и задачи, которые необходимо решить можно на примере основных этапов, описанных выше.

Если вы работаете на проекте и сами принимаете решение о пуле задач, которые необходимо выполнить у вас должен быть перечень задач, которые находятся в текущем спринте, а также некоторый «запас» задач в случае возникновения «простоя» (например, придется ждать данных)

Если же все задачи закрыты и кажется, что все сделано, то всегда можно заняться оформлением документации по дашбордам

DataLens скоро будет доступен по подписке!

С 23 апреля появляются два тарифа для использования DataLens. Будет интересно посмотреть на возможности платного тарифа.

Community — для небольших проектов и некоммерческого использования. Это базовая версия сервиса, которая была и остаётся бесплатной для всех, без ограничений на число пользователей и объём данных.

Business — для корпоративных внедрений и бизнес-задач. Среди дополнительных возможностей: приоритетная поддержка, SLA, корпоративные учётные записи и SSO, стилизация UI и другие. За 990 рублей в месяц за активного пользователя.

В информационном сообщении утверждается, что до 1 июня 2024 года можно попробовать тариф Business бесплатно.

❓ Кто что думает по этому вопросу?

Бесплатная книга по визуализации данных в Power BI

Коллеги, эксперты по Power BI, подготовили и выложили в открытый доступ книгу по визуализации даных в Power BI. Описанное в ней можно применять не только в Power BI, но и в других инструментах, т.к. правила визуализации едины

Fundamentals of Data Visualization. Claus Wilke

Книга задумана как руководство по созданию визуализаций, которые точно отражают данные, рассказывают историю и выглядят профессионально. Оно выросло из моего опыта работы со студентами в моей лаборатории над тысячами визуализаций данных. С годами я заметил, что одни и те же проблемы возникают снова и снова. Я попытался собрать накопленные знания в результате этих взаимодействий в форме этой книги

Одна из лучших книг по визуализации данных. Электронную версию книги можно почитать в свободном доступе на сайте автора