Как выбрать график для отчета?

Для этого нужно ответить себе на вопрос, что я хочу показать или какую историю рассказать с его помощью. Существуют различные виды графиков, которые решают определенные задачи. Можно показать динамику, можно части целого, а может быть необходимо отразить зависимость между переменными. Чтобы проще было подобрать необходимый график существует различные шпаргалки. Одной из таких поделились Financial Times. Было это четыре года назад, но информация не теряет своей актуальности и сегодня.

Его можно использовать как интерактивный справочник.

А можно распечатать плакат и повесить в офисе или на рабочем месте.

Немного юмора из жизни аналитика

Задача заключалась в том, что нужно оперативно внести правку в визуализацию. Конец рабочего дня.

Заказчик: Вот то что сейчас показывается графиком. Должно быть диаграммой
Мой вопрос: чем график от диаграммы отличается? )
Заказчик: Ща нарисую 😂
... отправка рисунка от руки ...
Заказчик: Ты меня понял? 😂
Мой ответ: судя по "картинке" в отчете там сейчас уже и диаграмма и график )
Заказчик: Так вот. То что есть диаграмма, должно быть график. То что сейчас график, должно быть диаграмма ...

Фрагмент взят из переписки по доработке отчета, а неформальное общение обусловлено тем, что на проекте я уже давно, с командой сложились хорошие отношения, рабочие моменты стараемся решать без лишних условностей - все работаем на общий результат

Как задать вопрос пользователю дашборда если он видит в нем "проблему"

Начну с того, что "проблема" не всегда действительно проблема. На моей практике была ситуация когда пользователь дашборда на одном из проектов забил тревогу, что он не видит части данных. А это как всегда значит "отчет сломался!"

При проверке выяснилось, что в PowerBI Service при работе он сам установил фильтры, которые затем не сбросил.

✔️ Как в этой ситуации получить максимум информации о "проблеме"? Для всех пользователей дашбордов установите правила, что при выявлении каких-то вопросов по его работе необходимо сделать полный скриншот экрана с: названием дашборда, выбранным листом, настроенными срезами. Помимо этого нужно описать при каких обстоятельствах получился тот результат, который вызывает вопросы.

Если такой практики ранее не было можно столкнуться с сопротивлением со стороны конечных пользователей, но в итоге это приведет к экономии времени как при постановке задачи так и при выяснении причин проблемы и ее устранения.

💬 Будет интересно узнать как на вашем проекте или при работе с вашими клиентами вы организовали подобную работу

Немного про построение модели данных (справочники)

В зависимости от задачи, исходных условий, внутренних бизнес-процессов приходится искать оптимальную модель данных, чтобы дашборд отвечал на все поставленные вопросы заказчика.

Иногда приходится вводить дополнительные справочники, поскольку бизнес-процессы не могут быть перестроены, а данные для модели критически важны. Иногда они заполняются вручную.

👉 Примером такого справочника может быть "справочник рекламных кампаний". Возможно, у части из вас возникнет вопрос: "Вести справочник рекламных кампаний вручную? У нас их сотни, мы так не можем!". Согласен, но выше я обозначил, что иногда приходится делать именно так по ряду причин (к тому же заполнить его можно наполовину автоматически, дополнив некоторые данные вручную). Согласитесь, что там, где присутствует человеческий фактор, вероятность ошибки возрастает. Как мониторить такие ситуации?

1️⃣ Нужно проанализировать ваш справочник, где может быть допущена ошибка, затем минимизировать вероятность ее возникновения, например, через выбор значений из списка и не давать возможности вводить свои (такое можно сделать в Google Sheets).

2️⃣ Назначьте одного ответственного за работу со справочником, либо разделите внутри него направления. Например, подрядчиков вносит один сотрудник, партнеров другой.

3️⃣ Добавьте на дашборд отдельный лист с данными мониторинга состояния данных в справочниках.

Импортозамещение BI

В последнее время занимался изучением рынка BI инструментов, которые можно использовать в качестве замены тройки мировых лидеров. Мое мнение - выполнить импортозамещение достаточно сложно. Но ...

1️⃣ Если на вашем проекте BI использовался только как средство визуализации без дополнительных вычислений (например, в DAX), вы ограничивались базовыми визуализациями и у вас есть готовые витрины данных, то переход будем максимально безболезненным.

2️⃣ Если мы говорим про выстроенную систему отчетности и дашбордов, сложные визуализации, настройку интерактивных элементов (например, выбор метрики, которую отобразить на графике), расчеты на DAX, возможность предобработки данных пользователями и прочие возможности тройки лидеров рынка, то заменить их объективно нечем. Можно сделать похожие решения с помощью нескольких инструментов, но явной замены не найти.

✅ Однако, не все так плохо. Если принято решение заместить BI инструмент, то процесс внедрения нового упрощается так как:

- у вас уже есть понимание ожидаемого результата (количество дашбордов, пользователей, нагрузка на систему и пр.)
- документация на разработку решения уже создана
- основные дашборды реализованы и нужно их максимально воспроизвести в новом инструменте, а это проще, чем собрать требования и сделать с нуля новый
- хранилище и витрины созданы и оптимизированы под требования BI системы

🔅 Следующий пост планирую по SQL, а именно разбор JOINов, давайте наберем 20 положительных реакций под этим сообщением и попрактикуемся в объединении таблиц

Про сообщества вендров российских BI

Одной из мер своего успеха некоторые вендоры считают объем участников их сообщества в телеграм. Хочу поделиться своими мыслями на эту тему.

1️⃣ Во-первых, состав аудитории. Когда аудитория собирается по принципу "для участия в конкурсе подпишитесь на наш канал" или на презентациях продукта, ждать от такого канала или чата качественного контента не приходится, это погоня за количеством.

2️⃣ Во вторых, такое измерение качества своего продукта ничего объективно не говорит о вендоре и продукте. Опять же стоит обращать внимание на качество аудитории. Например, я пытался получить ответ в одном из сообществ обращаясь с конкретным вопросом, аудитория очень даже хорошая судя по числу участников, но по факту мне не дали внятного ответа и даже не подсказали где в официальной документации можно прочитать про необходимый функционал.

Я для себе сделал вывод, что если вендор заявляет о своем канале, как об одном из критериев оценки себя как инструмента, то стоит постоянно следить за сообщениями и давать необходимую поддержку, тем более что рынок еще формируется, специалистам необходима поддержка в решении их вопросов.

Не везде так, в одном из чатов присутствуют представители вендора и активные участники сообщества, которые действительно при возникновении вопроса помогают по существу, повышая лояльность к своему продукту.

✅ В общем качество поддержки и оперативная помощь в решении актуальных вопросов по продукту, для всех, а не только для интеграторов, это то над чем стоит подумать российским BI решениям.

Если вам интересно, то в следующий раз поделюсь своими наблюдениями за тем как вендоры предоставляют демо доступы и стенды для изучения их продуктов

С Наступающим Новым годом!

🎄 Пусть в нем вам встретятся новые, интересные и амбициозные проекты. Сложные, но адекватные задачи. Найдется время на свои любимые занятия, сбудутся и появятся новые мечты!

Не буду раскрывать подробности, но в скором времени здесь вы увидите много новой, интересной, актуальной информации. Будем разбирать задачи в области работы с данными от сбора до визуализации.

Спасибо, что в этом году присоединились к моему каналу!

Как происходит разработка дашборда. Часть 1

Предлагаю обсудить некоторые вопросы, связанные с разработкой дашбордов, и начать с общего описания процесса работы.

После того как собраны требования от бизнеса, согласованы макеты, выполнена работа по подготовке данных мы приступаем непосредственно к разработке дашборда. Используем для этого BI инструмент и визуализируем данные. После этого необходимо результаты нашей работы презентовать заказчику (бизнесу), после чего-либо доработать либо передать в использование.

❗️ Правильным решением по разработке и передаче решения в эксплуатацию будет использование двух типов окружения:
- окружение для разработки (dev или develop окружение, контур или среда);
- боевое окружение или продакшн (prod или production окружение, контур или среда).

В первом вы делаете все что угодно и добиваетесь необходимо результата, второе содержит финальный результат вашей работы с проверенными данными и выверенными визуализациями.

В зависимости от проекта вы можете работать и только в одном окружении, но это не лучший вариант.

✔️ Постарайтесь распределять окружения или среды для работы.

По-хорошему, в описанный выше вариант нужно добавить промежуточное окружение - тестовое, где выполнять презентацию работы и получать от бизнеса обратную связь.

В зависимости от сложности проекта и его развития может быть и больше уровней, например, preprod, это уже не просто тестирование, а работа с решением перед его передачей в эксплуатацию.

Давайте наберем более 20 положительный реакций под этим сообщением и в следующий раз поговорим про сбор требований от бизнеса к дашборду.

Про доступы к демоверсиям и демостендам вендров российских BI

В первом сообщении я поделился своими рассуждениями на тему сообществ вокруг российских BI решений, в этом расскажу о своем опыте получения демонстрационных версий и стендов.

Всех вендоров я для себя разделил на две группы:
- открытые, готовые к обратной связи от сообщества
- закрытые, полностью думающие и решающие сами

1️⃣ Начну с того, что не у всех вендоров есть демонстрационный доступ как таковой (тут я понимаю под демо веб-версию продукта). В лучшем случае вам придётся пообщаться с его представителями или партнерами, которые соберут от вас информацию зачем, почему и как вы хотите использовать демодоступ. После чего они возьмут время на подумать, достойны ли вы такой чести или нет.

2️⃣ Другая группа может предоставить демонстрационную версию или стенд, опять же изучив кто вы и что вы хотите. В этом случае вы получите дистрибутив для самостоятельной установки или реквизиты стенда в сети. Не стоит бояться самостоятельной установки - наоборот, так вы сможете понять, что за инструмент, какие сложности в развертывании и пр., что сэкономит вам время и деньги в будущем.

3️⃣ Ну и еще одна группа, где нет такой возможности. Сейчас я рассуждаю от имени специалиста или ИП, который изучает или подбирает решения для своих клиентов. Можете написать вендору через официальный сайт и не дождаться обратной связи. Вы ему не интересны скорее всего как "мелкий" клиент.

Для полноты картины стоит отметить, что у некоторых вендоров работа с сообществом специалистов организована очень хорошо. Оперативные доступы, продление срока демо доступа, ответы поддержки и пр.

Я был приятно удивлен, когда один из вендоров мне сам, без моей просьбы, предоставил дистрибутив своего продукта для изучения.

Мое мнение: идет распределение систем по сегментам и направлениям, завоевание рынка вендорами и пока этот процесс не завершится в их фокусе будут крупные интеграторы и федеральные проекты, подбирающее себе решения.

Как происходит разработка дашборда. Часть 2

Сегодня поговорим про сбор требований от бизнес-заказчиков на дашборд.

Как и во многих других случаях вопрос можно разделить на составляющие:
- как собирать требования
- какие собирать требования

1️⃣ Первая часть: как собирать требования?

Зависит от того, кто ваш бизнес-заказчик. Вы можете работать как специалист и выполнять работы для внешних заказчиков, а можете быть внутри проекта или компании.

Если работаете с внешним заказчиком, то собирать требования лучше всего напрямую общаясь с конечным пользователем дашборда. Так вы узнаете откуда нужно извлечь информацию, какие данные отразить на дашборде и как он будет использоваться. При работе через посредника часть информации может остаться "за кадром", что в последствии скажется на результате, а также сроках разработки.

При работе внутри проекта или компании процесс может оказаться несколько проще, т.к. у вас как BI специалиста будет более глубокое понимание бизнес-составляющей, а также знание внутренней архитектуры в части работы с данными. В случае крупных компаний выделяются команды, которые решают задачи бизнеса, в этом случае присутствует бизнес-аналитик, который связывает бизнес-заказчиков и IT специалистов. В любом случае нужно искать возможность личной коммуникации с бизнес-заказчиком.

2️⃣ Второй вопрос: какие собирать требования?

Стоит обратить внимание на два важных аспекта:
- какой результат в плане визуальной составляющей ожидает заказчик
- какие данные нужно использовать для разработки дашборда

Идеальный вариант, когда от заказчика есть некоторый набросок того, как он представляет себе результат работы BI специалиста в виде дашборда. Но это бывает крайне редко и тут задача в коммуникации с бизнесом предложить ему вариант визуализации данных. Могут быть споры и трения, не стоит этого бояться. Нужно уметь слушать заказчика и мотивированно отстаивать свою позицию, при этом всегда стоит искать компромисс. Помните - вы решаете задачу бизнеса, а не делает красивый дашборд. Можно предложить свой вариант в виде некоторого эскиза, который вполне можно нарисовать на бумаге или планшете от руки, не обязательно сразу делать в BI инструменте.

Какие данные используются для дашборда - вопрос, который может поставить в тупик бизнес-заказчика. Он привык использовать файлы или ему настроили подключение к базе данных, и он просто использует ее для работы не зная, что происходит "под капотом". В этом случае можно попросить показать как и к чему он подключается, кто настраивал выгрузку, как формируются исходные файлы, с кем он общается если у него сложности с данными и т.п. Шаг за шагом у вас появится понимание источника данных и их структуры, что поможет лучше оценить предстоящий объем и сложность работ.

Основная рекомендация: всегда ищите возможность общения с бизнес-заказчиком лично

Какие специалисты нужны для внедрения BI

Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи:

✔️ извлечь данные из разрозненных источников
✔️ организовать единое хранилище данных
✔️ построить витрины данных
✔️ выполнить визуализацию, разработку дашбордов

В зависимости от объема данных и зрелости бизнеса эту задачу можно решить с привлечением одного или нескольких специалистов.

Первый вариант: один специалист, который понимает и умеет делать всего по немного, что-то лучше, что-то хуже, но он закрывает задачу.

Второй вариант: несколько специалистов, которые хорошо разбираются в своей предметной области.

❓Что должен уметь и знать один специалист или какие специалисты могут закрыть эти задачи?

Инженер данных – сможет собрать данные из различных источников в единое хранилище, настроить соответствующие потоки данных, обеспечит проверку корректности данных и регулярность обновления/дополнения данными хранилища.

Специалист по хранилищам данных – поможет выбрать хранилище с учетом требований, выполнить его настройку, разработает и реализует в хранилище хранение данных в оптимальном формате (типы столбцов, индексы, распределение ресурсов, слои данных и пр.).

Специалист по BI – соберет от бизнеса требования к дашбордам и в целом по отчетности, подготовит макеты, разработает модели данных и витрины, выполнить визуализацию данных и поддержку дашбордов.

Как видим при серьезном подходе к работе с BI в компании нужны специалисты из нескольких областей, это минимум технических специалистов, которые должны решать задчу внедрения и поддержки BI.

Один специалист тоже может справиться с некоторым объемом задач, но нужно принимать во внимание сложность и объемы работы. Возможное решение - разделение на BI аналитика и BI разработчика.

В целом разработка и поддержка BI решения — это сложный процесс, который состоит не только из дашбордов, который, как результат работы, видит бизнес. Огромный объем работ остается скрытым от бизнес-пользователей.

Коллеги, накидайте огонечков чтобы я видел, что вы читаете мои материалы и они вам интересны и полезны. Если есть предложения о чем можно написать – поделитесь идеями в комментариях.

Один из типов источников - данные в формате JSON

Очень часто используется при работе с API различных систем, из которых, в том числе, необходимо забирать данные для последующей работы с дашбордом. Как правило данные от таких систем возвращаются в JSON формате, но иногда может потребоваться и отправка запроса на получение данных также в этом формате.

JSON - текстовый формат обмена данными, основанный на JavaScript.

Сложного ничего в нем нет. Простая схема: ключ - значение. Могут быть использованы вложенные ключи, что дает возможность построить сложные структуры данных. Пример данных в формате JSON:

{
    "artistname" : "Scorpions",
    "albums" : [
        {
            "albumname" : "Humanity",
            "year" : "2007"
        },
        {
            "albumname" : "Crazy World",
            "year" : "1990"
        }
    ]
}

После того как получены данные в JSON формате (не важно по API или просто прочитан файл) их нужно обработать. Наилучшим вариантом будет сложить все данные в хранилище и уже с ним работать далее (если речь идет про дашборды). Но можно использовать и Python для обработки данных, например для генерации датасета.

Использование JSON формата дает следующие преимущества:

1️⃣ Может использоваться с любым языком программирования. Как правило в них есть встроенные библиотеки для его обработки

2️⃣ Обеспечивает структурированное хранение информации о некотором объекте или объектах

3️⃣ Можно прочитать данные в текстовом редакторе, без использования средств для расшифровки данных

Как BI специалисту организовать свою работу

Сначала определим из каких основных задач складывается работа BI специалиста:

📌 сбор требований по разработке дашбордов и по доработке существующих
📌 изучение источников информации (данных)
📌 формирование моделей для дашборда (или группы дашбордов)
📌 визуализация данных
📌 презентация своей работы
📌 обучение бизнес заказчиков работе с дашбордом

Понимая, что необходимо в целом делать можно детализировать каждую из задач и исходя из этого выстраивать свою работу.

✔️ Например, если требуется разработка нового дашборда, то обязательно сначала стоит пообщаться с бизнесом, собрать его пожелания и требования, выяснить какие источники информации используются и пр. После этого можно взять время на разработку прототипа дашборда и построение модели, после чего вернуться к бизнесу и показать свои предложения.

✔️ Если поставлена задача по доработке дашборда, то стоит начать с изучения наличия необходимых данных в текущей модели поскольку доработку можно разделить на две группы:

1️⃣ изменить/добавить визуальную составляющую, показатель и пр., что не требует вмешательства в модель и набор дынных
2️⃣ добавить показатель, измерение или фильтр, которых нет в модели

В первом случае задачу можно решить быстро, а вот второй потребует большего времени и ресурсов

Планировать свою загрузку и задачи, которые необходимо решить можно на примере основных этапов, описанных выше.

Если вы работаете на проекте и сами принимаете решение о пуле задач, которые необходимо выполнить у вас должен быть перечень задач, которые находятся в текущем спринте, а также некоторый «запас» задач в случае возникновения «простоя» (например, придется ждать данных)

Если же все задачи закрыты и кажется, что все сделано, то всегда можно заняться оформлением документации по дашбордам

DataLens скоро будет доступен по подписке!

С 23 апреля появляются два тарифа для использования DataLens. Будет интересно посмотреть на возможности платного тарифа.

Community — для небольших проектов и некоммерческого использования. Это базовая версия сервиса, которая была и остаётся бесплатной для всех, без ограничений на число пользователей и объём данных.

Business — для корпоративных внедрений и бизнес-задач. Среди дополнительных возможностей: приоритетная поддержка, SLA, корпоративные учётные записи и SSO, стилизация UI и другие. За 990 рублей в месяц за активного пользователя.

В информационном сообщении утверждается, что до 1 июня 2024 года можно попробовать тариф Business бесплатно.

❓ Кто что думает по этому вопросу?

Бесплатная книга по визуализации данных в Power BI

Коллеги, эксперты по Power BI, подготовили и выложили в открытый доступ книгу по визуализации даных в Power BI. Описанное в ней можно применять не только в Power BI, но и в других инструментах, т.к. правила визуализации едины

Fundamentals of Data Visualization. Claus Wilke

Книга задумана как руководство по созданию визуализаций, которые точно отражают данные, рассказывают историю и выглядят профессионально. Оно выросло из моего опыта работы со студентами в моей лаборатории над тысячами визуализаций данных. С годами я заметил, что одни и те же проблемы возникают снова и снова. Я попытался собрать накопленные знания в результате этих взаимодействий в форме этой книги

Одна из лучших книг по визуализации данных. Электронную версию книги можно почитать в свободном доступе на сайте автора

6 бесплатных тренажеров по SQL

Сегодня хочу поделиться с вами подборкой тренажеров, где можно бесплатно порешать задачи по SQL (на платном тарифе может быть больше задач и функционала тренажера). Может пригодиться, если вы изучаете SQL, готовитесь к собеседованию или просто хотите освежить этот язык в памяти.

📌 sqltest.online - тренажер с возможностью выбора категории задачи. Например, агрегации, вложенные подзапросы и т.п. При желании можно выбирать задачи по уровю сложности. Задачи на английском языке

📌 sql-ex.ru - наверное самый известный тренажер. Встречал его в рекомендациях по подготовке к собеседованиям во многих компаниях

📌 sql-academy.org - много бесплатных задач. Если знакомы с SQL на среднем и выше уровнях можно найти интересные задачи. При оплате открываются реальные тестовые задачи

📌 itresume.ru - интересные задачи, разные уровни сложности

📌 stepik.org - не совсем тренажер, скорее бесплатный курс с множеством разнообразных задач. Для начинающих и повторения может быть полезен

📌 leetcode.com - мой фаворит, на английском языке. При оформлении подписки дополнительно открываются интересные задачи с реальных тестовых заданий всем известных компаний. Можно посмотреть на решения и обсуждение других пользователей

Даже если вы знаете SQL и активно применяете его в работе я бы посоветовал иногда решать задачки из тренажеров, чтобы, условно, посмотреть на использование SQL с другой стороны.

Ведь обычно в своей работе приходится решать однотипные задачи, которые со временем могут быть доведены до автоматизма. А новые задачи потребуют "включить" мышление и по другому посмотреть на использование SQL

Как узнать, что нужно изучать для интересующей специализации и быть в курсе потребностей рынка труда?

Данный метод работает не только если вы хотите сменить профиль или специализацию, он помогает оставаться в тренде по текущей позиции и понимать потребности HR рынка.

Например, вам стала интересна специализация дата-инженера или хотите посмотреть, что происходит на рынке BI аналитиков. Заходите на HH, в поиске вводите BI или дата-инженер. На ваш запрос получите ответ в виде списка вакансий. Теперь их можно изучать.

Выбираете подходящую вакансию (лучше выбирать от крупных кампаний), как правило описание вакансии состоит из нескольких блоков, нам из них интересны "Требования к кандидату", "Мы ожидаем от вас" и т.п. Обычно эти блоки оформлены в виде списка требований по знаниям технологий и инструментов, а также описание soft-навыков к кандидату.

Копируйте содержимое блока в любой текстовый редактор. Через 5-10 просмотренных вакансий вы уже будете понимать, что встречается чаще всего, но если продолжаете просмотр, то также продолжайте копировать эти блоки.

После того как просмотрите нужное вам число вакансий (обычно 10-15 вполне хватает), переходите к тому тексту, который у вас получился в результате копирования требований. Далее нужно сгруппировать их по смыслу, например, по названию инструмента или навыку.

Проведя кластеризацию вы получите описания по каждой технологии или навыку. Остается изучить каждый блок и сформулировать его содержание в одно предложение.

В результате работы у вас на руках будт актуальные на рынке требования к кандидату по интересующей вас позиции. Далее можно:

1️⃣ успокоиться, поняв, что вы все знаете )
2️⃣ пойти подтянуть знания, которые вы считаете не достаточными у себя
3️⃣ приступить к изучению новых технологий и инструментов
4️⃣ понять куда движется рынок и подумать как не отстать от него

Чтобы результаты были более точными при разборе вакансий выбирайте из результатов поиска те (либо составляйте запрос так, чтобы получить интересующий вас срез вакансий), которые больше всего соответствуют вашим требованиям. Например, при поиске по запросу Superset вы можете получить вакансии, где ищут специалиста под этот BI инструмент (то, что мы и искали), так и те, где в описании есть формулировка "желателен опыт работы в BI инструментах, например, Superset, Power BI, DataLens и другие" (это не то, но можно тоже посмотреть).

Накидайте 🔥 если публикация была интересна