Условное форматирование таблиц в DataLens

В качестве примера возьмем таблицу, в которой есть два поля, которые помогают оперативно оценить положение дел. Оба базируются на динамике показателя, но в одном столбце показываем рост или снижение показателя в % , а во втором используя индикатор акцентируем внимание на снижении или росте показателя если снижение / рост превышает некоторое значение.

📃 Небольшая заметка о том как это реализовать в DataLens

Как собрать от заказчика требования к дашборду?

Поделюсь с вами своей наработкой по этому вопросу. На одном из проектов мы активно используем его с коллегами и это очень облегчает получить максимум информации перед началом работы над дашбордом. Итак, ❓вопрос и ✔️варианты ответов:

❓ Основной вопрос, на который должен отвечать отчет
Какие бренды продаются лучше всего

❓ Портрет пользователя отчета. Подразделение, должность либо лицо принимающее управленческое решение. Руководитель или линейный сотрудник
Специалист подразделения товарного маркетинга. Отвечает за актуальность ассортимента и список имеющихся в наличии товаров от брендов.

❓ Цель отчета. Какие задачи должен и решать и какие выводы примерно должны получать
Необходимо понимать динамику продаж определенных товарных групп. (ИЛИ) Необходимо оценить эффективность рекламных кампаний в количестве заказов (или в доходе по заказам)

❓ Как часто будет использоваться
Разовое задание (итоги года, “черная пятница” и т.п.) либо отчет, который будет использоваться ежедневно, еженедельно и т.п.

❓ Как будут использовать, что именно хотят смотреть и в каком разрезе
Отчет будет использован для изучения динамики показателя “количество заказов”. Необходимо отразить визуально изменение показателя. Дополнительно интересно узнать значения показателя в разрезе рекламных кампаний и т.п.

❓ Ожидаемые сроки реализации
Отчет необходим к 01.07.2023 или отчет не имеет срока реализации, по возможности и т.п.

❓ Где будут использованы данные из отчета
Подготовка на основе отчета презентации руководителю (ИЛИ) Демонстрация результатов работы подразделения на экране (ИЛИ) Создание скриншотов отчета и их демонстрация

❓ Период данных для отчета
Необходимы данные с 01.01.2023

❓ Уровень детализации
Интересно изучать показатель в разрезе товарных групп, брендов и на уровне отдельных товаров

❓ Пример визуализации (можно нарисовать)
Ссылка на документ, изображение и т.п.

❓ Какие фильтры необходимо наложить на данные
В отчете должны быть данные только по отгруженным заказам, от физ лиц, источник заказа - сайт и т.п.

❓ Есть ли сейчас аналог отчета, который используется в работе
Если есть, то добавить ссылку на него

❓ Какие известные заказчику источники данных используются в отчете
Используется Google Sheets (приложить ссылку), BigQuery (проект, набор данных и название таблиц), сторонний сервис, из которого вручную переносятся данные в отчет

Постановка задачи на создание дашборда

Вот так может выглядеть иллюстрация того, что необходимо заказчику отобразить на его дашборде. Это изображение сделано в обычном редакторе Windows. Речь о распределении продуктов (товаров) по регионам и ценовым сегментам.

✅ Чаще всего для таких задач используют визуальные онлайн редакторы, флипчарты (макет готовится на нем, фиксируется фотографией) или на обычном листе бумаги. Все эти варианты очень помогают при подготовке дашборда т.к. на них заказчик старается максимально подробно изобразить то, что ему необходимо.

Как сделать дашборд удобным для пользователя

Помимо вопросов, связанных с оптимизацией размещения виджетов и их цвета, организации слайсеров и пр. стоит уделить внимание таким второстепенным вещам как возможность перейти на карточку товара прямо из таблицы. Стоит обратить внимание тем, кто работает с проектами электронной торговли.

Помимо этого аналогичную схему можно применить и для работы с данными из CRM (переход к лиду или сделке) или пользователями (переход на профиль пользователя)

Прочитать о том, как реализовать такую возможность в Power BI можно здесь

Оптимизация модели в Power BI, объем уменьшен в 3 раза

Делюсь реальным кейсом оптимизации модели с помощью простых операций, которые доступны каждому, единственное, что необходимо это время для внимательного изучения модели. По результатам проделанной работы хочу дать несколько советов:

1️⃣ следите за таблицами, которые загружаете в модель
2️⃣ проверяйте, какие поля действительно вам необходимы
3️⃣ старайтесь уменьшать количество текстовых полей

❓ Задача: в качестве исходных данных имеем файл отчета Power BI объемом 3,7 Gb, необходимо найти способ уменьшить его объем, что также должно повлиять на скорость работы модели данных, снизить затраты на хранилище данных.

✔️ Решение: начать оптимизацию я решил с поиска самой большой таблицы, той, которая содержит наибольшее количество информации. После того, как она была определена приступил к поиску связей и зависимостей других таблиц и мер от нее. Было установлено, что найденная таблица в модели присутствует дважды.

Решение задачи описано в блоге.

Динамический Title виджетов в Power BI

Для реализации динамического изменения Title в Power BI следует выполнить несколько простых операций:

1️⃣ Создать меру, которая будет возвращать текстовую строку, которую необходимо отобразить в Title
2️⃣ Установить эту меру в настройках виджета как Title

О том, как выполнить эти операции рассказываю у себя в блоге

Вы на канале для разработчиков дашбордов и BI специалистов

Меня зовут Иван, я автор канала, практикующий BI специалист, с 2017 года занимаюсь решением задач по внедрению BI и разработке дашбордов.

О чем этот канал? О всем, что связано с дашбордами и BI. Это не только работа с инструментами, я также разбираю вопросы смежных областей: инжиниринга данных, хранилищ данных. Делюсь опытом общения с бизнес-заказчиками, своими личными наработками и авторскими материалами, уверен, будет интересно.

✔️ Про что я буду писать:
- использование PowerBI, DataLens, Superset др. инструментов
- подключение к источникам данных
- обработка данных
- применение SQL
- работа с базами данных (ClickHouse, PostgreSQL)
- построение моделей данных
- разработка дашбордов (от сбора требований до реализации)
- документирование своей работы
- наверняка о чем-то еще, что не вошло в этот перечень

⁉️ По всем вопросам можете связаться со мной в телеграм

Обновление Power BI - май 2023

🔥 Среди нововведений появилась возможность редактировать элементы виджетов (диаграмм) прямо на листе дашборда. Теперь нет необходимости переходить в настройки в правой части экрана и вносить необходимые изменения!

Чтобы такая возможность появилась в настройках Power BI необходимо активировать в разделе Preview features позицию On-object interaction.

Опция появилась еще в марте 2023 года, но изначально предоставляла возможность работы по новой схеме с виджетами. Для меня пока такой вариант работы с ними кажется не привычным. Подробнее ознакомиться с этой возможностью можно в официальном блоге

На что обращаете внимание в описании вакансии?

Я стараюсь следить за рынком, с этой целью периодически просматриваю вакансии BI аналитиков и BI разработчиков. Сегодня в описании одной из них встретил такие требования:

- АБС анализ
- Разработка КПЭ
- Анализ КПЭ

❓Как вы считаете: такое описание вакансии повлияет на количество откликов?

Думаю, что ABC анализ и KPI стоит писать в привычном для всех формате. Подобный текст может указывать на непонимание сути требований к соискателю со стороны лица, который готовил описание вакансии. Разумеется, готовить мог HR далекий от BI, но проверять описание все-же должно заинтересованное в найме лицо.

Power BI Rest API - подключение и работа

Сегодня хочу поделиться инструкцией по работе с Power BI Rest API. Для работы с ним нужно создать приложение, выдать ему необходимые права и дальше организовать взаимодействие с API удобным способом.

В своем материале я использовал Python для пары простых примеров и подробно расписал порядок создания приложения и активации необходимых параметров в нем и Power BI Service

Как выбрать график для отчета?

Для этого нужно ответить себе на вопрос, что я хочу показать или какую историю рассказать с его помощью. Существуют различные виды графиков, которые решают определенные задачи. Можно показать динамику, можно части целого, а может быть необходимо отразить зависимость между переменными. Чтобы проще было подобрать необходимый график существует различные шпаргалки. Одной из таких поделились Financial Times. Было это четыре года назад, но информация не теряет своей актуальности и сегодня.

Его можно использовать как интерактивный справочник.

А можно распечатать плакат и повесить в офисе или на рабочем месте.

Немного юмора из жизни аналитика

Задача заключалась в том, что нужно оперативно внести правку в визуализацию. Конец рабочего дня.

Заказчик: Вот то что сейчас показывается графиком. Должно быть диаграммой
Мой вопрос: чем график от диаграммы отличается? )
Заказчик: Ща нарисую 😂
... отправка рисунка от руки ...
Заказчик: Ты меня понял? 😂
Мой ответ: судя по "картинке" в отчете там сейчас уже и диаграмма и график )
Заказчик: Так вот. То что есть диаграмма, должно быть график. То что сейчас график, должно быть диаграмма ...

Фрагмент взят из переписки по доработке отчета, а неформальное общение обусловлено тем, что на проекте я уже давно, с командой сложились хорошие отношения, рабочие моменты стараемся решать без лишних условностей - все работаем на общий результат

Как задать вопрос пользователю дашборда если он видит в нем "проблему"

Начну с того, что "проблема" не всегда действительно проблема. На моей практике была ситуация когда пользователь дашборда на одном из проектов забил тревогу, что он не видит части данных. А это как всегда значит "отчет сломался!"

При проверке выяснилось, что в PowerBI Service при работе он сам установил фильтры, которые затем не сбросил.

✔️ Как в этой ситуации получить максимум информации о "проблеме"? Для всех пользователей дашбордов установите правила, что при выявлении каких-то вопросов по его работе необходимо сделать полный скриншот экрана с: названием дашборда, выбранным листом, настроенными срезами. Помимо этого нужно описать при каких обстоятельствах получился тот результат, который вызывает вопросы.

Если такой практики ранее не было можно столкнуться с сопротивлением со стороны конечных пользователей, но в итоге это приведет к экономии времени как при постановке задачи так и при выяснении причин проблемы и ее устранения.

💬 Будет интересно узнать как на вашем проекте или при работе с вашими клиентами вы организовали подобную работу

Немного про построение модели данных (справочники)

В зависимости от задачи, исходных условий, внутренних бизнес-процессов приходится искать оптимальную модель данных, чтобы дашборд отвечал на все поставленные вопросы заказчика.

Иногда приходится вводить дополнительные справочники, поскольку бизнес-процессы не могут быть перестроены, а данные для модели критически важны. Иногда они заполняются вручную.

👉 Примером такого справочника может быть "справочник рекламных кампаний". Возможно, у части из вас возникнет вопрос: "Вести справочник рекламных кампаний вручную? У нас их сотни, мы так не можем!". Согласен, но выше я обозначил, что иногда приходится делать именно так по ряду причин (к тому же заполнить его можно наполовину автоматически, дополнив некоторые данные вручную). Согласитесь, что там, где присутствует человеческий фактор, вероятность ошибки возрастает. Как мониторить такие ситуации?

1️⃣ Нужно проанализировать ваш справочник, где может быть допущена ошибка, затем минимизировать вероятность ее возникновения, например, через выбор значений из списка и не давать возможности вводить свои (такое можно сделать в Google Sheets).

2️⃣ Назначьте одного ответственного за работу со справочником, либо разделите внутри него направления. Например, подрядчиков вносит один сотрудник, партнеров другой.

3️⃣ Добавьте на дашборд отдельный лист с данными мониторинга состояния данных в справочниках.

Импортозамещение BI

В последнее время занимался изучением рынка BI инструментов, которые можно использовать в качестве замены тройки мировых лидеров. Мое мнение - выполнить импортозамещение достаточно сложно. Но ...

1️⃣ Если на вашем проекте BI использовался только как средство визуализации без дополнительных вычислений (например, в DAX), вы ограничивались базовыми визуализациями и у вас есть готовые витрины данных, то переход будем максимально безболезненным.

2️⃣ Если мы говорим про выстроенную систему отчетности и дашбордов, сложные визуализации, настройку интерактивных элементов (например, выбор метрики, которую отобразить на графике), расчеты на DAX, возможность предобработки данных пользователями и прочие возможности тройки лидеров рынка, то заменить их объективно нечем. Можно сделать похожие решения с помощью нескольких инструментов, но явной замены не найти.

✅ Однако, не все так плохо. Если принято решение заместить BI инструмент, то процесс внедрения нового упрощается так как:

- у вас уже есть понимание ожидаемого результата (количество дашбордов, пользователей, нагрузка на систему и пр.)
- документация на разработку решения уже создана
- основные дашборды реализованы и нужно их максимально воспроизвести в новом инструменте, а это проще, чем собрать требования и сделать с нуля новый
- хранилище и витрины созданы и оптимизированы под требования BI системы

🔅 Следующий пост планирую по SQL, а именно разбор JOINов, давайте наберем 20 положительных реакций под этим сообщением и попрактикуемся в объединении таблиц

Про сообщества вендров российских BI

Одной из мер своего успеха некоторые вендоры считают объем участников их сообщества в телеграм. Хочу поделиться своими мыслями на эту тему.

1️⃣ Во-первых, состав аудитории. Когда аудитория собирается по принципу "для участия в конкурсе подпишитесь на наш канал" или на презентациях продукта, ждать от такого канала или чата качественного контента не приходится, это погоня за количеством.

2️⃣ Во вторых, такое измерение качества своего продукта ничего объективно не говорит о вендоре и продукте. Опять же стоит обращать внимание на качество аудитории. Например, я пытался получить ответ в одном из сообществ обращаясь с конкретным вопросом, аудитория очень даже хорошая судя по числу участников, но по факту мне не дали внятного ответа и даже не подсказали где в официальной документации можно прочитать про необходимый функционал.

Я для себе сделал вывод, что если вендор заявляет о своем канале, как об одном из критериев оценки себя как инструмента, то стоит постоянно следить за сообщениями и давать необходимую поддержку, тем более что рынок еще формируется, специалистам необходима поддержка в решении их вопросов.

Не везде так, в одном из чатов присутствуют представители вендора и активные участники сообщества, которые действительно при возникновении вопроса помогают по существу, повышая лояльность к своему продукту.

✅ В общем качество поддержки и оперативная помощь в решении актуальных вопросов по продукту, для всех, а не только для интеграторов, это то над чем стоит подумать российским BI решениям.

Если вам интересно, то в следующий раз поделюсь своими наблюдениями за тем как вендоры предоставляют демо доступы и стенды для изучения их продуктов

С Наступающим Новым годом!

🎄 Пусть в нем вам встретятся новые, интересные и амбициозные проекты. Сложные, но адекватные задачи. Найдется время на свои любимые занятия, сбудутся и появятся новые мечты!

Не буду раскрывать подробности, но в скором времени здесь вы увидите много новой, интересной, актуальной информации. Будем разбирать задачи в области работы с данными от сбора до визуализации.

Спасибо, что в этом году присоединились к моему каналу!

Как происходит разработка дашборда. Часть 1

Предлагаю обсудить некоторые вопросы, связанные с разработкой дашбордов, и начать с общего описания процесса работы.

После того как собраны требования от бизнеса, согласованы макеты, выполнена работа по подготовке данных мы приступаем непосредственно к разработке дашборда. Используем для этого BI инструмент и визуализируем данные. После этого необходимо результаты нашей работы презентовать заказчику (бизнесу), после чего-либо доработать либо передать в использование.

❗️ Правильным решением по разработке и передаче решения в эксплуатацию будет использование двух типов окружения:
- окружение для разработки (dev или develop окружение, контур или среда);
- боевое окружение или продакшн (prod или production окружение, контур или среда).

В первом вы делаете все что угодно и добиваетесь необходимо результата, второе содержит финальный результат вашей работы с проверенными данными и выверенными визуализациями.

В зависимости от проекта вы можете работать и только в одном окружении, но это не лучший вариант.

✔️ Постарайтесь распределять окружения или среды для работы.

По-хорошему, в описанный выше вариант нужно добавить промежуточное окружение - тестовое, где выполнять презентацию работы и получать от бизнеса обратную связь.

В зависимости от сложности проекта и его развития может быть и больше уровней, например, preprod, это уже не просто тестирование, а работа с решением перед его передачей в эксплуатацию.

Давайте наберем более 20 положительный реакций под этим сообщением и в следующий раз поговорим про сбор требований от бизнеса к дашборду.

Про доступы к демоверсиям и демостендам вендров российских BI

В первом сообщении я поделился своими рассуждениями на тему сообществ вокруг российских BI решений, в этом расскажу о своем опыте получения демонстрационных версий и стендов.

Всех вендоров я для себя разделил на две группы:
- открытые, готовые к обратной связи от сообщества
- закрытые, полностью думающие и решающие сами

1️⃣ Начну с того, что не у всех вендоров есть демонстрационный доступ как таковой (тут я понимаю под демо веб-версию продукта). В лучшем случае вам придётся пообщаться с его представителями или партнерами, которые соберут от вас информацию зачем, почему и как вы хотите использовать демодоступ. После чего они возьмут время на подумать, достойны ли вы такой чести или нет.

2️⃣ Другая группа может предоставить демонстрационную версию или стенд, опять же изучив кто вы и что вы хотите. В этом случае вы получите дистрибутив для самостоятельной установки или реквизиты стенда в сети. Не стоит бояться самостоятельной установки - наоборот, так вы сможете понять, что за инструмент, какие сложности в развертывании и пр., что сэкономит вам время и деньги в будущем.

3️⃣ Ну и еще одна группа, где нет такой возможности. Сейчас я рассуждаю от имени специалиста или ИП, который изучает или подбирает решения для своих клиентов. Можете написать вендору через официальный сайт и не дождаться обратной связи. Вы ему не интересны скорее всего как "мелкий" клиент.

Для полноты картины стоит отметить, что у некоторых вендоров работа с сообществом специалистов организована очень хорошо. Оперативные доступы, продление срока демо доступа, ответы поддержки и пр.

Я был приятно удивлен, когда один из вендоров мне сам, без моей просьбы, предоставил дистрибутив своего продукта для изучения.

Мое мнение: идет распределение систем по сегментам и направлениям, завоевание рынка вендорами и пока этот процесс не завершится в их фокусе будут крупные интеграторы и федеральные проекты, подбирающее себе решения.

Как происходит разработка дашборда. Часть 2

Сегодня поговорим про сбор требований от бизнес-заказчиков на дашборд.

Как и во многих других случаях вопрос можно разделить на составляющие:
- как собирать требования
- какие собирать требования

1️⃣ Первая часть: как собирать требования?

Зависит от того, кто ваш бизнес-заказчик. Вы можете работать как специалист и выполнять работы для внешних заказчиков, а можете быть внутри проекта или компании.

Если работаете с внешним заказчиком, то собирать требования лучше всего напрямую общаясь с конечным пользователем дашборда. Так вы узнаете откуда нужно извлечь информацию, какие данные отразить на дашборде и как он будет использоваться. При работе через посредника часть информации может остаться "за кадром", что в последствии скажется на результате, а также сроках разработки.

При работе внутри проекта или компании процесс может оказаться несколько проще, т.к. у вас как BI специалиста будет более глубокое понимание бизнес-составляющей, а также знание внутренней архитектуры в части работы с данными. В случае крупных компаний выделяются команды, которые решают задачи бизнеса, в этом случае присутствует бизнес-аналитик, который связывает бизнес-заказчиков и IT специалистов. В любом случае нужно искать возможность личной коммуникации с бизнес-заказчиком.

2️⃣ Второй вопрос: какие собирать требования?

Стоит обратить внимание на два важных аспекта:
- какой результат в плане визуальной составляющей ожидает заказчик
- какие данные нужно использовать для разработки дашборда

Идеальный вариант, когда от заказчика есть некоторый набросок того, как он представляет себе результат работы BI специалиста в виде дашборда. Но это бывает крайне редко и тут задача в коммуникации с бизнесом предложить ему вариант визуализации данных. Могут быть споры и трения, не стоит этого бояться. Нужно уметь слушать заказчика и мотивированно отстаивать свою позицию, при этом всегда стоит искать компромисс. Помните - вы решаете задачу бизнеса, а не делает красивый дашборд. Можно предложить свой вариант в виде некоторого эскиза, который вполне можно нарисовать на бумаге или планшете от руки, не обязательно сразу делать в BI инструменте.

Какие данные используются для дашборда - вопрос, который может поставить в тупик бизнес-заказчика. Он привык использовать файлы или ему настроили подключение к базе данных, и он просто использует ее для работы не зная, что происходит "под капотом". В этом случае можно попросить показать как и к чему он подключается, кто настраивал выгрузку, как формируются исходные файлы, с кем он общается если у него сложности с данными и т.п. Шаг за шагом у вас появится понимание источника данных и их структуры, что поможет лучше оценить предстоящий объем и сложность работ.

Основная рекомендация: всегда ищите возможность общения с бизнес-заказчиком лично

Какие специалисты нужны для внедрения BI

Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи:

✔️ извлечь данные из разрозненных источников
✔️ организовать единое хранилище данных
✔️ построить витрины данных
✔️ выполнить визуализацию, разработку дашбордов

В зависимости от объема данных и зрелости бизнеса эту задачу можно решить с привлечением одного или нескольких специалистов.

Первый вариант: один специалист, который понимает и умеет делать всего по немного, что-то лучше, что-то хуже, но он закрывает задачу.

Второй вариант: несколько специалистов, которые хорошо разбираются в своей предметной области.

❓Что должен уметь и знать один специалист или какие специалисты могут закрыть эти задачи?

Инженер данных – сможет собрать данные из различных источников в единое хранилище, настроить соответствующие потоки данных, обеспечит проверку корректности данных и регулярность обновления/дополнения данными хранилища.

Специалист по хранилищам данных – поможет выбрать хранилище с учетом требований, выполнить его настройку, разработает и реализует в хранилище хранение данных в оптимальном формате (типы столбцов, индексы, распределение ресурсов, слои данных и пр.).

Специалист по BI – соберет от бизнеса требования к дашбордам и в целом по отчетности, подготовит макеты, разработает модели данных и витрины, выполнить визуализацию данных и поддержку дашбордов.

Как видим при серьезном подходе к работе с BI в компании нужны специалисты из нескольких областей, это минимум технических специалистов, которые должны решать задчу внедрения и поддержки BI.

Один специалист тоже может справиться с некоторым объемом задач, но нужно принимать во внимание сложность и объемы работы. Возможное решение - разделение на BI аналитика и BI разработчика.

В целом разработка и поддержка BI решения — это сложный процесс, который состоит не только из дашбордов, который, как результат работы, видит бизнес. Огромный объем работ остается скрытым от бизнес-пользователей.

Коллеги, накидайте огонечков чтобы я видел, что вы читаете мои материалы и они вам интересны и полезны. Если есть предложения о чем можно написать – поделитесь идеями в комментариях.