Этапы разработки дашборда - Сбор команды или заинтересованной группы лиц
Прежде чем приступать к разработке дашборда стоит определиться с командой, которой предстоит принять участие в этом процессе.
Минимальный набор ролей следующий:
- заказчик разработки дашборда
- разработчик дашборда (BI специалист)
- дата инженер
Заказчик разработки дашборда – ответит на вопросы для чего и для кого создается дашборд. На какие вопросы должны получить ответы пользователи при работе с ним. Сможет описать сценарий использования дашборда и портрет пользователя. С его помощью можно получить информацию об источниках данных для дашборда.
Разработчик дашборда (BI специалист) – соберет все требования к дашборду, информацию по источникам данных. Поставит задачу дата инженеру для организации сбора и хранения необходимых для дашборда данных. Подготовит эскизы и/или MVP, презентует его заказчику. Соберет обратную связь и выполнит доработку дашборда до требований, которые устроят заказчика.
Дата инженер – обеспечит извлечение данных из источников, перенос их в хранилище. При необходимости выполнит трансформацию и предобработку исходных данных.
Как видите – задача разработчика дашборда (BI специалиста) это не только работа по созданию самого дашборда в BI инструменте, но и большой объем задач по работе с заказчиком и дата инженером. При этом в общении с заказчиком приходится больше выполнять роль менеджера, а при коммуникации с дата инженером технического специалиста.
Также хочу обратить внимание, что это «стандартный» минимальный набор ролей. На практике BI специалист может совмещать роль с дата инженером. Определить такие совмещения можно при анализе вакансий, но это отдельная тема для обсуждения. Также работая на большом проекте можете встретить отдельную роль специалиста по хранилищам данных или базам данных. Его задача создать хранилище для задач BI, в этом случае эти работы снимаются с дата инженера.
Если у вас есть вопросы по данному этапу – оставляйте комментарии, подискутируем
Прежде чем приступать к разработке дашборда стоит определиться с командой, которой предстоит принять участие в этом процессе.
Минимальный набор ролей следующий:
- заказчик разработки дашборда
- разработчик дашборда (BI специалист)
- дата инженер
Заказчик разработки дашборда – ответит на вопросы для чего и для кого создается дашборд. На какие вопросы должны получить ответы пользователи при работе с ним. Сможет описать сценарий использования дашборда и портрет пользователя. С его помощью можно получить информацию об источниках данных для дашборда.
Разработчик дашборда (BI специалист) – соберет все требования к дашборду, информацию по источникам данных. Поставит задачу дата инженеру для организации сбора и хранения необходимых для дашборда данных. Подготовит эскизы и/или MVP, презентует его заказчику. Соберет обратную связь и выполнит доработку дашборда до требований, которые устроят заказчика.
Дата инженер – обеспечит извлечение данных из источников, перенос их в хранилище. При необходимости выполнит трансформацию и предобработку исходных данных.
Как видите – задача разработчика дашборда (BI специалиста) это не только работа по созданию самого дашборда в BI инструменте, но и большой объем задач по работе с заказчиком и дата инженером. При этом в общении с заказчиком приходится больше выполнять роль менеджера, а при коммуникации с дата инженером технического специалиста.
Также хочу обратить внимание, что это «стандартный» минимальный набор ролей. На практике BI специалист может совмещать роль с дата инженером. Определить такие совмещения можно при анализе вакансий, но это отдельная тема для обсуждения. Также работая на большом проекте можете встретить отдельную роль специалиста по хранилищам данных или базам данных. Его задача создать хранилище для задач BI, в этом случае эти работы снимаются с дата инженера.
Если у вас есть вопросы по данному этапу – оставляйте комментарии, подискутируем
❤10👍1
Исследование рынка BI 2024 года
Интересное исследование от Visiology рынка BI. В нем утверждается, что тройка мировых лидеров по-прежнему сильно лидирует на отечественном рынке и спрос на спецов по ним высокий. Чтобы я хотел дополнительно посмотреть, так это на сегменты бизнеса.
Крупный бизнес и гос. компании вряд ли будут активно развивать направление BI на ушедших инструментах, а это основной рынок для вендоров и внедрения их партнерами. Также растить свою экспертизу внутри на инструментах, которые официально не поддерживаются для них большой риск.
Возможно часть среднего и мелкий бизнес с целью экономии и используют решения мировых лидеров, т.к. для них риски не так высоки, как для более крупных компаний.
Ради интереса посмотрел динамику запросов по тройке лидеров в Wordstat от Яндекса. По Power BI и Qlick в целом изменений не заметно, а вот по Tableau явный тренд на снижение.
Интересно узнать ваше мнение по рынку и по обзору
Интересное исследование от Visiology рынка BI. В нем утверждается, что тройка мировых лидеров по-прежнему сильно лидирует на отечественном рынке и спрос на спецов по ним высокий. Чтобы я хотел дополнительно посмотреть, так это на сегменты бизнеса.
Крупный бизнес и гос. компании вряд ли будут активно развивать направление BI на ушедших инструментах, а это основной рынок для вендоров и внедрения их партнерами. Также растить свою экспертизу внутри на инструментах, которые официально не поддерживаются для них большой риск.
Возможно часть среднего и мелкий бизнес с целью экономии и используют решения мировых лидеров, т.к. для них риски не так высоки, как для более крупных компаний.
Ради интереса посмотрел динамику запросов по тройке лидеров в Wordstat от Яндекса. По Power BI и Qlick в целом изменений не заметно, а вот по Tableau явный тренд на снижение.
Интересно узнать ваше мнение по рынку и по обзору
👍1
Этапы разработки дашборда - Проведение интервью с заказчиком и формулирование задачи
Один из важных этапов в разработке дашборда. От полноты сбора требований может зависеть как скорость разработки, так и ее качество. На этом этапе стоит выяснить несколько ключевых блоков (часть из них рассмотрим позже, как отдельные шаги). Далее будем работать с внешним заказчиком, который обратился к нам за разработкой из сторонней компании.
Необходимо начать с понимания – используется ли сейчас BI у заказчика. Если нет, то стоит обратить внимание на работы по подготовке к внедрению. Это сбор данных и организация их централизованного хранения. Вероятно, что сами задачи по BI будут актуальны после решения этих вопросов. Если BI уже используется – какой инструмент внедрен, устраивает ли он заказчика, не планируется переход на другой и т.п.
Может оказаться, что у заказчика есть запрос на дашборд, который он видел у кого-то и нужен такой же. Тогда стоит выяснить, что за дашборд необходим, какие данные он отображает. Может быть речь идет о некотором сервисе, который использует конкурент заказчика. В этом случае может быть достаточно разобраться с запросом и понять, что полноценная разработка будет избыточной и дорогой для заказчика.
В целом интервью с заказчиком должно ответить на вопросы, которые помогут далее выстроить схему от источника данных, до их визуализации и развития дашборда.
Также необходимо сформулировать и согласовать общую задачу разработки. Какой тип дашборда необходим заказчику, как будет использоваться, что должен отображает и на какие вопросы давать ответ.
Встреч с заказчиком может быть несколько и это нормально. Вам необходимо получить полную информацию, предложить варианты решения, уточнить детали и т.п.
В контексте сообщения "заказчик" это не конкретный человек. Им также может быть группа заинтересованных лиц.
Один из важных этапов в разработке дашборда. От полноты сбора требований может зависеть как скорость разработки, так и ее качество. На этом этапе стоит выяснить несколько ключевых блоков (часть из них рассмотрим позже, как отдельные шаги). Далее будем работать с внешним заказчиком, который обратился к нам за разработкой из сторонней компании.
Необходимо начать с понимания – используется ли сейчас BI у заказчика. Если нет, то стоит обратить внимание на работы по подготовке к внедрению. Это сбор данных и организация их централизованного хранения. Вероятно, что сами задачи по BI будут актуальны после решения этих вопросов. Если BI уже используется – какой инструмент внедрен, устраивает ли он заказчика, не планируется переход на другой и т.п.
Может оказаться, что у заказчика есть запрос на дашборд, который он видел у кого-то и нужен такой же. Тогда стоит выяснить, что за дашборд необходим, какие данные он отображает. Может быть речь идет о некотором сервисе, который использует конкурент заказчика. В этом случае может быть достаточно разобраться с запросом и понять, что полноценная разработка будет избыточной и дорогой для заказчика.
В целом интервью с заказчиком должно ответить на вопросы, которые помогут далее выстроить схему от источника данных, до их визуализации и развития дашборда.
Также необходимо сформулировать и согласовать общую задачу разработки. Какой тип дашборда необходим заказчику, как будет использоваться, что должен отображает и на какие вопросы давать ответ.
Встреч с заказчиком может быть несколько и это нормально. Вам необходимо получить полную информацию, предложить варианты решения, уточнить детали и т.п.
👍11
Несколько слов про BI специализацию
В одном из каналов ответил на публикацию автора, хочу поделиться с вами.
❓ Ожидание от BI
BI это не только рисование графиков, это сильно больше!
❓ Низкий порог входа
Действительно не высокий. НО! Собрать требования, организовать хранилище, понять как дата инженеру поставить задачу (или сделать самому!) тоже нужно знать и уметь. Читайте внимательно вакансии
❓ Куда переходить из BI направления
Перейти можно в инженерию данных и хранилища, это наиболее близкие специализации
❓ Уровень з/п у BI специалистов не высокий
Зависит от компании и обязанностей. Чем больше совмещения с DE И DWH, тем выше з/п. Можно работать у вендора (либо консалтинге) на внешних внедрениях, либо в компании на внутренних задачах. В целом согласен, не самые высоки з/п среди IT специальностей
❓ BI не только "рисует графики"
Можно потратить день на причину "почему не работает дашборд", в итоге окажется, что не отработала выгрузка данных или в ней ошибка. "Рисование" это финальный этап в работе BI специалиста
❓ Тенденции рынка по технологиям
С учетом ипортозамещения меняется набор инструментов. Я бы не смотрел в сторону Tableau если в планах нет работы на внешнем рынке. Qlick встречается на внутреннем рынке. Power BI - живет. Отечественные вендоры - зависит от компании, в которой работать, везде свой стек. Из минусов - не так все хорошо как у лидеров, нужно учить JS, CSS, HTML на базовом уровне для разработки чего-то похожего на тройку лидеров
❓ Нужны ли А/Б тесты BI специалисту
Если это есть в позиции, значит это не BI, а уже анализ данных или продуктовые вопросы, а это другие компетенции и стек
Кто согласен ставьте 🔥, кому есть что добавить - делитесь в комментариях
В одном из каналов ответил на публикацию автора, хочу поделиться с вами.
❓ Ожидание от BI
BI это не только рисование графиков, это сильно больше!
❓ Низкий порог входа
Действительно не высокий. НО! Собрать требования, организовать хранилище, понять как дата инженеру поставить задачу (или сделать самому!) тоже нужно знать и уметь. Читайте внимательно вакансии
❓ Куда переходить из BI направления
Перейти можно в инженерию данных и хранилища, это наиболее близкие специализации
❓ Уровень з/п у BI специалистов не высокий
Зависит от компании и обязанностей. Чем больше совмещения с DE И DWH, тем выше з/п. Можно работать у вендора (либо консалтинге) на внешних внедрениях, либо в компании на внутренних задачах. В целом согласен, не самые высоки з/п среди IT специальностей
❓ BI не только "рисует графики"
Можно потратить день на причину "почему не работает дашборд", в итоге окажется, что не отработала выгрузка данных или в ней ошибка. "Рисование" это финальный этап в работе BI специалиста
❓ Тенденции рынка по технологиям
С учетом ипортозамещения меняется набор инструментов. Я бы не смотрел в сторону Tableau если в планах нет работы на внешнем рынке. Qlick встречается на внутреннем рынке. Power BI - живет. Отечественные вендоры - зависит от компании, в которой работать, везде свой стек. Из минусов - не так все хорошо как у лидеров, нужно учить JS, CSS, HTML на базовом уровне для разработки чего-то похожего на тройку лидеров
❓ Нужны ли А/Б тесты BI специалисту
Если это есть в позиции, значит это не BI, а уже анализ данных или продуктовые вопросы, а это другие компетенции и стек
Кто согласен ставьте 🔥, кому есть что добавить - делитесь в комментариях
🔥28❤6
Коллеги, сегодня хочу обратиться к вам, а именно - узнать, что вы ждете от публикаций в канале и будет ли вам интересно выйти за рамки BI? Можно разбирать темы по инженерии данных и хранилищам
👍12
Почему важен дизайн дашборда?
Дашборд - это визуальное представление информации. Его цель - представить сложную информацию в удобном для восприятия формате.
Удобный дашборд должен быть:
1️⃣ Понятным: хороший дашборд четко отображает необходимую информацию. Когда пользователь смотрит на него, он должен иметь возможность понять ее назначение в течение первых 5 секунд. Ему не нужно тратить несколько минут на это
2️⃣ Значимым: дашборд содержит значимую информацию. Значимая информация описывает то, что разработчик дашборда хочет передать с помощью него
3️⃣ Последовательным: информативные дашборды отображают информацию в последовательном формате. Необходимо позаботиться о согласованности его макета, организации и содержания
4️⃣ Простым: сложный дашборд не выполняет свою цель, которая заключается в представлении сложной информации в простой форме. Если визуальное представление информации не делает ее простой, то есть проблемы с дизайном дашборда
Подготовлено на основе 10 Rules of Dashboard Design
Дашборд - это визуальное представление информации. Его цель - представить сложную информацию в удобном для восприятия формате.
Удобный дашборд должен быть:
1️⃣ Понятным: хороший дашборд четко отображает необходимую информацию. Когда пользователь смотрит на него, он должен иметь возможность понять ее назначение в течение первых 5 секунд. Ему не нужно тратить несколько минут на это
2️⃣ Значимым: дашборд содержит значимую информацию. Значимая информация описывает то, что разработчик дашборда хочет передать с помощью него
3️⃣ Последовательным: информативные дашборды отображают информацию в последовательном формате. Необходимо позаботиться о согласованности его макета, организации и содержания
4️⃣ Простым: сложный дашборд не выполняет свою цель, которая заключается в представлении сложной информации в простой форме. Если визуальное представление информации не делает ее простой, то есть проблемы с дизайном дашборда
Подготовлено на основе 10 Rules of Dashboard Design
👍10
Актуальные BI системы на январь 2025 года
Год назад я проводил опрос, который показал, что основной инструмент, используемый для разработки дашбордов это Power BI, второе место занял DataLens, на третьем Superset.
Интересно узнать как изменилась структура за прошедший год. Есть ли влияние импортозамещения и внедрения Open Source решений.
Если не найдете свой инструмент в перечне - напишите в комментариях, учту его в следующий раз.
Год назад я проводил опрос, который показал, что основной инструмент, используемый для разработки дашбордов это Power BI, второе место занял DataLens, на третьем Superset.
Интересно узнать как изменилась структура за прошедший год. Есть ли влияние импортозамещения и внедрения Open Source решений.
Если не найдете свой инструмент в перечне - напишите в комментариях, учту его в следующий раз.
Если у вас есть возможность - поделитесь опросом в своих каналах, чтобы охватить большее число специалистов
Какой основной BI инструмент вы сейчас используете в работе и какой интересен кроме него?
Anonymous Poll
33%
Power BI
8%
Tableau
4%
Qlik
12%
Superset
6%
другие зарубежные BI
4%
Visiology 2
16%
Visiology 3
15%
Analytic Workspace
27%
DataLens
10%
другие российские BI
❤2
Разбор возможного описания вакансии BI специалиста
Смотрим на задачи, среди прочего описания обращайте внимание на следующие формулировки:
Вероятно, речь идет про задачи для продуктового аналитика или аналитика данных, которые работают с данными. Это сильно отличается от того, что делают BI специалисты (аналитики и разработчики)
Стоит уточнить, что имеется ввиду под презентацией. Если задача рассказать как работает дашборд и что он отображает, то это задача BI специалиста. Если обсуждение показателей в плане их экспертной оценки и т.п., то опять же, скорее задача из области работы с данными
Уточняйте какие инструменты используются и какие потоки данных. Если вам не знаком стек или потоки с трансформациями и вы не сможете их поддерживать, то стоит это указать на встречах с HR или собеседовании
Это флаг, указывающий на решение задач дата инженера. Если нет компетенции - обсуждайте, если умеете все делать - повод увеличивать сумму ожидания по з/п.
Советую уточнять, какой инструмент основной, будет ли переход внутри компании и почему такой выбор. Наличие разных инструментов может указывать на необходимость решения задач на стороне клиентов компании
Если интересно проводить такие разборы описаний накидайте 🔥, если нет 💩
Смотрим на задачи, среди прочего описания обращайте внимание на следующие формулировки:
Взаимодействие с заказчиками для совместной выработки гипотез, постановки задач и анализа результатов
Вероятно, речь идет про задачи для продуктового аналитика или аналитика данных, которые работают с данными. Это сильно отличается от того, что делают BI специалисты (аналитики и разработчики)
Презентация аналитических выводов и рекомендаций для заказчиков с целью их успешного внедрения и повышения понимания
Стоит уточнить, что имеется ввиду под презентацией. Если задача рассказать как работает дашборд и что он отображает, то это задача BI специалиста. Если обсуждение показателей в плане их экспертной оценки и т.п., то опять же, скорее задача из области работы с данными
Настройка и оптимизация ETL-пайплайнов для решения аналитических задач
Уточняйте какие инструменты используются и какие потоки данных. Если вам не знаком стек или потоки с трансформациями и вы не сможете их поддерживать, то стоит это указать на встречах с HR или собеседовании
Владение технологическим стеком: Python (pandas, numpy), SQL, Git, Docker, Airflow. Опыт разработки и оптимизации ETL-пайплайнов
Это флаг, указывающий на решение задач дата инженера. Если нет компетенции - обсуждайте, если умеете все делать - повод увеличивать сумму ожидания по з/п.
Опыт работы с инструментами визуализации данных (Tableau, Power BI, DataLens, Superset)
Советую уточнять, какой инструмент основной, будет ли переход внутри компании и почему такой выбор. Наличие разных инструментов может указывать на необходимость решения задач на стороне клиентов компании
Если интересно проводить такие разборы описаний накидайте 🔥, если нет 💩
🔥60👍1
Справочные руководства по визуализации данных
Хочу поделиться с вами интересной подборкой материалов, которые призваны помочь в выборе типа диаграммы для конкретной задачи.
Как написано на странице: коллекция инструментов для выбора диаграмм визуализации данных, справочных руководств, шпаргалок, веб-сайтов и инфографики о передовых методах проектирования визуализации данных
Не забывайте поделиться с коллегами!
Хочу поделиться с вами интересной подборкой материалов, которые призваны помочь в выборе типа диаграммы для конкретной задачи.
Как написано на странице: коллекция инструментов для выбора диаграмм визуализации данных, справочных руководств, шпаргалок, веб-сайтов и инфографики о передовых методах проектирования визуализации данных
Не забывайте поделиться с коллегами!
👍 коллегам отправлено
🔥 никому не покажу
Cool Infographics
Data Visualization Reference Guides — Cool Infographics
Collection of data visualization chart choosers, reference guides, cheat sheets, websites and infographics about dataviz design best practices.
🔥11🤩7
Судя по реакциям на прошлый разбор вакансий BI специалистов эта тема вам интересна. На следующей неделе планирую опубликовать новый разбор с формулировками из резюме
👍13❤1🔥1
Сегодня HR коллеги обратились просьбой помочь подготовить для них опросник на позицию аналитика DWH. В процессе подготовки вопросов решил добавить блок про моделирование баз данных.
Если готовитесь к собеседованию освежите знания про следующие модели:
▫️концептуальную
▫️логическую
▫️физическую
Чтобы коллегам было удобно проводить общение с соискателями помимо возможного варианта ответа на вопрос я прилагаю материал, где можно немного погрузиться в тему. Хочу поделиться с вами одной из таких ссылок.
Если готовитесь к собеседованию освежите знания про следующие модели:
▫️концептуальную
▫️логическую
▫️физическую
Чтобы коллегам было удобно проводить общение с соискателями помимо возможного варианта ответа на вопрос я прилагаю материал, где можно немного погрузиться в тему. Хочу поделиться с вами одной из таких ссылок.
Если интересно что-то узнать про хранилища – накидайте вопросов в комментариях. Там очень много тем для обсуждения.
🔥12👍2
Советы для собеседования
Участвую в собеседованиях на позицию аналитика DWH. Что хочется отметить по промежуточному итогу общения с несколькими десятками человек:
1️⃣ Повторите теорию
2️⃣ Уважайте тех с кем общаетесь
3️⃣ Напитки во время общения
4️⃣ Если не знаете ответа на вопрос
5️⃣ Не волнуйтесь
6️⃣ Решение SQL задач
7️⃣ Рассуждайте
8️⃣ Не отвлекайтесь на переписку и звонки
9️⃣ Используйте ПК или ноутбук для встречи
Как всегда - если было полезно 🔥
Участвую в собеседованиях на позицию аналитика DWH. Что хочется отметить по промежуточному итогу общения с несколькими десятками человек:
1️⃣ Повторите теорию
Не стоит этим пренебрегать. С большой вероятностью вам будут заданы вопросы, которые относятся к теоретической подготовке.
2️⃣ Уважайте тех с кем общаетесь
Выберите место, чтобы освещение не было фронтальным и вас было хорошо видно в кадре. Если за вами находится окно и светит солнце, вместо вас в кадре будет белое пятно
3️⃣ Напитки во время общения
Если хочется попить воды - приготовьте стакан или иную емкость, не используйте пластиковые бутылки
4️⃣ Если не знаете ответа на вопрос
Лучше честно сказать об этом. Не стоит тратить время собеседования, вы можете не показать своих реальных знаний пытаясь подобрать правильный ответ на вопрос, в котором не ориентируетесь
5️⃣ Не волнуйтесь
Задача вопросов понять ваш уровень знаний, а не показать все на встрече, что вы не знаете чего-то
6️⃣ Решение SQL задач
При решении задачи по SQL проговорите шаги, которые планируете предпринять перед тем, как начнете писать код. Так вы покажите какова ваша логика в решении предложенной задачи. Уточните какая база данных используется, т.к. могут быть свои особенности синтаксиса у конкретных СУБД
7️⃣ Рассуждайте
Не стесняйтесь рассуждать в процессе ответов на ваши вопросы. На собеседовании, как правило, от вас не требуется однозначный ответ как на экзамене. Даже не зная изначально ответа в процессе рассуждений вы можете прийти к нему, либо ваши рассуждения покажут, что вы можете найти решение, но вам нужно дополнительное время и возможно поиск информации
8️⃣ Не отвлекайтесь на переписку и звонки
Отключите на время собеседования рабочие и иные чаты, чтобы они не отвлекали вас от собеседования
9️⃣ Используйте ПК или ноутбук для встречи
Старайтесь подключаться к техническим собеседованиям с ноутбука или компьютера. Скорее всего придется решать задачу, возможно нарисовать схему и т.п. На телефоне это будет не так удобно и не всегда возможно
Как всегда - если было полезно 🔥
🔥25👎1
Как устроены BI системы
❓ Вы когда ни будь задумывались, что происходит в вашей BI системе в тот момент, когда вы выбираете один из вариантов в фильтре или через виджет смотрите как изменяются другие, оставляя только выбранный вариант?
На самом деле «под капотом» запускаются процессы, которые обращаются к массиву данных, передают в него выбранный вариант, происходит фильтрация данных, возвращается только необходимый срез, который BI система отрисовывает в виджетах.
Может быть два варианта, как BI система обращается к данным.
1️⃣ Первый, при каждом изменении на дашборде, которое настроено на фильтрацию значений генерируется и отправляется к базе данных запрос, который возвращает результат (пример Apache Superset)
2️⃣ Второй, все данные, которые использует дашборд (назовем их датасетом) хранятся в оперативной памяти и из такого датасета после фильтрации возвращаются на дашборд (пример Power BI, основной его режим работы)
В первом случае каждое обращение создает запрос к базе данных, а значит при большом количестве запросов сервер базы данных должен быть в состоянии их отработать. Во втором, чтобы данные были актуальными необходимо обновлять датасет в памяти. Также первый вариант может уступать по скорости второму.
В следующий раз планирую рассказать, как BI системы отображают отдельные виджеты. Если интересно, накидайте 🔥
❓ Вы когда ни будь задумывались, что происходит в вашей BI системе в тот момент, когда вы выбираете один из вариантов в фильтре или через виджет смотрите как изменяются другие, оставляя только выбранный вариант?
На самом деле «под капотом» запускаются процессы, которые обращаются к массиву данных, передают в него выбранный вариант, происходит фильтрация данных, возвращается только необходимый срез, который BI система отрисовывает в виджетах.
Может быть два варианта, как BI система обращается к данным.
1️⃣ Первый, при каждом изменении на дашборде, которое настроено на фильтрацию значений генерируется и отправляется к базе данных запрос, который возвращает результат (пример Apache Superset)
2️⃣ Второй, все данные, которые использует дашборд (назовем их датасетом) хранятся в оперативной памяти и из такого датасета после фильтрации возвращаются на дашборд (пример Power BI, основной его режим работы)
В первом случае каждое обращение создает запрос к базе данных, а значит при большом количестве запросов сервер базы данных должен быть в состоянии их отработать. Во втором, чтобы данные были актуальными необходимо обновлять датасет в памяти. Также первый вариант может уступать по скорости второму.
Если приходится много работать с одной BI системой изучите ее архитектуру, как она работе с технической стороны.
В следующий раз планирую рассказать, как BI системы отображают отдельные виджеты. Если интересно, накидайте 🔥
🔥15
Как попадают в BI?
Лично я попал в BI в результате того, что для решения задач при разработке систем сквозной аналитики под требования конкретного заказчика возникала необходимость строить дашборды, как результат проделанной работы (которая по большей части остается не видимой, как-то настройка выгрузок по API в хранилище, разработка модели, подготовка данных и т.п.)
Встречал рассказы коллег, что в BI приходят как в первую специализацию работы с данными в результате того, что на работе появилось желание представить данные с новой стороны. Условно не табличками, к которым все привыкли, а в виде интерактивного дашборда.
Кто-то попадает после курсов, когда только ищет, что ему интересно.
Также встречал многих, для кого BI оказалась одна из промежуточных специализаций и человек после некоторого времени решил пойти в инженеры данных или углубится в анализ данных.
Для меня сегодня BI это одно из направлений, которое мне интересно, но также я работаю и изучаю хранилища данных (от задач аналитика до разработчика), инжиниринг данных.
Лично я попал в BI в результате того, что для решения задач при разработке систем сквозной аналитики под требования конкретного заказчика возникала необходимость строить дашборды, как результат проделанной работы (которая по большей части остается не видимой, как-то настройка выгрузок по API в хранилище, разработка модели, подготовка данных и т.п.)
Встречал рассказы коллег, что в BI приходят как в первую специализацию работы с данными в результате того, что на работе появилось желание представить данные с новой стороны. Условно не табличками, к которым все привыкли, а в виде интерактивного дашборда.
Кто-то попадает после курсов, когда только ищет, что ему интересно.
Также встречал многих, для кого BI оказалась одна из промежуточных специализаций и человек после некоторого времени решил пойти в инженеры данных или углубится в анализ данных.
Для меня сегодня BI это одно из направлений, которое мне интересно, но также я работаю и изучаю хранилища данных (от задач аналитика до разработчика), инжиниринг данных.
Интересно узнать вашу историю, как вы попали в BI. Расскажите в комментариях👇
👍3
Путь данных до дашборда
Можно выделить два основных пути, по которым данные попадают на дашборд
1️⃣ Первый, самый короткий – напрямую из источника. В этом случае используется или встроенный коннектор к одной из внешних систем, в которой хранятся данные или API такой системы.
➕ Можно быстро настроить выгрузку данных без участия дата инженеров, нет необходимости в хранилище данных
➖ При значительном объеме данных процесс их получения в BI систему может занимать длительное время, а в некоторых случаях невозможно получить весь необходимый объем данных. Не ко всем системам есть встроенные коннекторы в BI системах
2️⃣ Второй, сложный, но более правильный – организовать выгрузку из источника в хранилище данных, из которого забирать из в BI инструмент. При такой реализации к внешней системе необходимо организовать подключение и регулярное извлечение информации. После получения может потребоваться ее трансформация, затем сохранение в хранилище данных.
➕ Стабильное решение, данные всегда готовы к времени обновления данных в BI системе. Можно организовать инкрементальную загрузку, что снизит нагрузку на внешнюю систему. Также проще обходить ограничения, если они присутствуют в API внешней системы.
➖ Сложное решение. Требует участия инженера данных и организации хранилища данных. Необходим мониторинг обновления и качества данных.
❓ Какой вариант вы используете чаще всего на своих проектах?
Можно выделить два основных пути, по которым данные попадают на дашборд
1️⃣ Первый, самый короткий – напрямую из источника. В этом случае используется или встроенный коннектор к одной из внешних систем, в которой хранятся данные или API такой системы.
➕ Можно быстро настроить выгрузку данных без участия дата инженеров, нет необходимости в хранилище данных
➖ При значительном объеме данных процесс их получения в BI систему может занимать длительное время, а в некоторых случаях невозможно получить весь необходимый объем данных. Не ко всем системам есть встроенные коннекторы в BI системах
2️⃣ Второй, сложный, но более правильный – организовать выгрузку из источника в хранилище данных, из которого забирать из в BI инструмент. При такой реализации к внешней системе необходимо организовать подключение и регулярное извлечение информации. После получения может потребоваться ее трансформация, затем сохранение в хранилище данных.
➕ Стабильное решение, данные всегда готовы к времени обновления данных в BI системе. Можно организовать инкрементальную загрузку, что снизит нагрузку на внешнюю систему. Также проще обходить ограничения, если они присутствуют в API внешней системы.
➖ Сложное решение. Требует участия инженера данных и организации хранилища данных. Необходим мониторинг обновления и качества данных.
В зависимости от стоящей задачи можно выбрать наиболее подходящий вариант. Например, для разового запроса, подойдет первый, если стоит задача разработать дашборд с несколькими источниками, то лучше использовать второй. Также первый вариант можно использовать для создания MVP (например, для первого показа и обсуждения с заказчиком)
❓ Какой вариант вы используете чаще всего на своих проектах?
👍5🔥2
39 исследований человеческого восприятия
Сегодня хочу поделиться с вами материалом о методах визуализации и их восприятии. Автор Кеннеди Эллиотт, графический редактор в The Washington Post.
В статье представлена выжимка из психологических исследований, изученных автором. Если захотите углубиться в исследования полностью, чтобы познакомиться с полными выводами, в конце материала есть ссылки на них.
@analyst_ivanov
Сегодня хочу поделиться с вами материалом о методах визуализации и их восприятии. Автор Кеннеди Эллиотт, графический редактор в The Washington Post.
В статье представлена выжимка из психологических исследований, изученных автором. Если захотите углубиться в исследования полностью, чтобы познакомиться с полными выводами, в конце материала есть ссылки на них.
@analyst_ivanov
Оди. О дизайне
39 исследований человеческого восприятия | Психология — Оди
Чем больше в гистограммах компонентов, тем сложнее оценить их пропорции. Чтобы обработать каждый новый компонент в гистограмме, читателю требуются...
🔥10❤2
Изменения в канале
В ближайшее время у канала изменится название,а чуть позже и привычный аватар.
Остаемся на связи! Впереди много нового и интересного
В ближайшее время у канала изменится название,
Канал станет еще интереснее наполнен большим количеством практических советов и кейсами из моего личного опыта. Тематика канала станет шире. Уверен, от этого его польза для вас увеличится.
Остаемся на связи! Впереди много нового и интересного
👍17🔥3
Кругозор и навыки BI специалиста
❓ Возможно вы заметили, что я стараюсь использовать формулировку
На многих проектах очень сложно разделить аналитика и разработчика, т.к. задачи у них сильно пересекаются. Вам может «повезти» и вы будете заниматься только «рисованием» дашбордов по готовым моделям, но такое бывает крайне редко.
Как правило данные нужно подготовить, построить модель и уже потом строить дашборд. Здесь потребуется навыки инженера данных и немного специалиста по хранилищам. Даже если лично не придется что-то делать, то поставить задачу разработчикам нужно, а как это сделать если нет понимания, каким образом они решают такие задачи?
Работая с источниками возникает запрос на работу с API. Погружаясь в эту тему приходит понимание, что свои запросы нужно как-то тестировать, а как? Что делать с результатом, полученным в JSON формате? И так далее.
Предположим с источниками разобрались, теперь требуется как-то полученные данных хранить. Нужно организовать модель данных. Что можно сделать: построить звезду или снежинку, а может быть для вашего BI инструмента лучше большая плоская денормализованная таблица?
Я привел лишь несколько наиболее часто возникающих задач и того, что может понадобиться для их решения. Как видите для BI специалиста важно знать и понимать процессы и технологии смежных специализаций.
Как я могу самостоятельно изучать то, о чем написано выше? На самом деле это не сложно начать делать.
Если вы совмещаете роль BI аналитика и BI разработчика, поставьте 💯 , если вы решаете задачи только BI аналитика 🔥 . Если у вас иная роль, то выберите один из других вариантов
BI на практике | @make_bi
❓ Возможно вы заметили, что я стараюсь использовать формулировку
BI специалист, а не привычные BI аналитик или BI разработчик. Почему?На многих проектах очень сложно разделить аналитика и разработчика, т.к. задачи у них сильно пересекаются. Вам может «повезти» и вы будете заниматься только «рисованием» дашбордов по готовым моделям, но такое бывает крайне редко.
Как правило данные нужно подготовить, построить модель и уже потом строить дашборд. Здесь потребуется навыки инженера данных и немного специалиста по хранилищам. Даже если лично не придется что-то делать, то поставить задачу разработчикам нужно, а как это сделать если нет понимания, каким образом они решают такие задачи?
Работая с источниками возникает запрос на работу с API. Погружаясь в эту тему приходит понимание, что свои запросы нужно как-то тестировать, а как? Что делать с результатом, полученным в JSON формате? И так далее.
Предположим с источниками разобрались, теперь требуется как-то полученные данных хранить. Нужно организовать модель данных. Что можно сделать: построить звезду или снежинку, а может быть для вашего BI инструмента лучше большая плоская денормализованная таблица?
Я привел лишь несколько наиболее часто возникающих задач и того, что может понадобиться для их решения. Как видите для BI специалиста важно знать и понимать процессы и технологии смежных специализаций.
Как я могу самостоятельно изучать то, о чем написано выше? На самом деле это не сложно начать делать.
Попробуйте найти открытые API, где можно подключиться и запросами извлекать данные. Сначала через Postman, например, затем напишите скрипт на Python. Затем автоматизируйте его запуск по расписанию. Следующим этапом усложните, чтобы он не только получал данные, но и сохранял их в базе данных.
Если вы совмещаете роль BI аналитика и BI разработчика, поставьте 💯 , если вы решаете задачи только BI аналитика 🔥 . Если у вас иная роль, то выберите один из других вариантов
BI на практике | @make_bi
💯35🔥5