В статье Noteable здорово описан жизненный цикл визуализации данных в организации:
🔹Exploratory data analysis;
🔹Генерация и проверка гипотез;
🔹Описательные и объясняющие графики;
🔹Построение аналитических бизнес-приложений;
🔹Отслеживание метрик и принятие стратегических решений.

Дальше они, конечно, набрасывают, что обычно эти виды анализа часто живут в разных инструментах, а в их «Dashtellingbooks» (data storytelling, dashboards and notebooks) все прекрасно и логично сочетается.

Сама по себе идея единого инструмента для разных ролей не новая, но интересно, что теперь в эту сторону все чаще идут не только крупные вендоры аналитических решений, но еще и стартапы.

🔗Ссылка

#инструменты #визуализации

Обмен опыта по использованию Tableau и Power BI от двух авторов, которых я читаю - Продакт аналитикс и Налейте аналитику.

Круто, что раскрыта актуальная для топовых BI-инструментов тема лицензирования и ценообразования.

#business_intelligence #каналы

Добрый вечер, друзья!
Совместно с Андреем - автором канала Налейте аналитику и по совместительству лидом аналитики в Литрес - подготовили небольшой разбор BI-систем: я много работала и продолжаю работать с Tableau, а у Андрея имеется значительный опыт работы с MS PowerBI.

Как известно, это самые распространенные BI-инструменты, поэтому каждый из нас расскажет о своем.


Tableau (сайт Tableau).


➕ Действительно классно визуализирует данные, превращая их в крутые дашборды, являющиеся образцом качества и дизайна (чем могут похвастаться далеко не все визуализаторы)

➕ Достаточно легкий и интуитивно понятный в использовании

➕ Обладает высокой производительностью, потому что тянет даже очень big data

➕ Поддерживает мобильную версию (что крайне важно, если вы, например, делаете много дашбордов с KPI, а у ваших заказчиков возникла резкая потребность что-то проверить - можете быть уверены, качество на мобильной версии не поедет)

➕ Огромное сообщество пользователей Tableau -на 99,9% вопросов вы найдете ответы в различных видео на ютубе, stackoverflow, официальных видео на сайте инструмента и т.д.)

Теперь о минусах.

➖ Дорого и даже очень, поэтому подходит в большинстве своем для крупных компаний, которые могут себе это позволить

➖ Ценообразование негибкое, то есть, отсутствует индивидуальный подход к клиентам и всем из них предлагается расширенная лицензия, хотя она может быть не особо актуальна для компании

➖ Не самый безопасный инструмент - не обеспечивает 100% защиту данных

➖ Фактическое отсутствие постпродажного обслуживания - в вашу проблему навряд ли будут вникать, скорее, просто предложат докупить какой-то пакет, и на сим поддержка закончится

➖ Вечные проблемы с версиями - что-то будет доступно в старой версии, а что-то - уже нет

➖ Несмотря на опцию постановки каких-то отчетов на расписание, тем не менее что-то придется перепинывать вручную, что не всегда удобно

➖ Чтобы сделать какие-то элементы, которые часто нужны в дашбордах, вам часто может понадобиться использование различных костылей с копированием элементов из Гугла, хитровыдуманных функций и просмотров видео с коллегами из Индии

#рынокIT #полезности #истинаневпоследнейинстанции

PowerBI (сайт PowerBI) - опыт Андрея


➕ Гибкая ценовая политика. Есть лицензии Pro, которые стоят 10$ в месяц на пользователя. То есть, если в небольшой компании, скажем, 2 аналитика и 28 человек, которым нужен доступ на просмотр отчетов - то это выйдет в 300$ в месяц (250 тысяч рублей в год). Возможности в Pro-версии, конечно, порезаны, но многим с головой хватит и этого - обновление по расписанию есть, коннекторы к десяткам источников данных на месте. Premium-версия отличается возможностью развернуть PBI на своем сервере и выделенным сервером отчетов, что нужно для компаний со строгой политикой безопасности и работы с большими объемами данных

➕ Низкий порог вхождения в создание отчетов, буквально возможность создать отчет, не написав ни одной строчки кода. Да, в PBI есть свой язык формул - DAX и язык запросов Power Query (как и в Excel), но для несложных отчетов про это можно не вспоминать. После загрузки данных в PBI для работы с ними открывается визуальный интерфейс, очень сильно напоминающий Excel, в котором табличные данные легко обрабатываются, преобразуются, добавляются новые столбцы и вычисляются новые меры. Опять же, если приводить в качестве аналогии Excel, то это как записать макрос, только проще.

➕ Много разнообразных визуализаций - от столбчатых диаграмм до диаграмм Ганта и карты мира.

➕ Неплохая мобильная версия, в т.ч. приложения для IOS/Android. Как и в Tableau, посмотреть в дороге, не упала ли вчера выручка, очень подойдет.

➕ По единичному личному опыту - неплохая русскоязычная поддержка, вопрос был решен в течение 2 дней.

Минусы, конечно же, тоже есть.

➖ Отсутствие PowerBI Desktop - основного инструмента создания отчетов и подключения к данным - на Mac OS.

➖ Ограничения на объемы. Смешные для некоторых компаний ограничения на объемы в лицензии Pro - это еще ничего (1Гб размер отчета/файла .pbix, 10Гб размер одного источника данных), т.к. в Premium на порядки больше, подробнее здесь. А вот ограничение в 150 тысяч строк на экспорт из отчета в Excel/csv - это в 2021 году недопустимо. Конечно, прекрасно, что любой пользователь опубликованного отчета может скачать сырые данные таблиц/графиков себе в Excel/csv и работать с ними самостоятельно. Но 150 тысяч строк? Excel уже давно поддерживает 2 в степени 20 строк (если калькулятора под рукой нет, то это 1 048 576 строк), я писал об этом здесь. И этот объем лицензией Premium не увеличить.

➖ Отсутствие в лицензии Pro жизненно необходимых функций. Понятно, что MS стимулирует выбирать более дорогую лицензию - но, например, инкрементальное добавление данных есть только в премиуме, что уже совсем нехорошо.

➖ Подключение к локальным источникам через персональный шлюз работает не очень хорошо. Обновление в оперативной памяти компьютера, на котором установлен PowerBI Desktop при использовании персонального шлюза, ограничивает объем данных, которые может вместить PBI, а также загружает оперативку компьютера под 100%.

➖ Несмотря на обилие визуализаций, к ним иногда возникают вопросы. Во-первых, вырвиглазные цвета в стандартной цветовой схеме - ярко-красный, очень интенсивный цвет морской волны, обилие каких-то козявочных оттенков. Иногда, чтобы добиться приемлемого вида, если категорий много, сидишь только над цветами по полчаса. Во-вторых, например, сглаженная линия, которую в 2 клика можно сделать в Excel, тут недоступна, что делает многие графики неприятно ломаными.

#рынокIT #полезности #истинаневпоследнейинстанции

Пугающая история про облачные базы данных и безопасность.

Microsoft Azure сначала просто прикрутил к CosmosDB новую фичу - визуализацию через Jupyter Notebook, а потом стал активировать для всех по-умолчанию.

Все бы ничего, но из-за ряда косяков через «ноутбук» можно было извне получить доступ к клиентским данным.

Хакеры попались добрые, сообщили компании, которая оперативно закрыла дыру. Но осадочек, думаю, останется (история свежая и далеко идущие последствия пока не отследить).

На всякий случай: против облаков не топлю, никого не осуждаю, ошибиться может каждый.
Рассматриваю ситуацию скорее как урок для всех, кто работает над дата-продуктами или обрабатывает чувствительные данные:
Помните о безопасности.

Причем «помнить» - это не столько про «задумываться», сколько про «активно содействовать» тому, чтобы данные компании не утекли куда не следует.

Клиентам в данной ситуации остается только посочувствовать.

Вот тут подробно пишут про эту историю:

🔗Ссылка

#инфраструктурное

Подборка BI-инструментов на все случаи жизни:
- модные и универсальные;
- для стартапов;
- для enterprise (c Qlik, видимо, что-то не поделили);
- open-source;
- white label для встраивания в приложения.

Есть такие, о которых я даже не слышал.

В очередной раз встречаю рекомендацию Metabase. Если у кого-то есть опыт практического использования - напишите, пожалуйста, в личку. Интересно, как с ним обстоят дела в СНГ-сообществе.

🔗Ссылка

#business_intelligence #инструменты

Накопилось неожиданно много аудио и видео контента, который произвел на меня хорошее впечатление.

Так что пусть случится небольшой дайджест.

1️⃣ Датаголики - подкаст про BI-инструменты, enterprise, проекты внедрений и (внезапно!) аналитику в гос. организациях.

2️⃣ Необычный для меня формат - короткие вводные видео про it и технологии, записанные на основе популярных статей.
Про наше, аналитическое:
- большие данные;
- машинное обучение.

3️⃣ Выпуски подкаста make sense вокруг да около аналитики:
- О базовых понятиях Machine Learning и AI в продуктах с Анной Трушкиной;
- О юнит-экономике и продуктовых фреймворках, границах применимости и заблуждениях с Ильей Красинским.

4️⃣ Бодрое 14-ти минутное видео про базовые инструменты аналитика. Все как мы любим: SQL, Python, BI, без Excel тоже не обошлось.

#учебное #дайджест

Статья с 20 советами по оформлению визуализаций.

По классике, рекомендуют:
- думать об осях;
- прибегать к адекватной сортировке;
- правильно выбирать цвета;
- не мудрить со сглаживанием линий, тенями, 3D и прочими оккультными практиками.

Довольно иронично, что 5 советов касаются пай-чартов, которые принято либо использовать очень осторожно, либо избегать вовсе. Бонус: 100500 статья про то, что с ними (не) так.

Помимо прочего есть авторская классификация визуализаций (заглавная картинка поста).

🔗Ссылка

#визуализации

Как выйти на высококонкурентный рынок BI-инструментов, если о тебе ничего не знает Gartner Magic Quadrant?

Да как обычно: «мочить конкурентов» и обещать, что с твоим решением будет в 10 раз проще работать.

Аргумент «с классическим BI вы переплачиваете за разработчиков» очень мощный, но мне лично не верится, что Hyper Anna настолько self-service, что нет дополнительной стоимости и бизнес-пользователи сами аналитику накликают.
Или, что совсем утопия, все само из коробки заработает.

Тем не менее, пример отстройки от конкурентов через маркетинг довольно качественный.

🔗Ссылка

#business_intelligence

Ребята, делающие дата-каталог Castor, собрали Landscape так называемого «современного» стека технологий для обработки данных.

Много облачного и модно-современного (в datalearn у Димы Аношина есть клевое определение "Fancy tools").

Для каждой категории есть статья с принципами работы и сравнением инструментов.
Пока описано далеко не все, дата-платформы и визуализацию остается только ждать.

Забавно, что вместо сайта тут Notion, настоящая стартап-история!

Про более известную монструозную версию "ландшафта" дата-инструментов писал тут.

🔗Ссылка

#инструменты

Еще один взгляд на то, чем занимаются разные "виды" аналитиков в IT. Что приятно, со ссылками на более глубокие статьи по каждому из них.

В самом канале @analysis_it подкупает то, что автор(ы) существенно быстрее некоторых (я все еще слоупок) постят актуальные материалы из отраслевых блогов и площадок.

#компетенции #каналы

Привет👋🏼 Сегодня предлагаю немного погрузиться в сферу ИТ-аналитика и разобраться в сортах некоторых из них:

📌 Бизнес-аналитик - собирает и выявляет требования со стороны бизнеса к будущему продукту или функциям системы, также выявляет потребности для изменений, обобщает их, фиксирует, классифицирует и принимает решения об изменении процессов. После чего переводит их на понятный язык для инженеров
📝Бизнес-аналитики в IT: кто они и что делают

📌 Системный аналитик - IT-специалист широкого профиля, который отвечает за сбор требований к системе, занимается проектированием технического решения и ставит задачи команде разработки
📝Системный аналитик: что делает, сколько получает и как им стать

📌 UX-Аналитик- собирает и анализирует данных о том, как пользователи взаимодействуют с сайтом, приложением или другим продуктом
📝Кто такой UX-аналитик, чем он занимается и какие инструменты использует

📌 Аналитик данных - собирает, обрабатывает, изучает и интерпретирует данные
📝Чем занимается аналитик данных и как им стать

📌 Web-аналитик - занимается сбором и анализом информации о посетителях сайта и их поведении. Он взаимодействует с разными системами аналитики (например, Google Analytics), определяет важные для того или иного бизнеса параметры и интерпретирует их
📝Кто такой веб-аналитик

📌 Продуктовый аналитик - ищет точки роста в продукте и данные о поведении пользователя
📝Кто такие продуктовые аналитики и зачем они нужны в команде

Источник: @analysis_it

С минуты на минуту начнется конференция Smart Data 2021. Там традиционно куча технических докладов про дата-инжиниринг и инфраструктуры для аналитики данных.

В этом году я даже получил заветный билет на нее и смогу посмотреть онлайн.

Есть клевая новость, что на 4 день можно пройти по бесплатному билету, подробнее вот тут в посте организаторов.

#конференции

В статье "An Overview of Dashboarding Technology in the Age of Big Data" рассматриваются 4 альтернативных способа строить дашборды в 2к21:
🔹BI-инструменты;
🔹Notebooks (Deepnote);
🔹Python-библиотеки (Streamlit + Dash);
🔹Frontend к SQL (Redash).

Для каждого из случаев довольно логично описаны сценарии использования и границы применения.

🔗Ссылка

#инструменты #business_intelligence

Неожиданные новости из мира BI-инструментов: Looker и Tableau партнерятся вместо того, чтобы пытаться друг друга скушать.

У Николая на Smart Data 2021 был клевый доклад про Looker ML, который лично для меня приоткрыл завесу тайны над тем, чем крут Looker для self-service.

Если не смотрели - ждите появления докладов на ютубчике (в 2020 году многие доклады с конференции выложили в открытый доступ).

#инструменты #business_intelligence #конференции

Партнерство Tableau и Looker (Google)
На прошлой неделе Tableau объявил о партнерстве с Google и Looker в контексте Self-service аналитики, новость сама по себе очень интересная. Казалось бы, два конкурента в вопросах BI. Однако, кажется, Google в большей степени рассматривает Looker в качестве семантического слоя для описания данных в хранилище и видит перспективу именно в LookML, тогда как визуализацию данных можно отдать Tableau.

Я часто привожу ссылку на блог Benn Stancil, и сейчас в блоге есть соответствующая статья на этот счет: BI is dead.

А в статье любопытная цитата:
Looker choosing to partner with Tableau makes particular sense because Looker’s always been a transformation tool first, and a consumption tool second. Looker’s crown jewel is LookML; Tableau’s is visualization. I’d speculate that Looker originally built its visualization tooling in large part so that they could market and sell the value of LookML, rather than the other way around. By launching this integration, Looker is simply doubling down on that long-standing identity.

#ссылка

Статья "The relationship between data SLAs & data products" подробно раскрывает тезис "данным тоже нужен SLA".

Перед формулированием самих "процентов доступности" сервиса предлагается оценивать 4 критерия:
🔹 доступность;
🔹 полнота;
🔹 точность;
🔹 возможность оперативного контроля и исправления.

И уже дальше сверху этого намазать KPI, что выглядит довольно логично.

🔗Ссылка

#качество #продуктовое

Готовые обзоры - неплохой способ расширить свое понимание рынка, на котором работаешь.

Периодически сам обращаюсь к подобным статьям от NEWHR:
🔹рынок аналитиков;
🔹рынок продактов.

Чтобы такие статьи появлялись и были основаны на реальных данных, их авторы проводят опросы профильных специалистов.

В этом году требуются продуктовые аналитики, руководители аналитиков и смежные с ними продакты. Если вы таковой - давайте поможем получить актуальную информацию.

Вот тут подробнее рассказывают, зачем это все и какова механика вознаграждений (да, она есть).

🔗Ссылка на прохождение опроса

#опрос #анализ_рынка

В статье "5 Roles in Data in 2021" в едином формате описаны 5 ролей в современных дата-командах:
🔹Data Analyst
🔹Business analyst
🔹Data scientist
🔹Data engineer
🔹Machine Learning Engineer

Немного не хватает сводной таблички или иллюстрации границ ответственности.

Зато есть еще такая статья с добавлением продактов и SRE для полноты картины.

🔗Ссылка

#компетенции

Не очень понимаю, зачем в октябре составлять топ визуализаций за год.

Тем не менее, некоторые из них мне сильно приглянулись:
🔹Интерактивный sankey из вложения к посту;
🔹3D-карта протянутых под океанами оптических кабелей;
🔹гонка стран по потреблению алкоголя;
🔹стильная карта ментальных заболеваний в темной теме.

Ниже по ссылке можно найти еще 6 вариантов на любой вкус. Получилась очень разнообразная подборка как по исследуемым темам, так и по вариантам отображения информации.

🔗Ссылка

#визуализации

Восхитительная карта технологий для аналитики данных ("Технославия").

Авторы отмечают следующие тренды 2021 года:
🔹Много инструментов удалили и заменили, основные новшества: SageMaker, Kubernetes, PyTorch, MLFlow, Kubeflow;
🔹Добавилась целая "инфраструктурная территория" с гипероблаками и кубернетисом;
🔹DS-ноутбуки признаны IDE, так как функциональность их продолжает расти;
🔹Растет количество realtime-технологий, но они все еще на отдельном "острове".

P.S. "Болото очистки данных" - one love, очень жизненно.

🔗Ссылка

#инфраструктурное