Привет👋🏼 Сегодня предлагаю немного погрузиться в сферу ИТ-аналитика и разобраться в сортах некоторых из них:

📌 Бизнес-аналитик - собирает и выявляет требования со стороны бизнеса к будущему продукту или функциям системы, также выявляет потребности для изменений, обобщает их, фиксирует, классифицирует и принимает решения об изменении процессов. После чего переводит их на понятный язык для инженеров
📝Бизнес-аналитики в IT: кто они и что делают

📌 Системный аналитик - IT-специалист широкого профиля, который отвечает за сбор требований к системе, занимается проектированием технического решения и ставит задачи команде разработки
📝Системный аналитик: что делает, сколько получает и как им стать

📌 UX-Аналитик- собирает и анализирует данных о том, как пользователи взаимодействуют с сайтом, приложением или другим продуктом
📝Кто такой UX-аналитик, чем он занимается и какие инструменты использует

📌 Аналитик данных - собирает, обрабатывает, изучает и интерпретирует данные
📝Чем занимается аналитик данных и как им стать

📌 Web-аналитик - занимается сбором и анализом информации о посетителях сайта и их поведении. Он взаимодействует с разными системами аналитики (например, Google Analytics), определяет важные для того или иного бизнеса параметры и интерпретирует их
📝Кто такой веб-аналитик

📌 Продуктовый аналитик - ищет точки роста в продукте и данные о поведении пользователя
📝Кто такие продуктовые аналитики и зачем они нужны в команде

Источник: @analysis_it

С минуты на минуту начнется конференция Smart Data 2021. Там традиционно куча технических докладов про дата-инжиниринг и инфраструктуры для аналитики данных.

В этом году я даже получил заветный билет на нее и смогу посмотреть онлайн.

Есть клевая новость, что на 4 день можно пройти по бесплатному билету, подробнее вот тут в посте организаторов.

#конференции

В статье "An Overview of Dashboarding Technology in the Age of Big Data" рассматриваются 4 альтернативных способа строить дашборды в 2к21:
🔹BI-инструменты;
🔹Notebooks (Deepnote);
🔹Python-библиотеки (Streamlit + Dash);
🔹Frontend к SQL (Redash).

Для каждого из случаев довольно логично описаны сценарии использования и границы применения.

🔗Ссылка

#инструменты #business_intelligence

Неожиданные новости из мира BI-инструментов: Looker и Tableau партнерятся вместо того, чтобы пытаться друг друга скушать.

У Николая на Smart Data 2021 был клевый доклад про Looker ML, который лично для меня приоткрыл завесу тайны над тем, чем крут Looker для self-service.

Если не смотрели - ждите появления докладов на ютубчике (в 2020 году многие доклады с конференции выложили в открытый доступ).

#инструменты #business_intelligence #конференции

Партнерство Tableau и Looker (Google)
На прошлой неделе Tableau объявил о партнерстве с Google и Looker в контексте Self-service аналитики, новость сама по себе очень интересная. Казалось бы, два конкурента в вопросах BI. Однако, кажется, Google в большей степени рассматривает Looker в качестве семантического слоя для описания данных в хранилище и видит перспективу именно в LookML, тогда как визуализацию данных можно отдать Tableau.

Я часто привожу ссылку на блог Benn Stancil, и сейчас в блоге есть соответствующая статья на этот счет: BI is dead.

А в статье любопытная цитата:
Looker choosing to partner with Tableau makes particular sense because Looker’s always been a transformation tool first, and a consumption tool second. Looker’s crown jewel is LookML; Tableau’s is visualization. I’d speculate that Looker originally built its visualization tooling in large part so that they could market and sell the value of LookML, rather than the other way around. By launching this integration, Looker is simply doubling down on that long-standing identity.

#ссылка

Статья "The relationship between data SLAs & data products" подробно раскрывает тезис "данным тоже нужен SLA".

Перед формулированием самих "процентов доступности" сервиса предлагается оценивать 4 критерия:
🔹 доступность;
🔹 полнота;
🔹 точность;
🔹 возможность оперативного контроля и исправления.

И уже дальше сверху этого намазать KPI, что выглядит довольно логично.

🔗Ссылка

#качество #продуктовое

Готовые обзоры - неплохой способ расширить свое понимание рынка, на котором работаешь.

Периодически сам обращаюсь к подобным статьям от NEWHR:
🔹рынок аналитиков;
🔹рынок продактов.

Чтобы такие статьи появлялись и были основаны на реальных данных, их авторы проводят опросы профильных специалистов.

В этом году требуются продуктовые аналитики, руководители аналитиков и смежные с ними продакты. Если вы таковой - давайте поможем получить актуальную информацию.

Вот тут подробнее рассказывают, зачем это все и какова механика вознаграждений (да, она есть).

🔗Ссылка на прохождение опроса

#опрос #анализ_рынка

В статье "5 Roles in Data in 2021" в едином формате описаны 5 ролей в современных дата-командах:
🔹Data Analyst
🔹Business analyst
🔹Data scientist
🔹Data engineer
🔹Machine Learning Engineer

Немного не хватает сводной таблички или иллюстрации границ ответственности.

Зато есть еще такая статья с добавлением продактов и SRE для полноты картины.

🔗Ссылка

#компетенции

Не очень понимаю, зачем в октябре составлять топ визуализаций за год.

Тем не менее, некоторые из них мне сильно приглянулись:
🔹Интерактивный sankey из вложения к посту;
🔹3D-карта протянутых под океанами оптических кабелей;
🔹гонка стран по потреблению алкоголя;
🔹стильная карта ментальных заболеваний в темной теме.

Ниже по ссылке можно найти еще 6 вариантов на любой вкус. Получилась очень разнообразная подборка как по исследуемым темам, так и по вариантам отображения информации.

🔗Ссылка

#визуализации

Восхитительная карта технологий для аналитики данных ("Технославия").

Авторы отмечают следующие тренды 2021 года:
🔹Много инструментов удалили и заменили, основные новшества: SageMaker, Kubernetes, PyTorch, MLFlow, Kubeflow;
🔹Добавилась целая "инфраструктурная территория" с гипероблаками и кубернетисом;
🔹DS-ноутбуки признаны IDE, так как функциональность их продолжает расти;
🔹Растет количество realtime-технологий, но они все еще на отдельном "острове".

P.S. "Болото очистки данных" - one love, очень жизненно.

🔗Ссылка

#инфраструктурное

⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️

Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвычайно распространены, ведь профессии в IT-сфере сейчас очень популярны. Думаю, что огромная часть аудитории данного канала либо прошла, либо собирается пройти курсы, связанные с анализом данных.

Прошу вас пройти опрос и оставить ваше искреннее мнение о той школе, курс в которой вы прошли. Хорошее, плохое, главное, не безразличное!

Буду признателен коллегам владельцам каналов по аналитике за репост. Разумеется, результатами опроса мы вскоре с вами поделимся в виде симпатичного дашборда 🤓

➡️ Ссылка на опрос

p.s. Любые комменты по опросу тоже приветствуются

Вчера окончательно подтвердилось, что смогу поехать на Матемаркетинг 2021. По очевидным причинам давно не был на оффлайн-мероприятиях, рад, что такое сейчас вообще возможно.

Алексею, команде Матемаркетинга, спикерам (среди которых, кстати, можно увидеть авторов клевых аналитических каналов) - огромное спасибо!

Сегодня ребята писали, что еще есть шанс забежать в последний вагон уходящего поезда, стоит поспешить, если еще не решились.

🔗Ссылка

#конференции

"Browser-Based Database Clients" - обзорная статья про варианты подключения к базам данных через браузер:
🔸SQL-клиенты гиперскейлеров (AWS, GCP, Azure);
🔸ноутбукоподобные клиенты (Count.co, Databricks SQL notebook, Franchise);
🔸BI-инструменты, которые могут в SQL (Redash, Metabase, Superset);
🔸Другое (SQLPad, PopSQL, JackDB).

С инструментами из последней категории сталкиваюсь впервые, кажется могут подойти для базовых сценариев, когда дашборды не нужны.

🔗Ссылка

#базы_данных #инструменты

Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных".

Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.

К перечисленному в посте могу добавить 2 больших блока болей:

🔸Демократизация данных и self-service BI. Аналитики все чаще становятся бутылочным горлышком в процессе принятия решений и больше времени тратят в роли интерфейса к базе данных для своих коллег. Решают ее все по-разному, в основном с помощью новых процессов, open-source инструментов или самостоятельной разработки.

🔸Работа аналитиков в маркетинге сильно меняется из-за новых privacy-политик от Apple и Google и возможности запрета трекинга. Способы дальше работать есть, но со стороны выглядят как костыли. Я в этом, честно говоря, не разбираюсь и был сильно удивлен масштабом бедствия.

P.S. был безумно рад всех увидеть в оффлайне и познакомитсья с кучей клевых ребят!

#конференции

Что болит

Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.

Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше: добавляются новые, старые — меняются. И в какой-то момент наступает ДАТА-ХАОС!

И вот сейчас основные боли — это документация и описанные модели данных.
⁃ Таблицы на десятки и сотни колонок без описания и странными названиями
⁃ Таблиц по заказам — пять разных вариантов (плюс ещё сколько-то вьюх по ним)
⁃ Эвенты, названные абы как
⁃ Метрики, которые каждый рассчитывает по-своему и в конце ни у кого ничего не сходится ¯\_(ツ)_/¯

Короче, тренд сезона — дата-инфраструктура.

Кажется, к 2021 году всех уже убедили, что эксель - это не база данных.

И тут такое: статья про то, как анализировать с его помощью csv-шку с 10 миллионами строк.

Автору всего-то понадобилась версия посвежее, подключение к файлу без его загрузки на лист, Power Query и слабоумие с отвагой.

Кейс занятный, но что-то внутри меня протестует против такого сценария использования.

🔗Ссылка

#excelное

Энтузиаст проанализировал 30000 вакансий и составил вот такую сеть IT-шных навыков.

В области работы с данными удивляет небольшой размер "шарика" Python и отсутствие популярных библиотек (может, убрали, чтобы не перегружать элементами).

В статье "Building a Network of Related IT-Skills" подробно описывается сбор, очистка и обработка данных.

🔗Ссылка

#проекты

Когда-то это должно было случиться: теперь можно не только на работе ковыряться в больших данных и ML, но еще и дома делать тоже самое, но в игровой форме.

#проекты

Игра в Data Scientist

Search Data, Trends & Analytics: Catching the Pulse of a Market and its Consumers (no cookies required)

Пример того, как можно реализовать отслеживание трендов на минималках с использованием данных по поисковым запросам.

В полной версии дашборда можно поковыряться самому.

Статья с описанием методологии тут:

🔗Ссылка

#проекты

В статье "Data Advantage Matrix: A New Way to Think About Data Strategy" нашел интересный взгляд на построение стратегии по работе с данными. Автор предлагает использовать матрицу для оценки верхнеуровневых инициатив.

Всего оценивается 4 вида создаваемых преимуществ:
🔹Операционные;
🔹Стратегические;
🔹Продуктовые;
🔹Бизнесовые.

В рамках каждого можно запускать проекты в одной из 3 стадий проработанности:
🔸Базовый (MVP, low-code);
🔸Средний (инвестиции в платформенные сервисы и дата-команды);
🔸Продвинутый (полный data driven).

В зависимости от сферы деятельности компании, приоритет преимуществ и проектов будет отличаться. На заглавной картинке пример для SaaS-стартапа, в статье есть и другие.

🔗Ссылка

#стратегия