Накопилось неожиданно много аудио и видео контента, который произвел на меня хорошее впечатление.

Так что пусть случится небольшой дайджест.

1️⃣ Датаголики - подкаст про BI-инструменты, enterprise, проекты внедрений и (внезапно!) аналитику в гос. организациях.

2️⃣ Необычный для меня формат - короткие вводные видео про it и технологии, записанные на основе популярных статей.
Про наше, аналитическое:
- большие данные;
- машинное обучение.

3️⃣ Выпуски подкаста make sense вокруг да около аналитики:
- О базовых понятиях Machine Learning и AI в продуктах с Анной Трушкиной;
- О юнит-экономике и продуктовых фреймворках, границах применимости и заблуждениях с Ильей Красинским.

4️⃣ Бодрое 14-ти минутное видео про базовые инструменты аналитика. Все как мы любим: SQL, Python, BI, без Excel тоже не обошлось.

#учебное #дайджест

Статья с 20 советами по оформлению визуализаций.

По классике, рекомендуют:
- думать об осях;
- прибегать к адекватной сортировке;
- правильно выбирать цвета;
- не мудрить со сглаживанием линий, тенями, 3D и прочими оккультными практиками.

Довольно иронично, что 5 советов касаются пай-чартов, которые принято либо использовать очень осторожно, либо избегать вовсе. Бонус: 100500 статья про то, что с ними (не) так.

Помимо прочего есть авторская классификация визуализаций (заглавная картинка поста).

🔗Ссылка

#визуализации

Как выйти на высококонкурентный рынок BI-инструментов, если о тебе ничего не знает Gartner Magic Quadrant?

Да как обычно: «мочить конкурентов» и обещать, что с твоим решением будет в 10 раз проще работать.

Аргумент «с классическим BI вы переплачиваете за разработчиков» очень мощный, но мне лично не верится, что Hyper Anna настолько self-service, что нет дополнительной стоимости и бизнес-пользователи сами аналитику накликают.
Или, что совсем утопия, все само из коробки заработает.

Тем не менее, пример отстройки от конкурентов через маркетинг довольно качественный.

🔗Ссылка

#business_intelligence

Ребята, делающие дата-каталог Castor, собрали Landscape так называемого «современного» стека технологий для обработки данных.

Много облачного и модно-современного (в datalearn у Димы Аношина есть клевое определение "Fancy tools").

Для каждой категории есть статья с принципами работы и сравнением инструментов.
Пока описано далеко не все, дата-платформы и визуализацию остается только ждать.

Забавно, что вместо сайта тут Notion, настоящая стартап-история!

Про более известную монструозную версию "ландшафта" дата-инструментов писал тут.

🔗Ссылка

#инструменты

Еще один взгляд на то, чем занимаются разные "виды" аналитиков в IT. Что приятно, со ссылками на более глубокие статьи по каждому из них.

В самом канале @analysis_it подкупает то, что автор(ы) существенно быстрее некоторых (я все еще слоупок) постят актуальные материалы из отраслевых блогов и площадок.

#компетенции #каналы

Привет👋🏼 Сегодня предлагаю немного погрузиться в сферу ИТ-аналитика и разобраться в сортах некоторых из них:

📌 Бизнес-аналитик - собирает и выявляет требования со стороны бизнеса к будущему продукту или функциям системы, также выявляет потребности для изменений, обобщает их, фиксирует, классифицирует и принимает решения об изменении процессов. После чего переводит их на понятный язык для инженеров
📝Бизнес-аналитики в IT: кто они и что делают

📌 Системный аналитик - IT-специалист широкого профиля, который отвечает за сбор требований к системе, занимается проектированием технического решения и ставит задачи команде разработки
📝Системный аналитик: что делает, сколько получает и как им стать

📌 UX-Аналитик- собирает и анализирует данных о том, как пользователи взаимодействуют с сайтом, приложением или другим продуктом
📝Кто такой UX-аналитик, чем он занимается и какие инструменты использует

📌 Аналитик данных - собирает, обрабатывает, изучает и интерпретирует данные
📝Чем занимается аналитик данных и как им стать

📌 Web-аналитик - занимается сбором и анализом информации о посетителях сайта и их поведении. Он взаимодействует с разными системами аналитики (например, Google Analytics), определяет важные для того или иного бизнеса параметры и интерпретирует их
📝Кто такой веб-аналитик

📌 Продуктовый аналитик - ищет точки роста в продукте и данные о поведении пользователя
📝Кто такие продуктовые аналитики и зачем они нужны в команде

Источник: @analysis_it

С минуты на минуту начнется конференция Smart Data 2021. Там традиционно куча технических докладов про дата-инжиниринг и инфраструктуры для аналитики данных.

В этом году я даже получил заветный билет на нее и смогу посмотреть онлайн.

Есть клевая новость, что на 4 день можно пройти по бесплатному билету, подробнее вот тут в посте организаторов.

#конференции

В статье "An Overview of Dashboarding Technology in the Age of Big Data" рассматриваются 4 альтернативных способа строить дашборды в 2к21:
🔹BI-инструменты;
🔹Notebooks (Deepnote);
🔹Python-библиотеки (Streamlit + Dash);
🔹Frontend к SQL (Redash).

Для каждого из случаев довольно логично описаны сценарии использования и границы применения.

🔗Ссылка

#инструменты #business_intelligence

Неожиданные новости из мира BI-инструментов: Looker и Tableau партнерятся вместо того, чтобы пытаться друг друга скушать.

У Николая на Smart Data 2021 был клевый доклад про Looker ML, который лично для меня приоткрыл завесу тайны над тем, чем крут Looker для self-service.

Если не смотрели - ждите появления докладов на ютубчике (в 2020 году многие доклады с конференции выложили в открытый доступ).

#инструменты #business_intelligence #конференции

Партнерство Tableau и Looker (Google)
На прошлой неделе Tableau объявил о партнерстве с Google и Looker в контексте Self-service аналитики, новость сама по себе очень интересная. Казалось бы, два конкурента в вопросах BI. Однако, кажется, Google в большей степени рассматривает Looker в качестве семантического слоя для описания данных в хранилище и видит перспективу именно в LookML, тогда как визуализацию данных можно отдать Tableau.

Я часто привожу ссылку на блог Benn Stancil, и сейчас в блоге есть соответствующая статья на этот счет: BI is dead.

А в статье любопытная цитата:
Looker choosing to partner with Tableau makes particular sense because Looker’s always been a transformation tool first, and a consumption tool second. Looker’s crown jewel is LookML; Tableau’s is visualization. I’d speculate that Looker originally built its visualization tooling in large part so that they could market and sell the value of LookML, rather than the other way around. By launching this integration, Looker is simply doubling down on that long-standing identity.

#ссылка

Статья "The relationship between data SLAs & data products" подробно раскрывает тезис "данным тоже нужен SLA".

Перед формулированием самих "процентов доступности" сервиса предлагается оценивать 4 критерия:
🔹 доступность;
🔹 полнота;
🔹 точность;
🔹 возможность оперативного контроля и исправления.

И уже дальше сверху этого намазать KPI, что выглядит довольно логично.

🔗Ссылка

#качество #продуктовое

Готовые обзоры - неплохой способ расширить свое понимание рынка, на котором работаешь.

Периодически сам обращаюсь к подобным статьям от NEWHR:
🔹рынок аналитиков;
🔹рынок продактов.

Чтобы такие статьи появлялись и были основаны на реальных данных, их авторы проводят опросы профильных специалистов.

В этом году требуются продуктовые аналитики, руководители аналитиков и смежные с ними продакты. Если вы таковой - давайте поможем получить актуальную информацию.

Вот тут подробнее рассказывают, зачем это все и какова механика вознаграждений (да, она есть).

🔗Ссылка на прохождение опроса

#опрос #анализ_рынка

В статье "5 Roles in Data in 2021" в едином формате описаны 5 ролей в современных дата-командах:
🔹Data Analyst
🔹Business analyst
🔹Data scientist
🔹Data engineer
🔹Machine Learning Engineer

Немного не хватает сводной таблички или иллюстрации границ ответственности.

Зато есть еще такая статья с добавлением продактов и SRE для полноты картины.

🔗Ссылка

#компетенции

Не очень понимаю, зачем в октябре составлять топ визуализаций за год.

Тем не менее, некоторые из них мне сильно приглянулись:
🔹Интерактивный sankey из вложения к посту;
🔹3D-карта протянутых под океанами оптических кабелей;
🔹гонка стран по потреблению алкоголя;
🔹стильная карта ментальных заболеваний в темной теме.

Ниже по ссылке можно найти еще 6 вариантов на любой вкус. Получилась очень разнообразная подборка как по исследуемым темам, так и по вариантам отображения информации.

🔗Ссылка

#визуализации

Восхитительная карта технологий для аналитики данных ("Технославия").

Авторы отмечают следующие тренды 2021 года:
🔹Много инструментов удалили и заменили, основные новшества: SageMaker, Kubernetes, PyTorch, MLFlow, Kubeflow;
🔹Добавилась целая "инфраструктурная территория" с гипероблаками и кубернетисом;
🔹DS-ноутбуки признаны IDE, так как функциональность их продолжает расти;
🔹Растет количество realtime-технологий, но они все еще на отдельном "острове".

P.S. "Болото очистки данных" - one love, очень жизненно.

🔗Ссылка

#инфраструктурное

⚡️Масштабное независимое исследование онлайн-курсов по аналитике ⚡️

Мы с моими коллегами из компании твердо решили узнать все-все самое важное об онлайн образовании по теме аналитики и data science. Об онлайн образовании говорят повсеместно, курсы чрезвычайно распространены, ведь профессии в IT-сфере сейчас очень популярны. Думаю, что огромная часть аудитории данного канала либо прошла, либо собирается пройти курсы, связанные с анализом данных.

Прошу вас пройти опрос и оставить ваше искреннее мнение о той школе, курс в которой вы прошли. Хорошее, плохое, главное, не безразличное!

Буду признателен коллегам владельцам каналов по аналитике за репост. Разумеется, результатами опроса мы вскоре с вами поделимся в виде симпатичного дашборда 🤓

➡️ Ссылка на опрос

p.s. Любые комменты по опросу тоже приветствуются

Вчера окончательно подтвердилось, что смогу поехать на Матемаркетинг 2021. По очевидным причинам давно не был на оффлайн-мероприятиях, рад, что такое сейчас вообще возможно.

Алексею, команде Матемаркетинга, спикерам (среди которых, кстати, можно увидеть авторов клевых аналитических каналов) - огромное спасибо!

Сегодня ребята писали, что еще есть шанс забежать в последний вагон уходящего поезда, стоит поспешить, если еще не решились.

🔗Ссылка

#конференции

"Browser-Based Database Clients" - обзорная статья про варианты подключения к базам данных через браузер:
🔸SQL-клиенты гиперскейлеров (AWS, GCP, Azure);
🔸ноутбукоподобные клиенты (Count.co, Databricks SQL notebook, Franchise);
🔸BI-инструменты, которые могут в SQL (Redash, Metabase, Superset);
🔸Другое (SQLPad, PopSQL, JackDB).

С инструментами из последней категории сталкиваюсь впервые, кажется могут подойти для базовых сценариев, когда дашборды не нужны.

🔗Ссылка

#базы_данных #инструменты

Мне близок Сашин взгляд на то, что болит у аналитиков - обобщил бы это как "борьба за качество данных".

Я тоже походил по Матемаркетингу, пообщался с людьми, доклады послушал.

К перечисленному в посте могу добавить 2 больших блока болей:

🔸Демократизация данных и self-service BI. Аналитики все чаще становятся бутылочным горлышком в процессе принятия решений и больше времени тратят в роли интерфейса к базе данных для своих коллег. Решают ее все по-разному, в основном с помощью новых процессов, open-source инструментов или самостоятельной разработки.

🔸Работа аналитиков в маркетинге сильно меняется из-за новых privacy-политик от Apple и Google и возможности запрета трекинга. Способы дальше работать есть, но со стороны выглядят как костыли. Я в этом, честно говоря, не разбираюсь и был сильно удивлен масштабом бедствия.

P.S. был безумно рад всех увидеть в оффлайне и познакомитсья с кучей клевых ребят!

#конференции

Что болит

Общее впечатление что все хотят в data driven. Уже никого не надо убеждать в ценности данных — этот этап пройден.

Теперь следующая проблема — данные собрали, пайплайны настроили, первые дашборды нарисовали. Постепенно данных становится всё больше: добавляются новые, старые — меняются. И в какой-то момент наступает ДАТА-ХАОС!

И вот сейчас основные боли — это документация и описанные модели данных.
⁃ Таблицы на десятки и сотни колонок без описания и странными названиями
⁃ Таблиц по заказам — пять разных вариантов (плюс ещё сколько-то вьюх по ним)
⁃ Эвенты, названные абы как
⁃ Метрики, которые каждый рассчитывает по-своему и в конце ни у кого ничего не сходится ¯\_(ツ)_/¯

Короче, тренд сезона — дата-инфраструктура.

Кажется, к 2021 году всех уже убедили, что эксель - это не база данных.

И тут такое: статья про то, как анализировать с его помощью csv-шку с 10 миллионами строк.

Автору всего-то понадобилась версия посвежее, подключение к файлу без его загрузки на лист, Power Query и слабоумие с отвагой.

Кейс занятный, но что-то внутри меня протестует против такого сценария использования.

🔗Ссылка

#excelное