Продолжение классной статьи про роль дата-инженера, на этот раз про тренды и будущее.

Очевидно, все они напрямую связаны с общими по отрасли (аналитика, ML, Big Data):
🔹дата-инженеры в будущем частично заменят дата-саентистов (задач по инфраструктуре будет только больше);
🔹после того, как ответственность за данные перетечет из единого центра компетенций к отдельным командам, каждой из них потребуется поддержка дата-инженера или свой собственный специалист такого профиля;
🔹появится больше стартапов-единорогов, решающих задачи дата-инженеров (далеко ходить не надо, Snowflake и Databricks уже безумно взлетели);
🔹инструменты для перемещения данных станут повсеместно распространены, будут у всех, учить их обязательно;
🔹обработка данных в реальном времени станет отраслевым стандартом.

🔗Ссылка

#data_engineering #компетенции

Инструментальных статей для аналитиков и дата-саентистов на любом ресурсе хоть отбавляй.

Может сложиться впечатление, что эта роль - чисто про hard-skills: взял правильный инструмент, закодил/залоукодил обработку данных, красиво визуализировал.

При чтении сегодняшней статьи разу вспоминается фраза «самые важные вещи на свете - это не вещи». Переформулировать это изречение можно так: инструменты - это замечательно, но критическое мышление и здравый смысл еще никто не отменял.

Про них и расскажут по ссылке ниже.

🔗 Ссылка

#компетенции

Кажется, что ведение канала - единственная вещь, которая заставляет меня на 100% ощущать себя слоупоком.

Еще в прошлую пятницу ребята из @it_resume выкатили на Хабр подборку telegram-каналов для аналитиков.
Ссылка на нее довольно резво разлетелась по всем задействованным каналам (что чертовски логично).

А вот у меня только сегодня доходят руки написать что-то типа «Мама, я в телевизоре!».

Лично меня порадовала сама статья:

В ней есть почти все классные каналы, которые читаю. На ребят, с которыми не был знаком, тоже было не грех подписаться.

Широк набор освещаемых тем: от дата-инжиниринга и хард-скилловых вещей до визуализации и нежно любимого мной BI.

Неожиданно для меня список получился довольно «очеловеченным». Упоминания авторов и их историй напомнили о том, что за всеми постами, ссылками, картинками стоят живые люди. Поэтому и сами каналы такие разные - со своим стилем, экспертизой в предметной области, взглядом на аналитику. И круто, что таким образом можно смотреть на предмет своего интереса с разных сторон.

Жаль только, что ряд классных каналов не попал в подборку. Частично с этим поборолся Роман Бунин вот тут. Я тоже занялся систематизацией того, что читаю, возможно чем-то поделюсь позже.

🔗Ссылка

#каналы

Оставлю тут мою любимую картинку со слоупоком для привлечения внимания.

Ежегодный обзор российского рынка аналитики от Cnews традиционно хорош тем, что в нем есть подробная информация про денежки.

Топ-15 компаний рейтинга вместе зарабатывают 24,9 млрд рублей, на 15% больше прошлогоднего результата.
Измерять таким способом размеры рынка странновато, но темпы роста примерно прикинуть можно.

Вот рейтинг поставщиков аналитических решений с прибылью год к году.

Если интересно, на разводящей странице можно найти все материалы исследования:
🔗Ссылка

#анализ_рынка

Business Intelligence Strategy: How to Develop and Document your BI Roadmap.

Статья описывает подход к развитию корпоративной BI-системы, который меня так и тянет назвать «продуктовым».

Все как по учебнику: стратегия, вижен, roadmap, отслеживание метрик, процессы и документирование.

В качестве бонуса есть классная картинка Gartner про уровни зрелости BI.

🔗 Ссылка

#business_intelligence

По названию статьи «Why constantly looking at metrics sets companies up for failure» можно предположить, что автор призывает сжечь дашборды и жить в неведении.

На самом деле, он напоминает про здравый смысл в повседневной деятельности:
🔹задавать себе вопросы о метриках и их интерпретации;
🔹фокусироваться не на всех одновременно, а только на важных в текущий момент времени;
🔹автоматизировать отслеживание важных метрик и выявление проблем.

Вопросы, которыми периодически стоит задаваться:
🔸What value would the metric need to reach in order to cause alarm?
🔸Is there some upper or lower bound that simply is not acceptable?
🔸Would the metric begin to influence other metrics or processes once it exceeds a certain level?
🔸Is simply breaching the current goal a good enough notification?
🔸Is the trend more important than the actual value?

🔗Ссылка

#business_intelligence #компетенции

В последнее время чаще встречаю в англоязычных материалах устойчивое выражение «Modern Data Stack».

Сегодняшняя статья «Five Predictions for the Future of the Modern Data Stack» хороша для ознакомления с ним по трем причинам.

Во-первых, сформулированы признаки «современного набора технологий для обработки данных»:
🔹поставляется как услуга;
🔹построен вокруг облачного хранилища данных;
🔹доступ к данным для большого количества людей обеспечивается через запросы в SQL-формате;
🔹оплата только за использованные ресурсы;
🔹фокус на построении автоматизированных пайплайнов.

Во-вторых, описана история развития этих технологий.

В-третьих, есть предположения, куда он будет развиваться:
🔸внедрение прикладного AI;
🔸переход к data as a service;
🔸добавление инструментов для Data Governance;
🔸больше стриминга вместо батчинга;
🔸использование в современных приложениях (как запихать в OLAP-хранилища OLTP-нагрузку автор сам не придумал, но подход довольно интересный).

🔗Ссылка

#data_engineering #инфраструктурное

Описание разных способов преобразования данных с понятными иллюстрациями.

🔗Ссылка

#инструменты

Опубликованы результаты ежегодного опроса аудитории Stack Overflow (он же «Developer Survey 2021»).

Большая часть информации пригодится аналитикам разве что для расширения кругозора, но и кое-что интересное есть.

В части баз данных топ используемых технологий остался практически без изменений (что удивительно).

Классно сделаны хордовые диаграммы, отображающие с чем хотят поработать текущие пользователи каждой из СУБД. Если прокрутить ниже, можно найти тоже самое про фреймворки и языки программирования.

И забавный факт: Python, наконец, обогнал по популярности SQL и теперь располагается на третьем месте в топе.

Полная версия исследования для любознательных:
🔗Ссылка

#базы_данных #анализ_рынка

Отличная идея альтернативной визуализации квадрантов Gartner - попадание продуктов в категории по годам.

Пример максимально релевантный - BI-инструменты.

#business_intelligence

Алексей Салынин, уже знакомый нам эксперт, который записывал видео про SAP Analytics Cloud поделился со мной интересной визуализацией: динамика включения BI-инструментов в тот или иной квадрант Gartner. С его позволения публикую эту визуализацию.

У ребят сегодня вышел классный пост про дашборд с вакансиями аналитиков.

Каждый раз смотрю на него и радуюсь: и инструмент классный, и пример совместной работы вдохновляет.

Почему-то ни разу не упоминал его в канале, исправляюсь.

#проекты

В продолжение темы.

Я редко целенаправленно читаю подобное, поэтому даже немного удивился: пишут отдельные статьи по найму аналитиков (продуктовых, маркетинговых и data scientists).

Под капотом там стандартные рекомендации, но зато можно посмотреть, какими аналитиков видят рекрутинговые агентства.

Еще можно сравнить данные по зарплатам с предыдущим постом.

Забавно еще, что помимо требований к специалистам очень подробно рассматривается обратная сторона - что повышает шансы работодателя быть выбранным.

Но это, наверное, особенность, связанная с посреднической схемой работы у авторов статьи.

🔗Ссылка

#анализ_рынка

В статье Noteable здорово описан жизненный цикл визуализации данных в организации:
🔹Exploratory data analysis;
🔹Генерация и проверка гипотез;
🔹Описательные и объясняющие графики;
🔹Построение аналитических бизнес-приложений;
🔹Отслеживание метрик и принятие стратегических решений.

Дальше они, конечно, набрасывают, что обычно эти виды анализа часто живут в разных инструментах, а в их «Dashtellingbooks» (data storytelling, dashboards and notebooks) все прекрасно и логично сочетается.

Сама по себе идея единого инструмента для разных ролей не новая, но интересно, что теперь в эту сторону все чаще идут не только крупные вендоры аналитических решений, но еще и стартапы.

🔗Ссылка

#инструменты #визуализации

Обмен опыта по использованию Tableau и Power BI от двух авторов, которых я читаю - Продакт аналитикс и Налейте аналитику.

Круто, что раскрыта актуальная для топовых BI-инструментов тема лицензирования и ценообразования.

#business_intelligence #каналы

Добрый вечер, друзья!
Совместно с Андреем - автором канала Налейте аналитику и по совместительству лидом аналитики в Литрес - подготовили небольшой разбор BI-систем: я много работала и продолжаю работать с Tableau, а у Андрея имеется значительный опыт работы с MS PowerBI.

Как известно, это самые распространенные BI-инструменты, поэтому каждый из нас расскажет о своем.


Tableau (сайт Tableau).


➕ Действительно классно визуализирует данные, превращая их в крутые дашборды, являющиеся образцом качества и дизайна (чем могут похвастаться далеко не все визуализаторы)

➕ Достаточно легкий и интуитивно понятный в использовании

➕ Обладает высокой производительностью, потому что тянет даже очень big data

➕ Поддерживает мобильную версию (что крайне важно, если вы, например, делаете много дашбордов с KPI, а у ваших заказчиков возникла резкая потребность что-то проверить - можете быть уверены, качество на мобильной версии не поедет)

➕ Огромное сообщество пользователей Tableau -на 99,9% вопросов вы найдете ответы в различных видео на ютубе, stackoverflow, официальных видео на сайте инструмента и т.д.)

Теперь о минусах.

➖ Дорого и даже очень, поэтому подходит в большинстве своем для крупных компаний, которые могут себе это позволить

➖ Ценообразование негибкое, то есть, отсутствует индивидуальный подход к клиентам и всем из них предлагается расширенная лицензия, хотя она может быть не особо актуальна для компании

➖ Не самый безопасный инструмент - не обеспечивает 100% защиту данных

➖ Фактическое отсутствие постпродажного обслуживания - в вашу проблему навряд ли будут вникать, скорее, просто предложат докупить какой-то пакет, и на сим поддержка закончится

➖ Вечные проблемы с версиями - что-то будет доступно в старой версии, а что-то - уже нет

➖ Несмотря на опцию постановки каких-то отчетов на расписание, тем не менее что-то придется перепинывать вручную, что не всегда удобно

➖ Чтобы сделать какие-то элементы, которые часто нужны в дашбордах, вам часто может понадобиться использование различных костылей с копированием элементов из Гугла, хитровыдуманных функций и просмотров видео с коллегами из Индии

#рынокIT #полезности #истинаневпоследнейинстанции

PowerBI (сайт PowerBI) - опыт Андрея


➕ Гибкая ценовая политика. Есть лицензии Pro, которые стоят 10$ в месяц на пользователя. То есть, если в небольшой компании, скажем, 2 аналитика и 28 человек, которым нужен доступ на просмотр отчетов - то это выйдет в 300$ в месяц (250 тысяч рублей в год). Возможности в Pro-версии, конечно, порезаны, но многим с головой хватит и этого - обновление по расписанию есть, коннекторы к десяткам источников данных на месте. Premium-версия отличается возможностью развернуть PBI на своем сервере и выделенным сервером отчетов, что нужно для компаний со строгой политикой безопасности и работы с большими объемами данных

➕ Низкий порог вхождения в создание отчетов, буквально возможность создать отчет, не написав ни одной строчки кода. Да, в PBI есть свой язык формул - DAX и язык запросов Power Query (как и в Excel), но для несложных отчетов про это можно не вспоминать. После загрузки данных в PBI для работы с ними открывается визуальный интерфейс, очень сильно напоминающий Excel, в котором табличные данные легко обрабатываются, преобразуются, добавляются новые столбцы и вычисляются новые меры. Опять же, если приводить в качестве аналогии Excel, то это как записать макрос, только проще.

➕ Много разнообразных визуализаций - от столбчатых диаграмм до диаграмм Ганта и карты мира.

➕ Неплохая мобильная версия, в т.ч. приложения для IOS/Android. Как и в Tableau, посмотреть в дороге, не упала ли вчера выручка, очень подойдет.

➕ По единичному личному опыту - неплохая русскоязычная поддержка, вопрос был решен в течение 2 дней.

Минусы, конечно же, тоже есть.

➖ Отсутствие PowerBI Desktop - основного инструмента создания отчетов и подключения к данным - на Mac OS.

➖ Ограничения на объемы. Смешные для некоторых компаний ограничения на объемы в лицензии Pro - это еще ничего (1Гб размер отчета/файла .pbix, 10Гб размер одного источника данных), т.к. в Premium на порядки больше, подробнее здесь. А вот ограничение в 150 тысяч строк на экспорт из отчета в Excel/csv - это в 2021 году недопустимо. Конечно, прекрасно, что любой пользователь опубликованного отчета может скачать сырые данные таблиц/графиков себе в Excel/csv и работать с ними самостоятельно. Но 150 тысяч строк? Excel уже давно поддерживает 2 в степени 20 строк (если калькулятора под рукой нет, то это 1 048 576 строк), я писал об этом здесь. И этот объем лицензией Premium не увеличить.

➖ Отсутствие в лицензии Pro жизненно необходимых функций. Понятно, что MS стимулирует выбирать более дорогую лицензию - но, например, инкрементальное добавление данных есть только в премиуме, что уже совсем нехорошо.

➖ Подключение к локальным источникам через персональный шлюз работает не очень хорошо. Обновление в оперативной памяти компьютера, на котором установлен PowerBI Desktop при использовании персонального шлюза, ограничивает объем данных, которые может вместить PBI, а также загружает оперативку компьютера под 100%.

➖ Несмотря на обилие визуализаций, к ним иногда возникают вопросы. Во-первых, вырвиглазные цвета в стандартной цветовой схеме - ярко-красный, очень интенсивный цвет морской волны, обилие каких-то козявочных оттенков. Иногда, чтобы добиться приемлемого вида, если категорий много, сидишь только над цветами по полчаса. Во-вторых, например, сглаженная линия, которую в 2 клика можно сделать в Excel, тут недоступна, что делает многие графики неприятно ломаными.

#рынокIT #полезности #истинаневпоследнейинстанции

Пугающая история про облачные базы данных и безопасность.

Microsoft Azure сначала просто прикрутил к CosmosDB новую фичу - визуализацию через Jupyter Notebook, а потом стал активировать для всех по-умолчанию.

Все бы ничего, но из-за ряда косяков через «ноутбук» можно было извне получить доступ к клиентским данным.

Хакеры попались добрые, сообщили компании, которая оперативно закрыла дыру. Но осадочек, думаю, останется (история свежая и далеко идущие последствия пока не отследить).

На всякий случай: против облаков не топлю, никого не осуждаю, ошибиться может каждый.
Рассматриваю ситуацию скорее как урок для всех, кто работает над дата-продуктами или обрабатывает чувствительные данные:
Помните о безопасности.

Причем «помнить» - это не столько про «задумываться», сколько про «активно содействовать» тому, чтобы данные компании не утекли куда не следует.

Клиентам в данной ситуации остается только посочувствовать.

Вот тут подробно пишут про эту историю:

🔗Ссылка

#инфраструктурное

Подборка BI-инструментов на все случаи жизни:
- модные и универсальные;
- для стартапов;
- для enterprise (c Qlik, видимо, что-то не поделили);
- open-source;
- white label для встраивания в приложения.

Есть такие, о которых я даже не слышал.

В очередной раз встречаю рекомендацию Metabase. Если у кого-то есть опыт практического использования - напишите, пожалуйста, в личку. Интересно, как с ним обстоят дела в СНГ-сообществе.

🔗Ссылка

#business_intelligence #инструменты

Накопилось неожиданно много аудио и видео контента, который произвел на меня хорошее впечатление.

Так что пусть случится небольшой дайджест.

1️⃣ Датаголики - подкаст про BI-инструменты, enterprise, проекты внедрений и (внезапно!) аналитику в гос. организациях.

2️⃣ Необычный для меня формат - короткие вводные видео про it и технологии, записанные на основе популярных статей.
Про наше, аналитическое:
- большие данные;
- машинное обучение.

3️⃣ Выпуски подкаста make sense вокруг да около аналитики:
- О базовых понятиях Machine Learning и AI в продуктах с Анной Трушкиной;
- О юнит-экономике и продуктовых фреймворках, границах применимости и заблуждениях с Ильей Красинским.

4️⃣ Бодрое 14-ти минутное видео про базовые инструменты аналитика. Все как мы любим: SQL, Python, BI, без Excel тоже не обошлось.

#учебное #дайджест