Краткая история появления роли дата-инженера на фоне развития инструментов для работы с данными и команд, которые их используют.

Упрощенно, это путешествие от мира, где данными владеют суровые «айтишники» к светлому будущему, где независимые команды управляют каждая своим доменом данных и эффективно обмениваются информацией.

🔗Ссылка

#data_engineering

Занятный кейс использования матриц в Excel в качестве альтернативы протягиванию формул.

Вроде как таблицы с большим количеством вычислений становятся более «антивандальными» и простыми в поддержке.

С другой стороны, использование такой функциональности для совсем уж базовых сценариев вроде «вычел-поделил» похоже на выстрел из пушки по воробьям.

Надо будет попробовать на досуге (вроде как работает и в Google Sheets).

И да, поделитесь опытом подобных извращений, если имели удовольствие его получить.

🔗Ссылка

#excelное

С помощью статьи «Analytics Maturity Model: Levels, Technologies, and Applications» можно глубже погрузиться в тему data literacy и уровни развития аналитики в организациях.

По сути, описаны отличия пяти уровней зрелости:
🔹Отсутствие аналитики;
🔹Описательная;
🔹Диагностическая;
🔹Предикативная;
🔹Предписательная.

Очень круто, что сформулированы необходимые изменения для перехода с этапа на этап и общие рекомендации в конце статьи.

Немного другая интерпретация, чуть менее подробно, но зато на русском - тут.

🔗Ссылка

#компетенции

«Data Strategy: Good Data vs. Bad Data» - классная статья про то, как стратегия компании влияет (точнее, должна влиять) на стратегию по работе с данными.

Есть интересная классификация данных:
🔹«хорошие» - это те, которые осознанно собраны и обработаны для того, чтобы решить конкретную задачу бизнеса;
🔻«плохие» - это те, которые мы просто собрали и пытаемся на их основании делать выводы, не отталкиваясь от текущей стратегии и приоритетов.

Еще тут зачем-то снова переизобрели HADI-циклы (или PDCA, как кому удобнее), но уже применительно к обработке данных.
Получилось 5 этапов: Action -> Data -> Information -> Insight -> Decision.

🔗Ссылка

#компетенции #стратегия

Продолжение классной статьи про роль дата-инженера, на этот раз про тренды и будущее.

Очевидно, все они напрямую связаны с общими по отрасли (аналитика, ML, Big Data):
🔹дата-инженеры в будущем частично заменят дата-саентистов (задач по инфраструктуре будет только больше);
🔹после того, как ответственность за данные перетечет из единого центра компетенций к отдельным командам, каждой из них потребуется поддержка дата-инженера или свой собственный специалист такого профиля;
🔹появится больше стартапов-единорогов, решающих задачи дата-инженеров (далеко ходить не надо, Snowflake и Databricks уже безумно взлетели);
🔹инструменты для перемещения данных станут повсеместно распространены, будут у всех, учить их обязательно;
🔹обработка данных в реальном времени станет отраслевым стандартом.

🔗Ссылка

#data_engineering #компетенции

Инструментальных статей для аналитиков и дата-саентистов на любом ресурсе хоть отбавляй.

Может сложиться впечатление, что эта роль - чисто про hard-skills: взял правильный инструмент, закодил/залоукодил обработку данных, красиво визуализировал.

При чтении сегодняшней статьи разу вспоминается фраза «самые важные вещи на свете - это не вещи». Переформулировать это изречение можно так: инструменты - это замечательно, но критическое мышление и здравый смысл еще никто не отменял.

Про них и расскажут по ссылке ниже.

🔗 Ссылка

#компетенции

Кажется, что ведение канала - единственная вещь, которая заставляет меня на 100% ощущать себя слоупоком.

Еще в прошлую пятницу ребята из @it_resume выкатили на Хабр подборку telegram-каналов для аналитиков.
Ссылка на нее довольно резво разлетелась по всем задействованным каналам (что чертовски логично).

А вот у меня только сегодня доходят руки написать что-то типа «Мама, я в телевизоре!».

Лично меня порадовала сама статья:

В ней есть почти все классные каналы, которые читаю. На ребят, с которыми не был знаком, тоже было не грех подписаться.

Широк набор освещаемых тем: от дата-инжиниринга и хард-скилловых вещей до визуализации и нежно любимого мной BI.

Неожиданно для меня список получился довольно «очеловеченным». Упоминания авторов и их историй напомнили о том, что за всеми постами, ссылками, картинками стоят живые люди. Поэтому и сами каналы такие разные - со своим стилем, экспертизой в предметной области, взглядом на аналитику. И круто, что таким образом можно смотреть на предмет своего интереса с разных сторон.

Жаль только, что ряд классных каналов не попал в подборку. Частично с этим поборолся Роман Бунин вот тут. Я тоже занялся систематизацией того, что читаю, возможно чем-то поделюсь позже.

🔗Ссылка

#каналы

Оставлю тут мою любимую картинку со слоупоком для привлечения внимания.

Ежегодный обзор российского рынка аналитики от Cnews традиционно хорош тем, что в нем есть подробная информация про денежки.

Топ-15 компаний рейтинга вместе зарабатывают 24,9 млрд рублей, на 15% больше прошлогоднего результата.
Измерять таким способом размеры рынка странновато, но темпы роста примерно прикинуть можно.

Вот рейтинг поставщиков аналитических решений с прибылью год к году.

Если интересно, на разводящей странице можно найти все материалы исследования:
🔗Ссылка

#анализ_рынка

Business Intelligence Strategy: How to Develop and Document your BI Roadmap.

Статья описывает подход к развитию корпоративной BI-системы, который меня так и тянет назвать «продуктовым».

Все как по учебнику: стратегия, вижен, roadmap, отслеживание метрик, процессы и документирование.

В качестве бонуса есть классная картинка Gartner про уровни зрелости BI.

🔗 Ссылка

#business_intelligence

По названию статьи «Why constantly looking at metrics sets companies up for failure» можно предположить, что автор призывает сжечь дашборды и жить в неведении.

На самом деле, он напоминает про здравый смысл в повседневной деятельности:
🔹задавать себе вопросы о метриках и их интерпретации;
🔹фокусироваться не на всех одновременно, а только на важных в текущий момент времени;
🔹автоматизировать отслеживание важных метрик и выявление проблем.

Вопросы, которыми периодически стоит задаваться:
🔸What value would the metric need to reach in order to cause alarm?
🔸Is there some upper or lower bound that simply is not acceptable?
🔸Would the metric begin to influence other metrics or processes once it exceeds a certain level?
🔸Is simply breaching the current goal a good enough notification?
🔸Is the trend more important than the actual value?

🔗Ссылка

#business_intelligence #компетенции

В последнее время чаще встречаю в англоязычных материалах устойчивое выражение «Modern Data Stack».

Сегодняшняя статья «Five Predictions for the Future of the Modern Data Stack» хороша для ознакомления с ним по трем причинам.

Во-первых, сформулированы признаки «современного набора технологий для обработки данных»:
🔹поставляется как услуга;
🔹построен вокруг облачного хранилища данных;
🔹доступ к данным для большого количества людей обеспечивается через запросы в SQL-формате;
🔹оплата только за использованные ресурсы;
🔹фокус на построении автоматизированных пайплайнов.

Во-вторых, описана история развития этих технологий.

В-третьих, есть предположения, куда он будет развиваться:
🔸внедрение прикладного AI;
🔸переход к data as a service;
🔸добавление инструментов для Data Governance;
🔸больше стриминга вместо батчинга;
🔸использование в современных приложениях (как запихать в OLAP-хранилища OLTP-нагрузку автор сам не придумал, но подход довольно интересный).

🔗Ссылка

#data_engineering #инфраструктурное

Описание разных способов преобразования данных с понятными иллюстрациями.

🔗Ссылка

#инструменты

Опубликованы результаты ежегодного опроса аудитории Stack Overflow (он же «Developer Survey 2021»).

Большая часть информации пригодится аналитикам разве что для расширения кругозора, но и кое-что интересное есть.

В части баз данных топ используемых технологий остался практически без изменений (что удивительно).

Классно сделаны хордовые диаграммы, отображающие с чем хотят поработать текущие пользователи каждой из СУБД. Если прокрутить ниже, можно найти тоже самое про фреймворки и языки программирования.

И забавный факт: Python, наконец, обогнал по популярности SQL и теперь располагается на третьем месте в топе.

Полная версия исследования для любознательных:
🔗Ссылка

#базы_данных #анализ_рынка

Отличная идея альтернативной визуализации квадрантов Gartner - попадание продуктов в категории по годам.

Пример максимально релевантный - BI-инструменты.

#business_intelligence

Алексей Салынин, уже знакомый нам эксперт, который записывал видео про SAP Analytics Cloud поделился со мной интересной визуализацией: динамика включения BI-инструментов в тот или иной квадрант Gartner. С его позволения публикую эту визуализацию.

У ребят сегодня вышел классный пост про дашборд с вакансиями аналитиков.

Каждый раз смотрю на него и радуюсь: и инструмент классный, и пример совместной работы вдохновляет.

Почему-то ни разу не упоминал его в канале, исправляюсь.

#проекты

В продолжение темы.

Я редко целенаправленно читаю подобное, поэтому даже немного удивился: пишут отдельные статьи по найму аналитиков (продуктовых, маркетинговых и data scientists).

Под капотом там стандартные рекомендации, но зато можно посмотреть, какими аналитиков видят рекрутинговые агентства.

Еще можно сравнить данные по зарплатам с предыдущим постом.

Забавно еще, что помимо требований к специалистам очень подробно рассматривается обратная сторона - что повышает шансы работодателя быть выбранным.

Но это, наверное, особенность, связанная с посреднической схемой работы у авторов статьи.

🔗Ссылка

#анализ_рынка

В статье Noteable здорово описан жизненный цикл визуализации данных в организации:
🔹Exploratory data analysis;
🔹Генерация и проверка гипотез;
🔹Описательные и объясняющие графики;
🔹Построение аналитических бизнес-приложений;
🔹Отслеживание метрик и принятие стратегических решений.

Дальше они, конечно, набрасывают, что обычно эти виды анализа часто живут в разных инструментах, а в их «Dashtellingbooks» (data storytelling, dashboards and notebooks) все прекрасно и логично сочетается.

Сама по себе идея единого инструмента для разных ролей не новая, но интересно, что теперь в эту сторону все чаще идут не только крупные вендоры аналитических решений, но еще и стартапы.

🔗Ссылка

#инструменты #визуализации

Обмен опыта по использованию Tableau и Power BI от двух авторов, которых я читаю - Продакт аналитикс и Налейте аналитику.

Круто, что раскрыта актуальная для топовых BI-инструментов тема лицензирования и ценообразования.

#business_intelligence #каналы

Добрый вечер, друзья!
Совместно с Андреем - автором канала Налейте аналитику и по совместительству лидом аналитики в Литрес - подготовили небольшой разбор BI-систем: я много работала и продолжаю работать с Tableau, а у Андрея имеется значительный опыт работы с MS PowerBI.

Как известно, это самые распространенные BI-инструменты, поэтому каждый из нас расскажет о своем.


Tableau (сайт Tableau).


➕ Действительно классно визуализирует данные, превращая их в крутые дашборды, являющиеся образцом качества и дизайна (чем могут похвастаться далеко не все визуализаторы)

➕ Достаточно легкий и интуитивно понятный в использовании

➕ Обладает высокой производительностью, потому что тянет даже очень big data

➕ Поддерживает мобильную версию (что крайне важно, если вы, например, делаете много дашбордов с KPI, а у ваших заказчиков возникла резкая потребность что-то проверить - можете быть уверены, качество на мобильной версии не поедет)

➕ Огромное сообщество пользователей Tableau -на 99,9% вопросов вы найдете ответы в различных видео на ютубе, stackoverflow, официальных видео на сайте инструмента и т.д.)

Теперь о минусах.

➖ Дорого и даже очень, поэтому подходит в большинстве своем для крупных компаний, которые могут себе это позволить

➖ Ценообразование негибкое, то есть, отсутствует индивидуальный подход к клиентам и всем из них предлагается расширенная лицензия, хотя она может быть не особо актуальна для компании

➖ Не самый безопасный инструмент - не обеспечивает 100% защиту данных

➖ Фактическое отсутствие постпродажного обслуживания - в вашу проблему навряд ли будут вникать, скорее, просто предложат докупить какой-то пакет, и на сим поддержка закончится

➖ Вечные проблемы с версиями - что-то будет доступно в старой версии, а что-то - уже нет

➖ Несмотря на опцию постановки каких-то отчетов на расписание, тем не менее что-то придется перепинывать вручную, что не всегда удобно

➖ Чтобы сделать какие-то элементы, которые часто нужны в дашбордах, вам часто может понадобиться использование различных костылей с копированием элементов из Гугла, хитровыдуманных функций и просмотров видео с коллегами из Индии

#рынокIT #полезности #истинаневпоследнейинстанции