Небольшой отчет The State of Data Engineering 2022 о состоянии рынка работы с данными.
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://news.1rj.ru/str/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://news.1rj.ru/str/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Forwarded from 🔋 Труба данных
The State of Data Engineering (но не в РФ). Часть 2.
Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.
Что по интересным наблюдениям?
- Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪
- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.
- ETL системы немножк не понял, как задавался вопрос, поэтому оставлю без комментариев на радость фанатов dbt
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part-b61 (иногда пост открывается за paywall, поэтому используйте режим инкогнито)
@ohmydataengineer
Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.
Что по интересным наблюдениям?
- Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪
- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.
- ETL системы немножк не понял, как задавался вопрос, поэтому оставлю без комментариев на радость фанатов dbt
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part-b61 (иногда пост открывается за paywall, поэтому используйте режим инкогнито)
@ohmydataengineer
Forwarded from 🔋 Труба данных
Кто отвечает за качество данных?
Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.
https://twitter.com/ananthdurai/status/1627627842929401857
Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.
Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data contracts?
@ohmydataengineer
Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.
https://twitter.com/ananthdurai/status/1627627842929401857
Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.
Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data contracts?
@ohmydataengineer
Forwarded from Data engineering events (Николай Крупий)
Telegram
Datathons
Где проверить свои скиллы, увидеться с комьюнити и найти единомышленников?
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
Forwarded from 🔋 Труба данных
И еще немного про текущее состояние индустрии
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Легенда инженерии данных Maxime Beauchemin в статье о будущем профессии (мой вольный перевод):
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
Monte Carlo Data
The Future Of Data Engineering As An Engineer | Monte Carlo
Is the data engineer still the "worst seat at the table?" Maxime Beauchemin, creator of Apache Airflow, weighs in on the future of data engineering.
23 марта в 20:00 по мск вебинар!
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
👨💻 Яндекс и ИТМО открыли онлайн-магистратуру для разработчиков
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.
День открытых дверей в Летних школах Академии!
29 марта мы проведём большой День открытых дверей. Приходите узнать подробнее о том, как устроены Школы, задайте вопросы выпускникам и преподавателям. А ещё — понаблюдайте за разбором тестовых заданий предыдущего года.
Мы начнём в 18:30 в Youtube. Переходите в трансляцию и нажмите на колокольчик, чтобы не опоздать к началу: https://www.youtube.com/watch?v=nXrmfclRO24
Руководители и выпускники будут рады ответить на ваши вопросы — пожалуйста, задайте их в форме: https://clck.ru/33qMCs
29 марта мы проведём большой День открытых дверей. Приходите узнать подробнее о том, как устроены Школы, задайте вопросы выпускникам и преподавателям. А ещё — понаблюдайте за разбором тестовых заданий предыдущего года.
Мы начнём в 18:30 в Youtube. Переходите в трансляцию и нажмите на колокольчик, чтобы не опоздать к началу: https://www.youtube.com/watch?v=nXrmfclRO24
Руководители и выпускники будут рады ответить на ваши вопросы — пожалуйста, задайте их в форме: https://clck.ru/33qMCs
из МегаПодборки материалов за неделю от @dmitrii_ireshev_Agile_PMP
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия Борисюк.
📹 Ганна Новикова: кто такой SRE.
📰 Как выдержать первую встречу с рекрутером.
📰 Центры компетенций. Что может пойти не так?
📰 Сколько получают российские разработчики: наше исследование.
HR/Карьера/Саморазвитие
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Управление проектами и продуктами в IT
МегаПодборка материалов за неделю от @dmitrii_ireshev_Agile_PMP
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия…
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия…
SQL и хранилищам данных, полезные ссылки по теме:
🟡 PostgreSQL
🔘 Домашняя страница базы данных
🔘 Что такое PostgreSQL? (краткие сведения)
🔘 Документация к PostgreSQL 14.5 на русском языке
🔘 Курс молодого бойца PostgreSQL
🔘 Подборка статей
🔘 Язык SQL
🟢 Архитектура хранилищ данных
🔘 Хранилище данных: понятия
🔘 Архитектура хранилищ данных: традиционная и облачная
🔘 Что такое хранилище данных?
🔘 Публикации, рассказывающие о хранилищах данных, подборка Habr
🔘 Обзор гибких методологий проектирования DWH
🔘 Особенности построения хранилища данных на базе ClickHouse в Yandex Cloud
🔘 Создание Data Lake и Warehouse на GCP
#sql #postgresql #dwh #clickhouse #datalake
https://news.1rj.ru/str/data_engi/101 #подборка
#sql #postgresql #dwh #clickhouse #datalake
https://news.1rj.ru/str/data_engi/101 #подборка
Please open Telegram to view this post
VIEW IN TELEGRAM
PostgreSQL
The world's most advanced open source database.