Обзор книги “The Manager’s Path” — Part IV (Senior Leader)
Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполняют роли engineering managers и engineering directors. В финальной статье рассматриваются главы
- The Big Leagues - как выглядит роль technical senior managers, какие названия бывают у должностей и в чем состоит работа VP of Engineering и CTO
- Bootstrapping Culture - как влияет культура и структура на организацию, когда стоит начинать работать над ними и что именно стоит делать
- Conclusion - здесь автор делиться своими мыслями о том, как стать хорошим менеджером
https://news.1rj.ru/str/book_cube/980
#book #career #management
Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполняют роли engineering managers и engineering directors. В финальной статье рассматриваются главы
- The Big Leagues - как выглядит роль technical senior managers, какие названия бывают у должностей и в чем состоит работа VP of Engineering и CTO
- Bootstrapping Culture - как влияет культура и структура на организацию, когда стоит начинать работать над ними и что именно стоит делать
- Conclusion - здесь автор делиться своими мыслями о том, как стать хорошим менеджером
https://news.1rj.ru/str/book_cube/980
#book #career #management
Небольшой отчет The State of Data Engineering 2022 о состоянии рынка работы с данными.
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://news.1rj.ru/str/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Ссылка на отчет и картинка в нормальном разрешении https://lakefs.io/blog/the-state-of-data-engineering-2022/
https://news.1rj.ru/str/dmitrii_ireshev_Agile_PMP/649
#survey #DE
Forwarded from 🔋 Труба данных
The State of Data Engineering (но не в РФ). Часть 2.
Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.
Что по интересным наблюдениям?
- Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪
- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.
- ETL системы немножк не понял, как задавался вопрос, поэтому оставлю без комментариев на радость фанатов dbt
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part-b61 (иногда пост открывается за paywall, поэтому используйте режим инкогнито)
@ohmydataengineer
Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.
Что по интересным наблюдениям?
- Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪
- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.
- ETL системы немножк не понял, как задавался вопрос, поэтому оставлю без комментариев на радость фанатов dbt
Почитать в оригинале тут -> https://seattledataguy.substack.com/p/the-state-of-data-engineering-part-b61 (иногда пост открывается за paywall, поэтому используйте режим инкогнито)
@ohmydataengineer
Forwarded from 🔋 Труба данных
Кто отвечает за качество данных?
Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.
https://twitter.com/ananthdurai/status/1627627842929401857
Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.
Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data contracts?
@ohmydataengineer
Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.
https://twitter.com/ananthdurai/status/1627627842929401857
Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.
Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data contracts?
@ohmydataengineer
Forwarded from Data engineering events (Николай Крупий)
Telegram
Datathons
Где проверить свои скиллы, увидеться с комьюнити и найти единомышленников?
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
Forwarded from 🔋 Труба данных
И еще немного про текущее состояние индустрии
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Легенда инженерии данных Maxime Beauchemin в статье о будущем профессии (мой вольный перевод):
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
Monte Carlo Data
The Future Of Data Engineering As An Engineer | Monte Carlo
Is the data engineer still the "worst seat at the table?" Maxime Beauchemin, creator of Apache Airflow, weighs in on the future of data engineering.
23 марта в 20:00 по мск вебинар!
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
👨💻 Яндекс и ИТМО открыли онлайн-магистратуру для разработчиков
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.