Forwarded from Data engineering events (Николай Крупий)
Telegram
Datathons
Где проверить свои скиллы, увидеться с комьюнити и найти единомышленников?
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
На IT’s Tinkoff Solution Cup — соревновании для опытных разработчиков, Data-инженеров, SRE и системных аналитиков. Шесть направлений, два тура и весомые призы в финале, который проведем…
Forwarded from 🔋 Труба данных
И еще немного про текущее состояние индустрии
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Кроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.
Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_aw
Из того, за что у меня зацепился взгляд:
- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.
- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная.
- Все жалуются на тулы, совместную работу и метаданные
@ohmydataengineer
Легенда инженерии данных Maxime Beauchemin в статье о будущем профессии (мой вольный перевод):
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"
То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.
https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/
https://news.1rj.ru/str/dataengineerchat/192
Monte Carlo Data
The Future Of Data Engineering As An Engineer | Monte Carlo
Is the data engineer still the "worst seat at the table?" Maxime Beauchemin, creator of Apache Airflow, weighs in on the future of data engineering.
23 марта в 20:00 по мск вебинар!
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
https://news.1rj.ru/str/rockyourdata/4045
👨💻 Яндекс и ИТМО открыли онлайн-магистратуру для разработчиков
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.
В неё могут поступить начинающие разработчики и выпускники профильных вузов. К концу обучения они вырастут до уровня мидлов и тимлидов.
Преподаватели — эксперты Яндекса, на курсах студенты будут разбираться в реальных кейсах, с которыми сталкиваются разработчики в компаниях. Среди тем — алгоритмы и структуры данных, компьютерные сети, базы данных и современное промышленное программирование на Python, Java, C++ и Golang.
Самые успешные студенты получат стипендии и смогут устроиться в Яндекс по фаст-треку. Для поступления в магистратуру нужно будет пройти тест и собеседование. Набор начнется в апреле на сайте, а обучение — в сентябре. Не пропустите, кому интересно.
День открытых дверей в Летних школах Академии!
29 марта мы проведём большой День открытых дверей. Приходите узнать подробнее о том, как устроены Школы, задайте вопросы выпускникам и преподавателям. А ещё — понаблюдайте за разбором тестовых заданий предыдущего года.
Мы начнём в 18:30 в Youtube. Переходите в трансляцию и нажмите на колокольчик, чтобы не опоздать к началу: https://www.youtube.com/watch?v=nXrmfclRO24
Руководители и выпускники будут рады ответить на ваши вопросы — пожалуйста, задайте их в форме: https://clck.ru/33qMCs
29 марта мы проведём большой День открытых дверей. Приходите узнать подробнее о том, как устроены Школы, задайте вопросы выпускникам и преподавателям. А ещё — понаблюдайте за разбором тестовых заданий предыдущего года.
Мы начнём в 18:30 в Youtube. Переходите в трансляцию и нажмите на колокольчик, чтобы не опоздать к началу: https://www.youtube.com/watch?v=nXrmfclRO24
Руководители и выпускники будут рады ответить на ваши вопросы — пожалуйста, задайте их в форме: https://clck.ru/33qMCs
из МегаПодборки материалов за неделю от @dmitrii_ireshev_Agile_PMP
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия Борисюк.
📹 Ганна Новикова: кто такой SRE.
📰 Как выдержать первую встречу с рекрутером.
📰 Центры компетенций. Что может пойти не так?
📰 Сколько получают российские разработчики: наше исследование.
HR/Карьера/Саморазвитие
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Управление проектами и продуктами в IT
МегаПодборка материалов за неделю от @dmitrii_ireshev_Agile_PMP
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия…
HR/Карьера/Саморазвитие
📹 Найм в IT 2023. Кира Кузьменко, Александра Магарамова, Вероника Ильина
📹 Как продакту переехать в Лондон? Про BRP, поиск жилья и работы в Великобритании. Анастасия…
SQL и хранилищам данных, полезные ссылки по теме:
🟡 PostgreSQL
🔘 Домашняя страница базы данных
🔘 Что такое PostgreSQL? (краткие сведения)
🔘 Документация к PostgreSQL 14.5 на русском языке
🔘 Курс молодого бойца PostgreSQL
🔘 Подборка статей
🔘 Язык SQL
🟢 Архитектура хранилищ данных
🔘 Хранилище данных: понятия
🔘 Архитектура хранилищ данных: традиционная и облачная
🔘 Что такое хранилище данных?
🔘 Публикации, рассказывающие о хранилищах данных, подборка Habr
🔘 Обзор гибких методологий проектирования DWH
🔘 Особенности построения хранилища данных на базе ClickHouse в Yandex Cloud
🔘 Создание Data Lake и Warehouse на GCP
#sql #postgresql #dwh #clickhouse #datalake
https://news.1rj.ru/str/data_engi/101 #подборка
#sql #postgresql #dwh #clickhouse #datalake
https://news.1rj.ru/str/data_engi/101 #подборка
Please open Telegram to view this post
VIEW IN TELEGRAM
PostgreSQL
The world's most advanced open source database.
Больше опросов богу опросов!
Jesse Anderson (дядя, который написал вот это - Data Teams: A Unified Management Model for Successful Data-Focused Teams) каждый год тоже делает опросы дата команд и выкладывает результаты. Сам опрос по ссылке ниже в оригинале, графички в начале так себе, конечно, но если полистать ниже, то можно найти парочку интересных наблюдений, которые идут в разрез с предыдущими обзорами. Как будто, в одном отвечали миллениалы, а в другом - зумеры:
- согласно опросу, DQ далеко не проблема, а вот то, что приходится работать с бизнесом и другими командами - очень мешает. И низкое качество специалистов.
- при этом, общение с бизнесом и другими командами - лучший и самый эффективный метод прихода к успеху 🤪
- срезать дата команды или делать хайринг фриз в них почти никто не собирается.
https://www.jesse-anderson.com/2023/03/data-teams-survey-2023-results/ <— на английском.
@ohmydataengineer
Jesse Anderson (дядя, который написал вот это - Data Teams: A Unified Management Model for Successful Data-Focused Teams) каждый год тоже делает опросы дата команд и выкладывает результаты. Сам опрос по ссылке ниже в оригинале, графички в начале так себе, конечно, но если полистать ниже, то можно найти парочку интересных наблюдений, которые идут в разрез с предыдущими обзорами. Как будто, в одном отвечали миллениалы, а в другом - зумеры:
- согласно опросу, DQ далеко не проблема, а вот то, что приходится работать с бизнесом и другими командами - очень мешает. И низкое качество специалистов.
- при этом, общение с бизнесом и другими командами - лучший и самый эффективный метод прихода к успеху 🤪
- срезать дата команды или делать хайринг фриз в них почти никто не собирается.
https://www.jesse-anderson.com/2023/03/data-teams-survey-2023-results/ <— на английском.
@ohmydataengineer
На LinkedIn нашли резюме человека, которому катастрофически не везёт с работодателями
Автор Bloomberg Трунг Фан, опубликовал скрин профиля LinkedIn с резюме человека, «не созданного для работы».
Послужной список специалиста:
— Theranos — компания, которая была признана одной из крупнейших афер современности.
— WeWork — стартап коворкингов, который оценивался в $47 млрд. Основатель пустил компанию под откос.
— FTX — третья по величине криптобиржа, которая обанкротилась совсем недавно.
— SVB — банк для стартаперов Кремниевой долины, который прогорел в марте этого года и спровоцировал кризис в банковском секторе.
— Последним местом работы бедолаги стал Credit Suisse, банк, обанкротился сразу после SVB.
Даже не верится, что такой человек существует. А эта история вполне может оказаться очередным фейком. Но Трунг Фан выложил скрин переписки, в котором человек, выдающий себя за автора резюме, просит перестать глумиться над ним. Так оно или нет, узнаем позже, а пока — мем удался.
#кек #карьера #работа
Автор Bloomberg Трунг Фан, опубликовал скрин профиля LinkedIn с резюме человека, «не созданного для работы».
Послужной список специалиста:
— Theranos — компания, которая была признана одной из крупнейших афер современности.
— WeWork — стартап коворкингов, который оценивался в $47 млрд. Основатель пустил компанию под откос.
— FTX — третья по величине криптобиржа, которая обанкротилась совсем недавно.
— SVB — банк для стартаперов Кремниевой долины, который прогорел в марте этого года и спровоцировал кризис в банковском секторе.
— Последним местом работы бедолаги стал Credit Suisse, банк, обанкротился сразу после SVB.
Даже не верится, что такой человек существует. А эта история вполне может оказаться очередным фейком. Но Трунг Фан выложил скрин переписки, в котором человек, выдающий себя за автора резюме, просит перестать глумиться над ним. Так оно или нет, узнаем позже, а пока — мем удался.
#кек #карьера #работа