https://habr.com/ru/company/ods/blog/572264/

Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).
Интересные цифры и выводы внутри статьи.

Если кто-то хотел узнать поподробней про схемы и модели хранения данных, вот будет вебинарчик интересный:

DataVault / Anchor Modeling
(8 сентября 2021 в 20:00 по мск)
Спикер: Николай Голов

🔗Ссылка: https://youtu.be/-ZgzpQXsxi0

https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Паша вновь постарался и собрал для вас новости в DE за прошедший месяц.

Итак, осень началась, а значит начался сезон конференций. Вообще, конференции это прекрасный способ узнать что-то новое, но куда важней - это нетворкинг. Да, да, банальные прописные истины! 😁

Не отпускать вас на конференцию, потому что вас там переманят - это глупость со стороны работодателя и от такого нужно бежать. Я бы сбежал.
Не ходить на конференцию, ибо “я в записи посмотрю” - это упускать возможность узнать из первых уст в кулуарах о состоянии индустрии, и выстроить связи, которые вам помогут в будущем: интересным проектом или вы найдете себе коллегу.
Мерч, стикеры, книги - куда ж без этого =)


Если что, этой осенью меня можно поймать тут:
- 18 сентября, уже завтра, TechTrain https://bit.ly/3Dxabny, я выступаю с докладом впервые) Приходите поддержать!
- 20-21 сентября, Saint HighLoad ++, https://www.highload.ru/spb/2021, тут все просто - это флагманские конференции, такие не стоит пропускать.
- 27-28 сентября, MoscowPython Conf++ https://conf.python.ru/moscow/2021. Эту конференцию я помогал организовывать, курирую один из докладов. Если вы вдруг не купили билет, то есть промокодик SimonOsipov{MPC2021} на 7% скидки
- 11-14 октября, SmartData, https://bit.ly/3ypGykp. Ну как дата инженеру не посетить конференцию для Дата Инженеров? Опять же, если у вас еще нет билета - есть промокодик trubadannykh2021JRGpc
- 25 и 26 ноября, HighLoad++ https://www.highload.ru/moscow/2021. Завершение сезона крупнейшей конференцией.

https://airflow.apache.org/docs/apache-airflow/2.2.0/changelog.html

Тут Airflow 2.2.0 подвезли.

Из заметного:
➡️ Custom Timetables (AIP-39)
➡️ Deferrable Tasks (AIP-40)
➡️ Custom @task decorators and @task.docker
➡️ Validation of DAG params
➡️ Testing Connections from the UI - test the credentials for your Connection actually work
➡️ Duplication Connections from the UI
➡️ DAGs “Next run” info is shown in the UI, including when the run will actually start
➡️ airflow standalone command runs all of the Airflow components directly without docker - great for local development

Только сегодня Astronomer раздаёт бесплатно курсы и сертификации по Airflow - по промокоду airflow-free-cert

https://academy.astronomer.io/page/astronomer-certification

https://coalesce.getdbt.com/

Так, в недавнем докладе на TechTrain я рассказывал про разные пути развития Data Engineer. Так вот, “единорогом” на этом пути считается многорукая шива под названием Analytics Engineer. Это тот, кто вам и данных найдет, и построит пайплайн, положит это все в систему аналитики (которую сам может поднять) и сделает отчет для бизнеса. При этом, он сам пояснит бизнесу, зачем и почему этот отчет им нужен.

DBT в декабре проводит бесплатную онлайн конференцию Coalesce - The Analytics Engineering Conference.
Кажется, будет интересненько.

Регистрация по ссылке выше. Там же и программа конференции, воркшопов и дискуссий.

Так, помните, были такие две ссылки на статьи у меня в самом начале блога The rise of the Data Engineer и The fall of the Data Engineer, написанные известным в узких кругах Maxime Beauchemin (это тот, кто Airflow накодил).
У него тут прекрасное интервью вышло на тему будущего дата инженеров.

Главные моменты
- Скорость ETL и аналитики сильно возросла
- Единообразие в данных все еще сложно достижимо, но это норм
- Управление изменениями все также проблема, но уже есть инструменты
- Данные должны быть неизменяемыми, иначе хаос придет
- DE роль слишком объемная и начала дробиться на специализации
- Операционка все еще доставляет проблем, просто теперь она распределенная

Нагло подсмотрел ссылку на интервью в DE Annotated https://jb.gg/jg3ggt от @asm0dey

Как в Википедии, ты тыкаешь на одну ссылку почитать, и все, через 3 часа ты читаешь про то, как разводить кабачки в условиях болтной местности.
Так и я продолжил читать статьи Maxime Beauchemin и наткнулся на свежую How the Modern Data Stack is Reshaping Data Engineering

Вообще, выражение Modern Data Stack это уже баззворд, пихают его везде. Чаще этой фразы я слышу только “Hadoop умер” (нормально он себе живет относительно нишево, ничего он не умер, как и Ruby, не слушайте шарлатанов).
Так вот, основные моменты из статьи

Data infrastructure as a service
Нам пора думать о платформах, потому что без развития платформы, невозможно расти дальше определенного этапа, слишком больно.

Data integration services
Готовые решения по интеграции данных будут заменять постепенно скриптики, которые мы написали для REST API

Mountains of Templated SQL and YAML
Были полотна YAML шаблонов, теперь и полотна SQL. Программисты не любят SQL, говорят про инъекции, грязный код и вот это все, но количество аналитиков всех мастей растет, а для них SQL основной инструмент

ELT > ETL и Reverse ETL
Данные в хранилище мы научились поставлять. А теперь бы нормально научиться отдавать в наши системы.

The rise of the analytics engineer
Ага, DataOps это вот сюда тоже.

Ну и еще несколько пунктов. Сходите почитать, полезное чтиво.


P.S. на картинках можно заметить, что почти во всех пайплайнах есть DBT. 😄

P.S.S. Если лень читать, можно послушать на английском языке его доклад на эту тему https://www.youtube.com/watch?v=EKhYGYrq0eI

https://drecon.org/

На просторах англоязычного интернета нашлась еще одна конференция по Data Engineering, но теперь с модной приставкой Reliability.
Доклады разные, кажется, что есть что послушать, однако это лишь на мой вкус. Поэтому лучше самому составить свое мнение, посмотрев на расписание.

Учтите, конференция по МСК будет вечер/ночь.

Так, во всем этом потоке новых статей и видосиков, как вы ориентируетесь? Напишите в комментарии! (Да-да, я прикрутил обсуждения)

Какие источники использую я?
- RSS. Обычная читалка, типа Feedly, подписываюсь на интересные мне сайты, читаю раз в неделю заголовки и, если нравится предпросмотр, читаю глубже. Из последнего подписался на All Things Distributed.
- Infomate. Продвинутая RSS, материал подобран уже, спасибо всем, кто постарался.
- Telegram. Тут подписан на профильные группы, типа @rockyourdata или @DE_events
- Twitter. Подписываемся на адекватных лидеров мнений (а не шитпостеров) и читаем периодически, что они приносят.
- LinkedIn. Вот тут редко, но все же иногда проскальзывает материал, полезный для чтения.
- Рассылки в стиле Data Engineering Annotated от Паши @asm0dey (бесплатная) или The Pragmatic Engineer от Gergely Orosz (платная)
- Подписчики. Да-да, и такое бывает. Иногда мне приносят что-то интересное прямо в личку почитать, например “Data Driven компания: Как продемонстрировать ценность данных вашим коллегам?” от Жени

Data Engineering Zoomcamp!

Вот такое вот клевое название у ребят из DataTalksClub. Они проводят бесплатные зум-кемпы по разным темам и вот добрались до DE. Начало 17 января 22 и бесплатно.
Может быть кому-нибудь интересно будет послушать / посмотреть

Программа следующая:

1. Data warehousing (BigQuery)
2. Batch processing (Airflow, Spark)
3. Analytics engineering (DBT)
4. Stream processing (Kafka)

Подробнее тут: https://t.co/KpYI2S5aIq

Слак Data Talks Club https://datatalks.club/slack.html

https://twitter.com/OsipovSimon/status/1471069655443853325

Чтобы множество раз не отвечать, почему наши пути с Semrush расходятся, я в Твиттере написал большой тред про это.

https://www.datanami.com/2021/12/23/2022-big-data-predictions-from-the-cloud/?utm_source=rss&utm_medium=rss&utm_campaign=2022-big-data-predictions-from-the-cloud

Так, тут несколько дней назад на канале @data1984 наткнулся на статью (ссылка выше).
И так вышло, что я совсем не согласен с автором. Решил закинуть ее вам и предложить темку для обсуждения. Что происходит?

Автор (и его респонденты) утверждают, большинство компаний:
а) будут мигрировать не в чистое облако, а в некий гибрид облака и on-prem. Или более того, делать свои private-cloud-on-prem, для того, чтобы получать плюшки работы как с облаком, только уже на своем железе.
б) все очень сильно боятся вендор-лока, поэтому будут делать свои решения на multi-cloud

Каковы мои аргументы?
- Начнем с того, что подавляющее большинство компаний себе не могут позволить (или не имеют такой необходимости) создавать on-prem. Мир не ограничивается FAANG и ВСРАТОСЛАВом (или как там его окрестили? МЯСО?)
- Валидный аргумент про геополитические риски и антимонополию (мол, мы не можем хранить данные во Франции, потому что у нас с ними торговая война) пока применим только в отношении России (привет, закон о персональных данных и необходимости их хранения в РФ) и Китая (ну он всегда шел своим путем). Все остальные страны как-то нашли общий язык в этом всем.
- Мультиклауд как способ избежать вендор-лока. Ну да, два облака, поэтому х2 работы со биллингом, правами и доступами, инфраструктурами и связями, а еще cloud инженеры нужны, которые будут понимать детали и тонкости двух провайдеров.


В одном я с авторами согласен: хадуп катится к закату. Навсегда не умрет, но останется оч нишевым, не для всех.


Залетайте в комменты, давайте обсудим!

Еще одна интересная статья, которую хотелось бы обсудить с вами:

The future history of Data Engineering
https://groupby1.substack.com/p/data-engineering

Вот несколько интересных мыслей из статьи:

...Most businesses' data engineering needs have been solved or will shortly be solved by managed services that 10 years ago would require endless and extensive self-built ETL pipelines, databases and tools...

...The implications are that while Data Engineering is growing rapidly, so too are the forces that will undermine the need for Data Engineers, and the current under-supply of competent engineers will lead to an over-supply of junior engineers...

...Businesses should strive not to have people worrying about managing infrastructure, plumbing, ops etc over and above what is strictly necessary...

...Think about Sysadmins of the mid-2000s, arcane knowledge that is now redundant in almost every business, due to AWS, then Heroku, now Vercel, Supabase etc flying up the stack. (Or hadoop specialists. Big Data DBA anyone?)...

И еще целая кучка прекрасных цитат. Все это заставляет подумать, а куда движется Data Engineering? Или локальный рынок в России это еще не скоро затронет, ибо у нас еще до сих пор Хадуп популярен...
Впрочем, даже и на это в этой статье есть прекрасная цитата:

When the tide turns, there is a definite moment when the tide has indeed turned, but that change in direction becomes apparent to different boats at different times. This depends on context, location, keel depth and distance from both the equator and the moon (not to mention the sun). The gravitational pull has changed, but the water doesn’t start moving everywhere at the same time.


Прочитайте статью и приходите в комментарии обсудить про наше с вами будущее. Мое мнение будет в первом комментарии)