Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020
Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k
Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k
Pipeline Data Engineering Academy
Data engineer salaries in Germany 2020 - Pipeline Academy - Data Engineering Coding Bootcamp in Berlin — Pipeline Data Engineering…
TL;DR: the expected annual gross salary for a junior or mid-level data engineer in Germany is between €45.000-75.000.
Below a rundown done in August 2020 based on secondary sources from across the internet. This has been verified by our primary research…
Below a rundown done in August 2020 based on secondary sources from across the internet. This has been verified by our primary research…
Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/
Confluent
How Stream Processing Works with ksqlDB
Learn how ksqlDB works, the basics of real-time stream processing, and how it works with Apache Kafka, along with introductory concepts, visuals, and code examples.
В AWS появилась в общем доступе Time series база данных Amazon Timestream: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/amazon-timestream-now-generally-available/
Amazon Web Services, Inc.
Amazon Timestream is now Generally Available
Forwarded from Artem Pichugin
Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk
Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк
19:00-19:15. Перерыв
19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной
Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!
Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк
19:00-19:15. Перерыв
19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной
Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!
Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube
https://youtu.be/n5-xEEQFqPY
https://youtu.be/n5-xEEQFqPY
YouTube
B-tree indexes - learn more about the heart of PostgreSQL
Talk by Anastasia Lubennikova
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
Доклады с последнего DE or DIE митапа:
- Своя песочница – как сделать кластер для инженера данных
- Data governance – что это, зачем, и с чего начать
- Своя песочница – как сделать кластер для инженера данных
- Data governance – что это, зачем, и с чего начать
YouTube
DE or DIE #4. Артем Селезнев – Своя песочница – как сделать кластер для инженера данных
Материалы всех наших митапов: https://deordie.com
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Артем Селезнев, Senior Data Engineer, Сбербанк.
Отличные коробочные решения…
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Артем Селезнев, Senior Data Engineer, Сбербанк.
Отличные коробочные решения…
Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo
YouTube
04. Базы Данных – Татьяна Денисова
Во время лекции мы поговорим о том, что такое данные, какие базы данных бывают и чем они отличаются. Вы узнаете, какие особенности работы с базами данных нужно иметь в виду разработчику.Обсудим, как характеризовать, структурировать и хранить данные — с расчетом…
Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу?
Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/
Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/
Start Data Engineering
Data Engineering Project: Stream Edition – Start Data Engineering
Stream processing differs from batch; one needs to be mindful of the system’s memory, event order, and system recovery in case of failures. However, understanding the fundamental concepts of time attributes, cluster memory, time-bounded joins, and system…
Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0
YouTube
Getting started with XComs in Apache Airflow
Welcome in Getting started with XComs in Apache Airflow
My name is Marc Lamberti and I'm super excited to see you there.
Indeed, you are going to discover how to get started with XComs in Apache Airflow.
As you can see from the curriculum below, you are…
My name is Marc Lamberti and I'm super excited to see you there.
Indeed, you are going to discover how to get started with XComs in Apache Airflow.
As you can see from the curriculum below, you are…
Кейс нашей компании по использованию облачного сервиса AWS: https://aws.amazon.com/ru/solutions/case-studies/playrix/
Amazon
Playrix Case Study
Playrix uses AWS to produce a 10-times increase in analytic querying speed and store and process 5 TB of data with zero bottlenecks to garner strong data insights that improve the end user experience.
Про Apache Beam за 12 минут: https://www.youtube.com/watch?v=yZUe4th9gwY
YouTube
Apache Beam Explained in 12 Minutes
Apache Beam is a popular parallel processing framework. In this video, Alexandra will give you an overview of Apache Beam and by the end of the video you will hopefully have the skills that you need to write a simple pipeline.
Source code - https://gith…
Source code - https://gith…
Serverless Data Lake Framework Workshop :: Serverless Data Lake Framework (SDLF) Workshop
https://sdlf.workshop.aws/
https://sdlf.workshop.aws/
sdlf.workshop.aws
Serverless Data Lake Framework (SDLF) Workshop
Внезапно! От издательства Packt Publishing вышла книга Data Engineering with Python: https://www.packtpub.com/product/data-engineering-with-python/9781839214189
В книге акцент уделён построению дата пайплайнов на Apache Airflow и Apache NiFi. Также есть главы, посвященные Kafka и Spark.
В книге акцент уделён построению дата пайплайнов на Apache Airflow и Apache NiFi. Также есть главы, посвященные Kafka и Spark.
Packt
Data Engineering with Python | Packt
Build, monitor, and manage real-time data pipelines to create data engineering infrastructure efficiently using open-source Apache projects