Forwarded from Mikhail Kumachev
Коллеги, приветствую!
Мы рады анонсировать очередной митап: DE or DIE #4.
Дата и время: 01.10.2020, начало в 18:00 MSK
Формат: online.
На этот раз нас ждут две контрастные темы, так что вне зависимости от того, занимаетесь ли вы прокладкой ETL-пайплайнов или менеджментом в области данных, вы найдете для себя что-то интересное.
Что в программе:
1. «Своя песочница – как сделать кластер для инженера данных», Артем Селезнев, Senior Data Engineer, Сбербанк
2. «Data governance – что это, зачем, и с чего начать», Андрей Вихров, Главный системный аналитик, Связной
Зарегистрироваться можно здесь:
https://deordie.timepad.ru/event/1435939/
Мы рады анонсировать очередной митап: DE or DIE #4.
Дата и время: 01.10.2020, начало в 18:00 MSK
Формат: online.
На этот раз нас ждут две контрастные темы, так что вне зависимости от того, занимаетесь ли вы прокладкой ETL-пайплайнов или менеджментом в области данных, вы найдете для себя что-то интересное.
Что в программе:
1. «Своя песочница – как сделать кластер для инженера данных», Артем Селезнев, Senior Data Engineer, Сбербанк
2. «Data governance – что это, зачем, и с чего начать», Андрей Вихров, Главный системный аналитик, Связной
Зарегистрироваться можно здесь:
https://deordie.timepad.ru/event/1435939/
deordie.timepad.ru
DE or DIE #4 / События на TimePad.ru
DE or DIE – митап, сделанный дата инженерами для дата инженеров
Дневник дата инженера: https://lakefs.io/2020/09/14/diary-of-a-data-engineer/
Git for Data - lakeFS
Diary of a Data Engineer: Glimpse into the Daily Life
Get a glimpse into the daily life of a data engineer. Explore the passion for data quality and solving complex data problems at scale with lakeFS.
Forwarded from Data1984
Great thread on Python 3 cool features.
https://twitter.com/svpino/status/1308632185113579522?s=19
https://twitter.com/svpino/status/1308632185113579522?s=19
Twitter
Santiago 🎃
Are you taking full advantage of Python 3? Are you sure? Here are 10 Python 3 features that will change the way you are writing code today. 🧵👇
Нашел прикольную базу TinyDB на Python, она документоориентированная (типа MongoDB). Написана без внешних зависимостей и интересна мне в первую очередь как предмет изучения основ проектирования БД: https://github.com/msiemens/tinydb
А вот дока к ней: https://tinydb.readthedocs.io/en/latest/
А вот дока к ней: https://tinydb.readthedocs.io/en/latest/
Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020
Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k
Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k
Pipeline Data Engineering Academy
Data engineer salaries in Germany 2020 - Pipeline Academy - Data Engineering Coding Bootcamp in Berlin — Pipeline Data Engineering…
TL;DR: the expected annual gross salary for a junior or mid-level data engineer in Germany is between €45.000-75.000.
Below a rundown done in August 2020 based on secondary sources from across the internet. This has been verified by our primary research…
Below a rundown done in August 2020 based on secondary sources from across the internet. This has been verified by our primary research…
Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/
Confluent
How Stream Processing Works with ksqlDB
Learn how ksqlDB works, the basics of real-time stream processing, and how it works with Apache Kafka, along with introductory concepts, visuals, and code examples.
В AWS появилась в общем доступе Time series база данных Amazon Timestream: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/amazon-timestream-now-generally-available/
Amazon Web Services, Inc.
Amazon Timestream is now Generally Available
Forwarded from Artem Pichugin
Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk
Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк
19:00-19:15. Перерыв
19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной
Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!
Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк
19:00-19:15. Перерыв
19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной
Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!
Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube
https://youtu.be/n5-xEEQFqPY
https://youtu.be/n5-xEEQFqPY
YouTube
B-tree indexes - learn more about the heart of PostgreSQL
Talk by Anastasia Lubennikova
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
Доклады с последнего DE or DIE митапа:
- Своя песочница – как сделать кластер для инженера данных
- Data governance – что это, зачем, и с чего начать
- Своя песочница – как сделать кластер для инженера данных
- Data governance – что это, зачем, и с чего начать
YouTube
DE or DIE #4. Артем Селезнев – Своя песочница – как сделать кластер для инженера данных
Материалы всех наших митапов: https://deordie.com
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Артем Селезнев, Senior Data Engineer, Сбербанк.
Отличные коробочные решения…
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Артем Селезнев, Senior Data Engineer, Сбербанк.
Отличные коробочные решения…
Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo
YouTube
04. Базы Данных – Татьяна Денисова
Во время лекции мы поговорим о том, что такое данные, какие базы данных бывают и чем они отличаются. Вы узнаете, какие особенности работы с базами данных нужно иметь в виду разработчику.Обсудим, как характеризовать, структурировать и хранить данные — с расчетом…
Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу?
Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/
Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/
Start Data Engineering
Data Engineering Project: Stream Edition – Start Data Engineering
Stream processing differs from batch; one needs to be mindful of the system’s memory, event order, and system recovery in case of failures. However, understanding the fundamental concepts of time attributes, cluster memory, time-bounded joins, and system…
Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0
YouTube
Getting started with XComs in Apache Airflow
Welcome in Getting started with XComs in Apache Airflow
My name is Marc Lamberti and I'm super excited to see you there.
Indeed, you are going to discover how to get started with XComs in Apache Airflow.
As you can see from the curriculum below, you are…
My name is Marc Lamberti and I'm super excited to see you there.
Indeed, you are going to discover how to get started with XComs in Apache Airflow.
As you can see from the curriculum below, you are…
Кейс нашей компании по использованию облачного сервиса AWS: https://aws.amazon.com/ru/solutions/case-studies/playrix/
Amazon
Playrix Case Study
Playrix uses AWS to produce a 10-times increase in analytic querying speed and store and process 5 TB of data with zero bottlenecks to garner strong data insights that improve the end user experience.