AWS Data Engineering Day: https://aws-dataengineering-day.workshop.aws/
Коды к лабам: https://github.com/aws-samples/data-engineering-for-aws-immersion-day

Амазон запустил новый сервис Amazon AppFlow, облачный ETL по забору данных из SaaS продуктов в хранилища AWS: https://aws.amazon.com/ru/appflow/

Тут у Segment намечается вебинар по теме построения Data Lake в компании Taxfix, кому интересно велком: https://learn.segment.com/building-a-data-lake-taxfix/

Воркшоп по стриминговой аналитике от AWS: https://streaming-analytics.labgui.de/introduction/
коды: https://github.com/aws-samples/streaming-analytics-workshop

Присоединяйтесь к Online AWSome Week! 27 апреля – 4 мая, 13.00 – 14.00. Архитекторы AWS расскажут, как сделать первые шаги в облачных технологиях. За 5 бесплатных вебинаров вы разберетесь в основных сервисах AWS и подготовитесь к экзамену на сертификат практика облачных сервисов. Участие бесплатно, нужно просто зарегистрироваться: https://go.aws/3cFwo4D

пост про serverless data streaming с помощью lambda, kinesis и dynamodb: https://www.teamdatascience.com/post/how-to-write-kinesis-data-stream-to-dynamodb

Нашел в сети курс от MIT про распределённые системы: MIT 6.824: Distributed Systems, ведёт курс легендарный Роберт Морис: https://www.youtube.com/channel/UC_7WrbZTCODu1o_kfUMq88g/videos

Кейс перехода с Apache Kafka на Apache Pulsar: https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/

4 мая ребята из сообщества Data Engineering проведут бесплатный митап: «Data Engineer or Die».
Соберутся хорошие эксперты по теме: Егор Матешук (CDO Qvant), Денис Хуртин (DMP Яндекс.Маркет), Михаил Кумачёв, Ксения Томак, Дарья Буланова (команда Data Engineering в Dodo Pizza).
Встреча будет актуальна для тех, кто работает с доставкой данных, backend-developers, ну и конечно для тех, кто в теме Data Engineering (или только начинает в ней вариться).

Ссылка на ивент: https://deordie.timepad.ru/event/1303716/

В подкасте Software Daily вышел эпизод про workflow менеджер Prefect.

А вот ещё в догонку подкаст про Dask.
Кто не в курсе, Dask это big data framework на Python, аналог Apache Spark. Если вам необходимо обрабатывать большие данные, то не торопитесь изучать Spark, возможно Dask будет лучшим выбором, если вы хорошо знакомы с Python.

Монументальный труд про построение бэкэнда на Python от Яндекса: https://habr.com/ru/company/yandex/blog/499534/

Путь Data Platform Engineer в AWS: https://aws.amazon.com/ru/training/learning-paths/machine-learning/data-platform-engineer/

Ссылка на трансляцию митапа по data engineering, который начнётся через 1 час: https://youtu.be/3GaiDIHUvro

Кейс Zalando о построении своего Data Lake на AWS: https://aws.amazon.com/de/blogs/storage/how-zalando-built-its-data-lake-on-amazon-s3/

К вопросу про целесообразность построение проекта на основе микросервисной архитектуры. Почитайте полезный пост от Twitter о том как они у себя удаляют данные в своём распределённом улье: https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/deleting-data-distributed-throughout-your-microservices-architecture.html

Весьма актуально в эпоху GDPR

Очень крутой вебинар от архитекторов AWS на русском языке про устройство базы данных AWS Aurora: https://emea-resources.awscloud.com/rus-ua-cis-webinars-in-russian-2020/webinar-aws-aurora

На хабре вышла полезная статья про построение кластера на Dask: https://habr.com/ru/post/499086/

Появились доклады с прошедших двух митапов по Data Engineering, последний, к слову, проходил онлайн 🦠:

— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?

Приятного просмотра!

В блоге Confluent вышла интересная статья про построение Telegram бота на Python и ksqlDB: https://www.confluent.io/blog/building-a-telegram-bot-powered-by-kafka-and-ksqldb/

Вчера прошел онлайн митап на тему, что нового нас ждёт в предстоящем релизе Apache Airflow 2.0

- Слайды
- Запись митапа

Когда именно состоится релиз версии 2.0 точно не известно, но разработчики надеются, что он будет в 3-ем квартале 2020 года. Пожелаем ребятам удачи! 🍀
А вы чем пользуетесь для построение пайплайнов? Напишите, пожалуйста, в комментариях к посту.