Apache Software Foundation закрывает 13 Hadoop-related проектов: https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/
Среди них:

- Apex
- Chukwa
- Crunch
- Eagle
- Falcon
- Hama
- Lens
- Marmotta
- Metron
- PredictionIO
- Sentry
- Tajo
- Twill

Я правда ни одним из этих проектов никогда не пользовался, но может ли это быть сигналом о том, что эпоха Hadoop близится к концу?

Про структуру B-tree в PostgreSQL: https://www.youtube.com/watch?v=n5-xEEQFqPY

Про Query Plan в PostgreSQL: https://arctype.com/blog/postgresql-query-plan-anatomy/

Вышел релиз Apache Airflow 2.0.2: https://github.com/apache/airflow/releases/tag/2.0.2

Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.

Data Engineering Digest

Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.

Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org

Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.

Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.

Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions

Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.

На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.

По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.

Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.

Регистрация обязательна: https://vk.cc/c1ejXC

Планировал написать про кастомный бэкенд для XCom в Airflow, а ребята из Astronomer уже это сделали: https://www.astronomer.io/guides/custom-xcom-backends

Воу, в Amazon Redshift появилась поддержка JSON: https://aws.amazon.com/ru/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-redshift-native-json-and-semi-structured-data-support/

New data engineering podcast episode about Superset with author of Superset and Airflow.

Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7

Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO

В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o

SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/

Ох йоп...

https://github.com/scottrogowski/mongita

А что у нас тут в пятницу произошло?
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0