Про структуру B-tree в PostgreSQL: https://www.youtube.com/watch?v=n5-xEEQFqPY
YouTube
B-tree indexes - learn more about the heart of PostgreSQL
Talk by Anastasia Lubennikova
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
https://www.socallinuxexpo.org/scale/18x/presentations/b-tree-indexes-learn-more-about-heart-postgresql
This talk will offer a deep dive into the B-tree indexes architecture. It covers the newest major features of PostgreSQL…
Про Query Plan в PostgreSQL: https://arctype.com/blog/postgresql-query-plan-anatomy/
Вышел релиз Apache Airflow 2.0.2: https://github.com/apache/airflow/releases/tag/2.0.2
Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.
Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.
GitHub
Release Apache Airflow v2.0.2 · apache/airflow
Bug Fixes
Bugfix: TypeError when Serializing & sorting iterable properties of DAGs (#15395)
Fix missing on_load trigger for folder-based plugins (#15208)
kubernetes cleanup-pods subcommand wil...
Bugfix: TypeError when Serializing & sorting iterable properties of DAGs (#15395)
Fix missing on_load trigger for folder-based plugins (#15208)
kubernetes cleanup-pods subcommand wil...
Forwarded from Mikhail Kumachev
Data Engineering Digest
Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
digest.deordie.org
DE or DIE: Digest – Data Engineering Digest
Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ejXC
Планировал написать про кастомный бэкенд для XCom в Airflow, а ребята из Astronomer уже это сделали: https://www.astronomer.io/guides/custom-xcom-backends
www.astronomer.io
Custom XCom Backends
Creating a custom XCom backend with Airflow 2.0.
Воу, в Amazon Redshift появилась поддержка JSON: https://aws.amazon.com/ru/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-redshift-native-json-and-semi-structured-data-support/
Amazon
Announcing general availability of Amazon Redshift native JSON and semi-structured data support
Forwarded from Data1984
New data engineering podcast episode about Superset with author of Superset and Airflow.
Data Engineering Podcast
Data Engineering Podcast: Self Service Data Exploration And Dashboarding With Superset
An interview with Maxime Beauchemin about how to use Apache Superset as a platform for self-service data exploration and analytics.
Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7
Medium
Upgrading to Airflow 2.0: Massive Performance Wins and Lessons Learned
At RealScout, we use Apache Airflow to orchestrate our crucial workflows such as data ingestions, health checks, and reconciliation…
Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO
YouTube
Airflow и MLFlow автоматизаций пайплайнов Machine Learning / MLOps
Разверните облачный сервер для Data Science в Selectel: https://slc.tl/JSss5, получите 1000 бонусных рублей по промокоду miracl6
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация…
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация…
Forwarded from PyMagic
В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o
YouTube
Основные ОТЛИЧИЯ DATA ENGINEER, DATA SCIENTIST и DATA ANALYST
Канал "Лучшая рабоота" https://youtu.be/I_NQPeMM9k0
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru
Instagram* h…
Новая группа про Data Science ВКонтакте https://vk.com/pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru
Instagram* h…
SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/
simonwillison.net
Django SQL Dashboard
I’ve released the first non-alpha version of Django SQL Dashboard, which provides an interface for running arbitrary read-only SQL queries directly against a PostgreSQL database, protected by the Django authentication …
А что у нас тут в пятницу произошло?
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич
Пакет уже доступен для установки через PyPI: apache airflow 2.1.0
PyPI
apache-airflow
Programmatically author, schedule and monitor data pipelines
Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/
Andreessen Horowitz
The Cost of Cloud, a Trillion Dollar Paradox
There is no doubt that the cloud is one of the most significant platform shifts in the history of computing. Not only has cloud already impacted hundreds of billions of dollars of IT spend, it’s still in early innings and …