DBT (Data Build Tool) - это открытый инструмент, который становится все более популярным в области обработки данных. DBT служит механизмом управления и трансформации данных в повторяемом и модульном формате. Этот процесс работы с данными называется DataOps.

▶️ Одной из ключевых особенностей DBT является его фокус на использовании SQL в качестве основного синтаксиса для преобразования данных. DBT следует принципам SQL очень близко. Это означает, что, даже если пользователь новичок в DBT, начать работу вам будет проще если уже есть понимание в SQL.

▶️ Еще одним важным преимуществом DBT является его способность управлять сложными трансформациями данных. Это особенно важно в контексте крупных проектов с большим объемом данных, которые требуют значительного количества очистки, агрегации и преобразования. DBT упрощает этот процесс, позволяя разработчикам определять преобразования с помощью модульных конфигурационных файлов, которые могут быть протестированы, зафиксированы в версиях и пройти проверку.

▶️ Одним из наиболее важных принципов DBT является использование общей схемы данных. Это означает, что вместо работы на индивидуальной проектной основе DBT позволяет командам сотрудничать над общим набором данных, который можно использовать в нескольких проектах. Такой подход повышает консистентность данных, снижает число ошибок и упрощает поддержку данных при изменении проектов.

▶️ DBT также предоставляет мощные возможности интеграции с современными инструментами по обработке данных, такими как Snowflake и BigQuery. В результате разработчики могут использовать мощные инструменты, которые входят в их обычный рабочий процесс, для трансформации и управления данными. Эта интеграция позволяет командам работать более эффективно и снижает число ручных процессов в управлении данными.

🔥 DBT - это отличный инструмент, который помогает разработчикам управлять и трансформировать данные в консистентном, легком для понимания и поддержки формате.

SQL и хранилищам данных, полезные ссылки по теме:

🟡PostgreSQL

🔘Домашняя страница базы данных

🔘Что такое PostgreSQL? (краткие сведения)

🔘Документация к PostgreSQL 14.5 на русском языке

🔘Курс молодого бойца PostgreSQL

🔘Подборка статей

🔘Язык SQL

🟢Архитектура хранилищ данных

🔘Хранилище данных: понятия

🔘Архитектура хранилищ данных: традиционная и облачная

🔘Что такое хранилище данных?

🔘Публикации, рассказывающие о хранилищах данных, подборка Habr

🔘Обзор гибких методологий проектирования DWH

🔘Особенности построения хранилища данных на базе ClickHouse в Yandex Cloud

🔘Создание Data Lake и Warehouse на GCP

#sql #postgres #dwh #clickhouse #datalake

⭐️ Elasticsearch - это одна из самых популярных поисковых систем в мире, которая используется для хранения и быстрого поиска большого объема данных. Она основана на Apache Lucene и предоставляет широкий набор функций для работы с данными любого размера и типа.

🍀 Одна из ключевых особенностей Elasticsearch - это его распределенная архитектура. Он позволяет разбивать данные на несколько индексов и распределять их на разные серверы, что обеспечивает высокую доступность и масштабируемость. В случае сбоя одного из серверов, Elasticsearch позволяет перенаправить запросы на другой сервер без прерывания работы системы.

📕 Elasticsearch также предоставляет дополнительные возможности для работы с данными, такие как механизмы аналитики, машинного обучения и интеграции со сторонними приложениями. Он также обладает мощным языком запросов, который позволяет выполнять сложные запросы и агрегации данных.

📌 Кроме того, Elasticsearch имеет расширяемую архитектуру, которая обеспечивает возможность создания собственных плагинов и расширений. Это позволяет создавать решения с высокой производительностью и гибкостью в зависимости от потребностей проекта.

📌 В целом, Elasticsearch - это мощный инструмент для работы с большими объемами данных, который обладает высокой производительностью, масштабируемостью и расширяемостью. Он позволяет быстро и эффективно обрабатывать сложные запросы и аналитику данных, что делает его популярным выбором для различных проектов и приложений.

Работа с большими данными, Hadoop, полезные ссылки:

🔵 DWH + Data Lake или что такое LakeHouse

🔵 Форматы файлов в больших данных: краткий ликбез

🔵 Допинг для аналитики: почему стоит обратить внимание на Apache Zeppelin

🔵 Apache Spark, объяснение ключевых терминов

🔵 Hadoop: что, где и зачем

🔵 Шпаргалка по командам Hadoop HDFS

Arenadata DB (Greenplum), полезные ссылки:

🟣 Arenadata

🟣 3 главных достоинства и недостатка MPP-СУБД для хранения и аналитики Big Data на примере Greenplum

🟣 Greenplum vs PostgreSQL: 7 сходств и 3 отличия

🟣 Функции на языке запросов (SQL)

🟣 Как хранить большие данных в Greenplum: ТОП-15 рекомендаций

pandas 2.0.0

Встречаем новый pandas с Apache Arrow, теперь очень быстро 🐼

Прокачаем SQL❓

SQL важен, потому что он является стандартом для управления базами данных и может использоваться с любой реляционной базой данных.

SQL позволяет проводить быстрый и эффективный поиск, извлечение, добавление, удаление и изменение данных в базе данных.

SQL также обеспечивает безопасность данных и сохранность целостности данных в базе данных.

Благодаря SQL упрощают и автоматизируют свою работу с базами данных.

Полезные ресурсы:

⏩sql-ex.ru

⏩sql-practice.com

⏩mode.com/sql-tutorial

⏩sqlbolt.com

⏩datalemur.com

⏩w3schools.com/sql

TLDR Автор статьи рассказывает о том, как они перешли с ClickHouse на Apache Doris, потому что в Doris есть, а в ClickHouse отсутствуют следующие штуки:

1️⃣ Частичный апдейт колонок

2️⃣ Нет необходимости в построении гигантских плоских таблиц, соответственно уменьшается стоимость хранилища

3️⃣ Дешевле в поддержке

Аналог Литкода от Яндекс.

https://coderun.yandex.ru/

👩‍💻