💡 7 стратегий для масштабирования базы данных

1️⃣ Индексация
Анализируйте запросы вашего приложения и создавайте подходящие индексы для ускорения работы.

2️⃣ Материализованные представления
Предварительно вычисляйте сложные запросы и сохраняйте результаты для быстрого доступа.

3️⃣ Денормализация
Сократите сложные соединения таблиц, чтобы повысить производительность запросов.

4️⃣ Вертикальное масштабирование
Увеличьте мощность сервера базы данных, добавив больше CPU, оперативной памяти или хранилища.

5️⃣ Кэширование
Сохраняйте часто используемые данные в более быстром слое хранения, чтобы снизить нагрузку на базу данных.

6️⃣ Репликация
Создавайте копии основной базы данных на других серверах для распределения нагрузки на чтение.

7️⃣ Шардинг
Разделяйте таблицы на небольшие части и распределяйте их по разным серверам. Это поможет масштабировать как чтение, так и запись.

YouTube: 7 must-know strategies to scale your database

#scaling #масштабирование_базы_данных

Запись митапа про GreenPlum

https://www.youtube.com/live/LuZoarjNF0w

#greenplum

SQL & Hibernate (лекции JavaRush)

Неплохой набор лекций по работе с базами данных.
Что относится к Java разработке можно пролистать.

https://javarush.com/quests/QUEST_SQL_HIBERNATE_PUBLIC

7 Projects to Master Data Engineering - KDnuggets
https://www.kdnuggets.com/7-projects-master-data-engineering

Data Engineering Zoomcamp 2025 Cohort

_ _ _ Б Е С П Л А Т Н О _ _ _

Start: 13 January 2025
Registration link: https://airtable.com/shr6oVXeQvSI5HuWD
Materials specific to the cohort: cohorts/2025/

https://github.com/DataTalksClub/data-engineering-zoomcamp

PySpark Playground & Tutorial

https://www.sparkplayground.com/tutorials - здесь можно изучить работу со спарком (на английском)

https://www.sparkplayground.com/playground - здесь можно потренироваться онлайн

#spark #pyspark

Что такое Spark и как он работает?

https://youtu.be/Gj0oSVmv7k4?si=XK0gur6IcnXSQBNd

#spark

В видео по Spark есть ссылка на роадмап по DE с кучей полезных инструкций по инструментам.

GitHub - halltape/HalltapeRoadmapDE: Roadmap для Data Engineer.

https://github.com/halltape/HalltapeRoadmapDE

В твиттере вышел Grok 2. Неплохие ответы выдает, при этом вроде нет столько воды, сколько есть у бесплатного chatgpt.

Причем даже на политические вопросы дает ответы/рассуждает.

Ну и по data engineering можно поспрашивать, может найдутся какие-нибудь инсайты)

Гоу тестить🤪

Оптимизация SQL запросов на примере ClickHouse

Бесплатно

Научимся писать SQL запросы так, чтобы не убить базу данных. Изучим основные методы оптимизации SQL запросов, актуальные для любой СУБД

https://stepik.org/course/Оптимизация-SQL-запросов-на-примере-ClickHouse-215412/

#ClickHouse

Awesome Data Engineering Learning Sources - Roadmap для инженеров данных

Подборка ресурсов для изучения направления Data Engineering с минимальным бюджетом (большая часть бесплатно на YT).

https://datatalks.ru/awesome-data-engineering-learning-sources/

Как устроена база данных? Схемы, ограничения, индексы, кластеры

Для начинающих будет полезно

https://youtu.be/8L51FUsjMxA?si=z8uPvZjbnphQC3cx

Apache Iceberg + StarRocks YouTube Playlist

StarRocks as LakeHouse Query Engine

24 видосика.
https://youtu.be/8Q5Vev4O1lQ?si=7DIuO3IuIOmf6aHi

=== PS ===

В доке пишут, что StarRocks превосходит по производительности ClickHouse и Trino https://docs.starrocks.io/docs/benchmarking/

Понятно, что надо смотреть на типы задач, настройки и структуры данных, но интересный инструмент в любом случае.

Еще 1 статья Сравнение трино и старрокс https://gavrilov.info/all/sravnenie-query-dvizhkov-trino-i-starrocks/

#Iceberg #StarRocks

Перевод Analytics Engineering with SQL and dbt. Глава 1

Немного о концепции Analytics Engineering и терминологии.

https://datatalks.ru/analytics-engineering-with-sql-and-dbt-chapter-1/

#dbt

Понимание инкрементальных стратегий dbt, часть 1

Вторую часть не буду переводить, этот перевод сделал больше с целью ознакомить с вариантами обновления данных в таблицах. По технической реализации лучше доку смотреть и анализировать, как каждая стратегия работает на уровне макросов (или сгенерированного sql).

https://datatalks.ru/understanding-dbt-incremental-strategies-part-1/

#dbt

Перевод 2 главы "Моделирование данных для аналитики (dbt)"

https://datatalks.ru/dbt-data-modeling-for-analytics/

#dbt

Чеклист для разработчиков по подготовке к техническому собеседованию — bool.dev
https://bool.dev/blog/detail/checklist-dlya-deva-po-podgotovke-tech-interview

data load tool (dlt) is an open source Python library that makes data loading easy 🛠️

🔹Автоматическая схема: проверка структуры данных и создание схемы для места назначения.
🔹 Нормализация данных: согласованные и проверенные данные перед загрузкой.
🔹Полная интеграция: Colab, AWS Lambda, Airflow и локальные среды.
🔹Масштабируемость: адаптируется к растущим потребностям в данных в производстве.
🔹Простота обслуживания: понятная структура конвейера данных для обновлений.
🔹Быстрое исследование: быстрое исследование и получение информации из новых источников данных.
🔹Универсальное использование: подходит для несистематических исследований и создания сложных погрузочных инфраструктур.
🔹Начните работу за считанные секунды с помощью CLI: Мощный CLI для управления, развертывания и проверки локальных pipelines.
🔹Поэтапная загрузка: загружайте только новые или измененные данные и избегайте повторной загрузки старых записей.
🔹Открытый исходный код: бесплатно и под лицензией Apache 2.0.

https://github.com/dlt-hub/dlt