Работа с большими данными, Hadoop, полезные ссылки:

🔵 DWH + Data Lake или что такое LakeHouse

🔵 Форматы файлов в больших данных: краткий ликбез

🔵 Допинг для аналитики: почему стоит обратить внимание на Apache Zeppelin

🔵 Apache Spark, объяснение ключевых терминов

🔵 Hadoop: что, где и зачем

🔵 Шпаргалка по командам Hadoop HDFS

Arenadata DB (Greenplum), полезные ссылки:

🟣 Arenadata

🟣 3 главных достоинства и недостатка MPP-СУБД для хранения и аналитики Big Data на примере Greenplum

🟣 Greenplum vs PostgreSQL: 7 сходств и 3 отличия

🟣 Функции на языке запросов (SQL)

🟣 Как хранить большие данных в Greenplum: ТОП-15 рекомендаций

pandas 2.0.0

Встречаем новый pandas с Apache Arrow, теперь очень быстро 🐼

Прокачаем SQL❓

SQL важен, потому что он является стандартом для управления базами данных и может использоваться с любой реляционной базой данных.

SQL позволяет проводить быстрый и эффективный поиск, извлечение, добавление, удаление и изменение данных в базе данных.

SQL также обеспечивает безопасность данных и сохранность целостности данных в базе данных.

Благодаря SQL упрощают и автоматизируют свою работу с базами данных.

Полезные ресурсы:

⏩sql-ex.ru

⏩sql-practice.com

⏩mode.com/sql-tutorial

⏩sqlbolt.com

⏩datalemur.com

⏩w3schools.com/sql

TLDR Автор статьи рассказывает о том, как они перешли с ClickHouse на Apache Doris, потому что в Doris есть, а в ClickHouse отсутствуют следующие штуки:

1️⃣ Частичный апдейт колонок

2️⃣ Нет необходимости в построении гигантских плоских таблиц, соответственно уменьшается стоимость хранилища

3️⃣ Дешевле в поддержке

Аналог Литкода от Яндекс.

https://coderun.yandex.ru/

👩‍💻

Spark DataFrame против Pandas Dataframe: преимущества и недостатки

Spark DataFrame и Pandas DataFrame - это структуры данных, разработанные для упрощения работы с табличными данными в Python, однако они имеют некоторые различия в своей функциональности и способе обработки данных.

🙂 Spark DataFrame является основным компонентом Apache Spark, распределенной платформы для обработки больших объемов данных. Это распределенный набор данных, организованный в именованные столбцы.

🙃 Pandas DataFrame - это структура данных, предоставляемая библиотекой Pandas, в которой предлагаются мощные инструменты для разбора и работы с табличными данными. Pandas DataFrame представляет собой двумерный массив с метками для строк и столбцов, похожий на таблицу базы данных или электронную таблицу.

Преимущества Spark Dataframe:

1️⃣ Распределенная обработка данных: Spark Dataframe предназначен для обработки больших объемов данных и может работать с данными, которые не умещаются в памяти одного узла. Данные и вычисления распределяются по кластеру, что позволяет достигать высокой производительности.

2️⃣ Поддержка разных языков программирования: Spark Dataframe поддерживает несколько языков программирования, включая Python, Scala, Java и R. Это позволяет разработчикам использовать предпочитаемый язык при работе с данными.

3️⃣ Поддержка разных источников данных: Spark Dataframe может работать с разными источниками данных, такими как распределенная файловая система Hadoop (HDFS), Apache Hive, Apache HBase, Apache Cassandra и многими другими. Он предоставляет удобные API для работы с разными форматами данных. Недостатки Spark Dataframe:

4️⃣ Сложность настройки и управления кластером: Spark требует настройки и управления кластером для распределенной обработки данных. Это может быть сложно для новичков или проектов с ограниченными ресурсами.

5️⃣ Медленный запуск: Запуск кластера Spark может занять время, особенно если необходимо настроить сетевые параметры и другие настройки. Для небольших наборов данных это может быть неэффективно и занять больше времени, чем обработка данных самим Spark.

Преимущества Pandas Dataframe:

1️⃣ Простота использования: Pandas Dataframe предоставляет простой и интуитивно понятный API для работы с данными. Он предлагает множество функций для фильтрации, сортировки, группировки и агрегации данных, что делает его удобным для анализа данных.

2️⃣ Большое сообщество пользователей: Pandas является очень популярным инструментом в сообществе аналитиков данных и машинного обучения. Это означает, что есть много ресурсов, документации и сообществ, где можно получить помощь и поддержку.

3️⃣ Высокая производительность на небольших наборах данных: Pandas оптимизирован для работы с относительно небольшими наборами данных, которые могут быть размещены в памяти одного узла. В таких случаях Pandas может быть быстрее, чем Spark. Недостатки Pandas Dataframe:

4️⃣ Ограничения памяти: Pandas Dataframe хранит все данные в памяти, поэтому работа с большими наборами данных может быть ограничена доступной памятью на вашем компьютере. Это может вызвать проблемы с производительностью или даже привести к сбою программы.

5️⃣ Ограниченная масштабируемость: Pandas разработан для работы на одном узле и не может эффективно масштабироваться для распределенной обработки. Если у вас большое количество данных, которые не умещаются в памяти одного узла, Pandas может стать неэффективным.

📌 Таким образом, выбор между Spark Dataframe и Pandas Dataframe зависит от конкретных потребностей. Если требуется обработка большого объема данных и распределенная обработка, то предпочтительнее использовать Spark Dataframe. Если вы работаете с небольшими наборами данных и ищете простой и быстрый способ анализа данных, то лучший выбор - Pandas Dataframe.