👩‍💻 Используй объект slice для именованных срезов:

invoice = """
0.....6.................................40........52...55........
1909 Pimoroni PiBrella                      $17.50    3    $52.50
1489 6mm Tactile Switch x20                  $4.95    2    $9.90
1510 Panavise Jr. - PV-201                  $28.00    1    $28.00
1601 PiTFT Mini Kit 320x240                 $34.95    1    $34.95
"""

SKU = slice(0, 5)
DESCRIPTION = slice(5, 40)
UNIT_PRICE = slice(40, 52)
QUANTITY = slice(52, 55)
ITEM_TOTAL = slice(55, None)

line_items = invoice.split('\n')[2:]

for item in line_items:
    print(item[UNIT_PRICE], item[DESCRIPTION])

Результат:

$17.50   Pimoroni PiBrella                  
 $4.95   6mm Tactile Switch x20             
$28.00   Panavise Jr. - PV-201              
$34.95   PiTFT Mini Kit 320x240             

#python #slice

⚡️ ClickHouse vs Greenplum


Clickhouse и GreenPlum - известные СУБД для анализа больших данных, которые пользуются большой популярностью. Однако существуют критерии, по которым необходимо однозначно выбирать, какую из СУБД использовать в той или иной ситуации. Для этого рассмотрим их основные преимущества и недостатки.


🙂 Преимущества ClickHouse:

1️⃣ Высокая производительность:

ClickHouse предназначена для решения аналитических задач и обладает высокой скоростью выполнения запросов на чтение больших объемов данных. Это делает его идеальным выбором для аналитики данных и OLAP (Online Analytical Processing).

2️⃣ Эффективное сжатие данных:

ClickHouse использует различные методы сжатия данных, которые позволяют значительно сократить объем хранимой информации без потери производительности.

3️⃣ Горизонтальное масштабирование:

ClickHouse легко масштабируется по горизонтали, что позволяет увеличить производительность системы за счет добавления новых узлов.

☹️ Недостатки ClickHouse:

1️⃣ Ограниченная поддержка транзакций:

ClickHouse ориентирован в основном на аналитические задачи и не имеет полной поддержки транзакций, что может быть проблемой для некоторых приложений.

2️⃣ Ограниченный набор функций:

Несмотря на свою производительность, ClickHouse может оказаться недостаточным для решения некоторых сложных аналитических задач из-за ограниченного набора встроенных функций.


😍 Преимущества Greenplum:

1️⃣ Поддержка транзакций:

Greenplum обеспечивает полную поддержку транзакций и ACID (Atomicity, Consistency, Isolation, Durability), что делает его идеальным выбором для OLTP (Online Transactional Processing) и OLAP-приложений.

2️⃣ Широкий спектр возможностей:

Greenplum предлагает богатый набор встроенных функций и возможностей аналитической обработки, что делает его пригодным для решения различных типов аналитических задач.

3️⃣ Поддержка распределённых транзакций:

Greenplum обеспечивает поддержку распределенных транзакций и горизонтально масштабируется для обработки больших объемов данных.

🙃 Недостатки Greenplum:

1️⃣ Сложность управления:

Greenplum может потребовать больше усилий и опыта для управления и настройки, особенно при работе с большими кластерами.

2️⃣ Менее эффективное сжатие данных:

По сравнению с ClickHouse, Greenplum может не обеспечивать такой же высокий уровень сжатия данных, что может привести к увеличению использования дискового пространства и снижению производительности.

〰️〰️〰️〰️〰️〰️〰️〰️

В конечном итоге выбор между ClickHouse и Greenplum зависит от конкретных потребностей задачи. ClickHouse лучше подходит для аналитических рабочих нагрузок с высокими требованиями к производительности, в то время как Greenplum может быть предпочтительным выбором для приложений, где важна поддержка транзакций и широкий набор функций.

📄 MAD 2024

https://mattturck.com/landscape/mad2024.pdf

🖼️ Загадка

t = (1, 2, [3, 4])
t[2] += [5, 6]

Опросы в телеге не поддерживают форматирование кода, дублирую код для проверки:

t = (1, 2, [3, 4])
try:
    t[2] += [5, 6]
except TypeError as err:
    print(err)
print(t)

Это патология Python.
Из такого примера ты можешь сделать следующие выводы:

1️⃣ Не помещай изменяемые элементы в кортежи.
2️⃣ Составное присваивание -- не атомарная операция
3️⃣ Иногда следует изучать байт-код, чтобы понять, что происходит под капотом


Удобный ресурс для пошагового исполнения кода с визуализацией - pythontutor.com

#python #quiz #blowmymind

🖼️
И в дополнение к патологии выше, есть целый репозиторий с подобными штуками - ссылка

#python #wtfpython

⚡️ Выкатили новую версию 🖼️ Airflow 2.8.4


📦 PyPi

📚 Docs

🛠 Release Notes

🐳 Docker Image:
docker pull apache/airflow:2.8.4

#airflow

🖼️ Airflow 2.9

Сегодня выкатили новую версия Apache Airflow — 2.9. В релизе много полезных изменений и фиксов, а также новых фич:

▶️ поддержка Python 3.12

▶️ Listener API стабилизировался и его можно использовать в продакшене

▶️ Поддержка multiple executors (AIP-61 Hybrid Execution)

▶️ DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям

▶️ @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-команды

Полный список изменений смотри по ссылке.

#airflow

🚀 Вебинара: "Разработка data приложений на DuckDB"

🎙Спикер - Роман Зыков

🔗 Ссылка

Рома создал полностью рабочую систему, которой хочет поделиться с вами!
При этом он отказался от использования знакомых инструментов.

🔍 На вебинаре обсуждает:

🟡Почему выбрал DuckDB для разработки data приложений, отказавшись от привычных инструментов.
🟡Как построил полностью рабочую систему с базой данных, dbt, и оркестратором для ежедневного обновления данных без использования облачных сервисов.
🟡Живые примеры и исходные коды проекта.
🟡Управление данными с помощью DBT и Prefect.

👨‍💻 Смотри вебинар, если хочешь:

🔜 Узнать, как использовать DuckDB для создания эффективных data приложений.

🔜 Познакомиться с бесплатными инструментами для инжиниринга данных.

🔜 Вдохновиться реальным проектом и увидеть, как можно управлять данными без облаков.


#duckdb #dbt #prefect