Потихоньку dbt сообщество развивается. Запись недавнего митапа.

Запись выступления про решения для игровой индустрии игр ААА. https://youtu.be/tcTIQoo0I7Y

Собрали много алгоритмов на Python в одном месте https://github.com/TheAlgorithms/Python

Бодренькое видео Introduction to Data Roles and Infrastructure - авто рассказывает, что такое Data Pipeline и какие основные дата роли существуют (на английском). Если вы хотели посмотреть на дата терминологию на английском, то это отличный старт.

⚡️ Аналитика данных - блог ведущего Дата саентиста, работающего с данными в Uber, одного из авторов легендарного🔥 Machine Learning. Материал канала поможет реально вырасти до профессионала по работе с данными и получить самую высокооплачиваемую ИТ-профессию.

1 канал вместо тысячи учебников и курсов, подписывайтесь: 👇👇👇

@data_analysis_ml

Последние пару недель нужно было погрузиться в AWS Glue. Что такое Glue? Это набор сервисов (managed services, SaaS) на базе open source технологий Spark, Hive и скорей всего других.

Если вы в AWS зайдете в AWS Glue, то там просто глаза разбегутся, сколько всего там есть. Я могу выделить несколько сервисов:

1) Glue Crawler - это такой помощник, который может сканировать данные в S3, и создавать таблицы для SQL, например, чтобы писать запросы в Athena (SQL сервис на базе Presto). Если по простому, то glue crawler создаст таблицу в hive metastore поверх данных в S3. И там куча всяких ништяков, чтобы запросы работали быстрей, партиции сами появлялись и тп.

2) Glue ETL - это и есть managed Spark, почти такой же как Databricks. Я бы сказал бы даже, как Databricks лет 5-10 назад. Можно писать PySpark job с традиционными RDD, Dataframes и spark.read и spark.write (что я и делаю). Есть ноутбуки, кривоватые, но работают.

Процесс выглядит примерно так:
1) Есть данные в S3 и в ноутбуки я пишу черновик PySpark кода который делает все, что мне нужно.
2) Я беру этот код (glue_job.py) и создаю glue job, где указываю тип кластера (всего 3 типа) и кол-во workers. И запускаю.
3) Если нужно, то ставлю это все на расписание. Вроде работает.

Чтобы создать job или запустить его можно использовать AWS CLI или Terraform, у нас 2ой вариант. Terraform даже таблицы создает в Athena.

Это мы рассмотрели традиционный подход. Но есть еще один - glue dynamic dataframes - это уже поделки от AWS, возможно они более оптимизированы и даже позволяют использовать UI (glue studio), чтобы за вас писать код, но мне больше нравится использовать просто PySpark.

3) Glue Data Brew - это уже для Data Science, Data Analyst, инструмент который может делать профайлинг данных, готовить их к моделям, изучать и вообще делать Feature Exploration. Правда у меня так и не смогу он переварить 20GB данных, чтобы выдать профиль датасета.


В целом, мой опыт положительный, не смотря на отсталый интерфейс и функциональность, overload документацию (по сравнению с databricks). Я использую Glue вместе стандартного решения AWS EMR (hadoop) + Spark, и все работает. Дальше через Athena таблицы используются в Looker.

Осталось обучить команду использовать Spark, поэтому мой модуль 7 очень кстати, я как раз на английском им расскажу сегодня про урок 7.2 и на след неделе про урок 7.3.

Материалы по Glue:
1) Лаба AWS - AWS Glue Immersion day - тут есть прям все, что нужно знать с примерами и кодом.
2) Develop and test AWS Glue version 3.0 jobs locally using a Docker container - как то был вопрос про локальную разработку Glue - оказывается можно. Есть готовый docker, в котором уже есть glue spark и можно использовать для CI/CD и локальной разработки.

После очередного заваленного собеседования приходит на ум вот такой анекдот:

Однажды к поручику подошел корнет со своим вечным вопросом.
- Поручик! У вас такой успех у женщин, а вот на меня они никакого внимания не обращают. Как это вы так?
- Все очень просто, корнет. Подходишь к даме и говоришь : "Мадемуазель! (или там мадам) Нельзя ли вам впердолить?"
- Но, поручик, так ведь можно и пощечину получить!
- Гм.. Можно! А можно и впердолить!

Пока анекдотов новых нет, но есть разные новости из data мира.

У AWS Glue есть свой githab, в котором есть полезные утилиты. Одна из них это docker со Spark UI, который запускается на локальной машине и читает логи спарка в s3.

У glue столкнулся с проблемой, job падает, когда читает s3 папку с 24мя файлами паркет, каждый 1gb. Оказывается проблема, в том, что спарк плохо читает большие файлы и ему трудно их делаить на кусочки - Spark – Reading Parquet – Why the Number of Tasks can be Much Larger than the Number of Row Groups - в статье более подробно как это работает. У Спарка вообще все просто до первого падения job.

Начал использовать разные полезные утилиты для командыной строки:
- pqrs - утилитка для работы с паркетом
- parquet-tools - еще одна, можно сразу анализировать файлы в облаке
- athenareader - клиент для Amazon Athena, показывает даже стоимость запроса в долларах.

Новая статья про LakeHouse архитектуру - Lakes? Warehouses? Lakehouses? A short history of Data Architecture

Пример создания Declarative Data Pipelines в Databricks.

Dbt cloud обновили свой scheduler и написал блог пост про него.

Slowly Changing Dimensions (SCDs) In The Age of The Cloud Data Warehouse - по названию понятно про что это.

The State of Data Engineering 2022 - тут вам расскажут про разные вендоры и их назначения для инжиниринга данных. Про 2022 я могу вам лично от себя сказать, что инжиниринг данных превращается в разработку ПО и требования соответствующие. Зоопарк технологий растет, требования к безопасности и сложность интеграции повышается, так что кликать мышкой уже не достаточно.

Service-aligned Data Platform Architecture - пример аналитического решения от компании canva (оч удобный продукт кстати для создания маркетинговых материалов и бесплатного много).

Хорошая теория по Software Architecture.

Если вы работаете с Jira, то вам будет понятно мнение автора. А так можно “jira” заменить на любой другой продукт:
- I fucking hate “Oracle”
- I fucking hate “Excel”
- I fucking hate “VBA”
- I fucking hate “пробки в центре”
- I fucking hate “холодный капучино”
- и далее по списку🤪

Недавно прошел Data&AI summit от Databricks. Вы можете посмотреть краткий обзор того, что там было:

Data & AI Summit Takeaways: Part I
Data & AI Summit Takeaways: Part II

Всем привет, завтра (6 июля, среда) вебинар в 20:00 по мск
Мы продолжаем серию общеобразовательных вебинаров о том как работает наш мозг, про умение думать и мыслить и все в этом духе)))

Ссылка на вебинар: https://youtu.be/KL4RV8BsPbI
⚠️ Описание вебинара:
Добрый день, меня зовут Рустам, я создатель крупнейшего в рунете сообщества изучающего принципы управления, организации и работы со знаниями. Неожиданно для себя открыл, что критическому мышлению, которым многие мечтают овладеть, просто невозможно научиться.

Сегодня хотелось бы поразмышлять вместе с Вами о том что такое критическое мышление, какую роль во всем этот играет рациональность и что вообще это такое. Попробуем разобраться могут ли математические алгоритмы создавать знание и как далеко нам до ИИ, а также какое препятствие стоит у нас на пути к написанному в строках кодах сознанию и почему меня пугает AlphaGo.

Ну и в заключении поговорим о мышлении в широком смысле слова. Подходах, инструментах, процессу переработки и системах создания знаний. И как бы нам не хотелось компьютеризировать этот процесс, он пока еще исключительно антропоцентричный и никаких серьезных изменений в этой области не предвидится.

📕 Ссылки на ресурсы спикера:
🔗 Канал в телеге: https://news.1rj.ru/str/Zettelkasten_ru
🔗 Цифровой сад: rustamagamaliev.ru
🔗 Форум: zttl.space

🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!

📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале https://datalearn.ru/

👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.

🔥 Самые актуальные новости про аналитику в Telegram канале:
https://news.1rj.ru/str/rockyourdata
🔥 Телеграм канал DataLearn:
https://news.1rj.ru/str/datalearnru

Очередная саркастичная картинка про “Modern Data Stack”, вот и вопрос, как же войти в профессию с чего начать, что делать, куда бежать?

Как было раньше хорошо, был Oracle и SQL Server как хранилище и несколько ETL инструментов с UI либо процедурные языки от баз данных, а теперь вот 🙈🙊

Кстати другой момент, что на всех этих картинках нет инструментов для моделирования хранилищ данных, потому что это трудозатратно и требует опыта.

И кстати утверждение, что в облаке нам не нужна модель данных - отчасти верна, мы можем взять большой кластер и выполнить запрос, но вот цена вопроса будет другой, поэтому модель данных это уже не про перформанс, а про цену compute. А мы знаем (из модуля 5 и 6 datalearn, compute - дорого!)

Через 20 минут начинаем:
https://youtu.be/KL4RV8BsPbI

dbt - инструмент для трансформации данных внутри хранилища, то есть T в процессе ELT, достаточно прост и удобен, да еще и бесплатный.

Вот некоторые ресурсы по нему:

В облаке google:
DBT at scale on Google Cloud — Part 1
DBT at scale on Google Cloud — Part 2
DBT at scale on Google Cloud — Part 3

Serverless dbt on Google Cloud Platform

Serverless architecture on Google Cloud with dbt

В облаке AWS:
Build a modern data architecture on AWS with Amazon AppFlow, AWS Lake Formation, and Amazon Redshift
Build a modern data architecture on AWS with Amazon AppFlow, AWS Lake Formation, and Amazon Redshift: Part 2

В облаке Azure:
Run DBT in Azure Data Factory: A Clean Solution

И просто примеры решений:
Building a Robust Data Pipeline with the “dAG Stack”: dbt, Airflow, and Great Expectations

How Rittman Analytics does Analytics Part 2 : Building our Modern Data Stack using dbt, Google BigQuery, Looker, Segment and Rudderstack.

dbt and Snowflake

Transform your data with dbt and Serverless architecture

Building an End-to-End Open-Source Modern Data Platform

Ну и наш вебинар про введение в dbt - ВВЕДЕНИ В DBT / СОЗДАНИЕ МОДЕЛЕЙ ПРИ ПОМОЩИ DBT / УПРАВЛЕНИЕ ТРАНСФОРМАЦИЕЙ ДАННЫХ / РИШАТ МИНГАЗОВ

Вот ещё от в JetBrains блоге https://blog.jetbrains.com/big-data-tools/tag/dbt/

В целом, инструмент хороший, можно использовать, большое сообщество, прост и быстр в обучении.

Классный документ про 11 законов, которые популярны в tech индустрии, например 2 pizza rule, принцип парето и тп. (эти 2 я использую очень часто).

Отличный материал для начинающих или для тех, кто учит английский.

Моя презентация 2016 года про миграцию отчетности с Oracle, Excel, Crystal Reports на Redshift и Tableau.