[RU] Привет!
Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00
Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.
В программе 4 интересных доклада и ответы на вопросы:
- Почему вашей компании нужен dbt?
- Опыт использования dbt cloud в modern data stack
- Макросы dbt как единая версия правды
- Сбор статистики по запускам dbt и поиск узких мест в графе
https://space307.team/dbtmeetup
Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00
Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании.
В программе 4 интересных доклада и ответы на вопросы:
- Почему вашей компании нужен dbt?
- Опыт использования dbt cloud в modern data stack
- Макросы dbt как единая версия правды
- Сбор статистики по запускам dbt и поиск узких мест в графе
https://space307.team/dbtmeetup
Data Apps Design
[RU] Привет! Сегодня 14 декабря онлайн-митап пользователей dbt в 19.00 Приходите, если уже работаете с dbt или планируете/рассматриваете использование dbt у себя в компании. В программе 4 интересных доклада и ответы на вопросы: - Почему вашей компании…
Трансляция на YouTube, начинаем!
https://www.youtube.com/watch?v=10H45iYaCc8
https://www.youtube.com/watch?v=10H45iYaCc8
YouTube
Dbt Meetup 2021-12-14
Митап для специалистов, использующих инструмент dbt для решения своих задач.
Таймкоды:
00:00 Приветствие
05:08–28:55 Артемий Козырь, Analytics engineer at Wheely — Почему вашей компании нужен dbt?
35:15–51:35 Никита Баканчев, Senior data engineer at NabuMinds…
Таймкоды:
00:00 Приветствие
05:08–28:55 Артемий Козырь, Analytics engineer at Wheely — Почему вашей компании нужен dbt?
35:15–51:35 Никита Баканчев, Senior data engineer at NabuMinds…
👍1
В эту субботу (18 декабря) в Москве с 12:00 до 17:00 в рамках DevsCamp мы снимаем живые подкасты (это значит, что можно прийти и посмотреть съемки, задать вопросы спикерам при желании, понетворкаться, покушать и т.д. Всё как на неформальных митапах)
Я буду участвовать в одном из подкастов.
Также будет ряд других интересных тем.
Трансляция будет вот здесь, а живое обсуждение - в чате DevsCamp в ТГ.
Подробности: https://news.1rj.ru/str/teamleadcampchat/2307
#meetup
Я буду участвовать в одном из подкастов.
Также будет ряд других интересных тем.
Трансляция будет вот здесь, а живое обсуждение - в чате DevsCamp в ТГ.
Подробности: https://news.1rj.ru/str/teamleadcampchat/2307
#meetup
Forwarded from DADADATA
Если кто был со мной на собесах разработчиков DWH, то знают, что я люблю задавать вопрос "знаете ли что такое dbt"? И пока никто из кандидатов не ответил "да")
А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле, что добавляет возможности работать со структурой DWH как с кодом обычного приложения. Появляется версионирование, генерация SQL, макросы, тестирование, управление зависимостями и т д. Правильность этого подхода демонстрирует то, что крупные компании, работающие с данными, пишут свои внутренние решения для генерации SQL (пример - Яндекс.Go).
Ниже запись митапа на эту тему от моего коллеги Артемия Козыря. Рекомендую к просмотру.
А знать эту штуку хорошо бы, потому что она по сути реализует подход "DWH as a Code" в том смысле, что добавляет возможности работать со структурой DWH как с кодом обычного приложения. Появляется версионирование, генерация SQL, макросы, тестирование, управление зависимостями и т д. Правильность этого подхода демонстрирует то, что крупные компании, работающие с данными, пишут свои внутренние решения для генерации SQL (пример - Яндекс.Go).
Ниже запись митапа на эту тему от моего коллеги Артемия Козыря. Рекомендую к просмотру.
The world ain't all sunshine and rainbows. It's a very mean and nasty place.
Especially when you use
Please don't deploy such things to production.
⬇️⬇️⬇️
#bugs
Especially when you use
select *
When a base table changes, all the downstream dependencies might break down.Please don't deploy such things to production.
⬇️⬇️⬇️
#bugs
AWS denounces its own error logs
Your post may include a non-inclusive word (master)
😭😂
Your post may include a non-inclusive word (master)
😭😂
Hey, long time no see 🙂
We have just started our engagement with dbtLabs at Wheely.
Guys will try to conduct audit and help us improve our dbt deployment even further.
They have already access to:
– dbtCloud (jobs)
– Github repo (code)
– Redshift (database)
– Looker (bi + monitoring)
– Slack (communicating)
And yesterday was the Kick-off call. Overall great impressions.
What is going to happen:
– Audit: Deployment + Performance
– Audit: Project Structure
– Features/Fix's
I will keep you posted.
We have just started our engagement with dbtLabs at Wheely.
Guys will try to conduct audit and help us improve our dbt deployment even further.
They have already access to:
– dbtCloud (jobs)
– Github repo (code)
– Redshift (database)
– Looker (bi + monitoring)
– Slack (communicating)
And yesterday was the Kick-off call. Overall great impressions.
What is going to happen:
– Audit: Deployment + Performance
– Audit: Project Structure
– Features/Fix's
I will keep you posted.
Airbyte Clickhouse destination
Airbyte deployed Clickhouse destination which I already use to gather data from multiple sources.
By default it replicates all the data as JSON blobs (all the attributes inside one String field)
To get it flattened you either have to do it yourself or use Airbyte normalization.
1. Flattening manually with JSON functions
➕ Could be tricky and exhausting if you have a lot of attributes.
➖ Works extremely fast
2. Airbyte normalization (= dbt underneath 😉)
➕ It will flatten all your data automatically
Technically it is auto-generated dbt project
➖ Still a little bit buggy and looks like a work in progress.
I almost managed to get it done, but I use Yandex’ Managed Clickhouse which demands you use SSL / Secure connection.
Unfortunately, Airbyte’s dbt profiles.yml is hard-configured to secure: False at the moment.
I might create a PR to fix this when I have some time.
#airbyte #clickhouse #dbt
Airbyte deployed Clickhouse destination which I already use to gather data from multiple sources.
By default it replicates all the data as JSON blobs (all the attributes inside one String field)
To get it flattened you either have to do it yourself or use Airbyte normalization.
1. Flattening manually with JSON functions
JSONExtract(_airbyte_data, 'id', 'UInt64') as id➕ Could be tricky and exhausting if you have a lot of attributes.
➖ Works extremely fast
2. Airbyte normalization (= dbt underneath 😉)
➕ It will flatten all your data automatically
Technically it is auto-generated dbt project
➖ Still a little bit buggy and looks like a work in progress.
I almost managed to get it done, but I use Yandex’ Managed Clickhouse which demands you use SSL / Secure connection.
Unfortunately, Airbyte’s dbt profiles.yml is hard-configured to secure: False at the moment.
I might create a PR to fix this when I have some time.
#airbyte #clickhouse #dbt
I will try to overcome normalization another day 😄
Leave a comment / reaction if you are interested
Leave a comment / reaction if you are interested