Открываю канал пассажем про организацию Логической модели и Хранилища Данных.
В ближайшие дни на Хабр планируется объемная публикация на тему сбора Сквозной Аналитики в 2021.
https://telegra.ph/Organizaciya-Hranilishcha-Dannyh-01-17
В ближайшие дни на Хабр планируется объемная публикация на тему сбора Сквозной Аналитики в 2021.
https://telegra.ph/Organizaciya-Hranilishcha-Dannyh-01-17
Telegraph
Организация Хранилища Данных
В значительной мере работа над Хранилищем Данных заключается в Моделировании данных (Data Modeling), или построении логической модели. Формально это означает преобразование, обогащение, сведение разрозненных наборов данных с целью получить интересующий набор…
Дал развернутый обзор решения для performance-маркетинга. Будущее за понятными, предсказуемыми и интерпретируемыми результатами. Мы на пути.
https://habr.com/ru/post/538106/
https://habr.com/ru/post/538106/
Хабр
Сквозная Аналитика на Azure SQL + dbt + Github Actions + Metabase
Привет, Хабр! Меня зовут Артемий Козырь. За последние годы у меня накопился довольно обширный опыт работы с данными и тем, что сейчас называют Big Data . Не так давно также разгорелся интерес к сфере...
В публикации раскрываю вопросы Modern Data Stack и фундамента Data Driven организации на примере Wheely:
- MongoDB: Специфика документ-ориентированного хранения (semi-structured & nested data)
- Пылесосинг данных: облачный ETL Hevo Data
- Airflow для оркестрации прикладных задач: бизнес-планирование в Notion.so
https://habr.com/ru/company/wheely/blog/535476/
- MongoDB: Специфика документ-ориентированного хранения (semi-structured & nested data)
- Пылесосинг данных: облачный ETL Hevo Data
- Airflow для оркестрации прикладных задач: бизнес-планирование в Notion.so
https://habr.com/ru/company/wheely/blog/535476/
Хабр
Дата-инжиниринг в превосходных условиях
Привет, Хабр! Меня зовут Артемий Козырь, я занимаюсь дата-инжинирингом в команде аналитики Wheely . А конкретнее — построением аналитических решений, начиная с основ и до конечного результата:...
Привет! Новый пост в блоге Wheely по тематике аналитических Хранилищ на примере Amazon Redshift.
- Основы гибких кластерных вычислений
- Колоночное хранение и компрессия данных
- Вместо индексов: ключи сегментации и сортировки
- Управление доступами, правами, ресурсами
- Интеграция с S3 или Даталейк на ровном месте
https://habr.com/ru/company/wheely/blog/539154/
- Основы гибких кластерных вычислений
- Колоночное хранение и компрессия данных
- Вместо индексов: ключи сегментации и сортировки
- Управление доступами, правами, ресурсами
- Интеграция с S3 или Даталейк на ровном месте
https://habr.com/ru/company/wheely/blog/539154/
Хабр
Аналитический движок Amazon Redshift + преимущества Облака
Привет, Хабр! На связи Артемий Козырь из команды Аналитики, и я продолжаю знакомить вас с Wheely. В этом выпуске: Основы гибких кластерных вычислений Колоночное хранение и компрессия данных Вместо...
Среда 9 Фев в 19:00 LIVE вебинар на платформе DataLearn.
Расскажу о решении, планах, покажу демо (exxclusive!), отвечу на вопросы.
Расскажу о решении, планах, покажу демо (exxclusive!), отвечу на вопросы.
Forwarded from Инжиниринг Данных (Roman Ponomarev)
❗️Друзья приветствую всех!
Завтра на нашем ютуб канале вебинар (10.02.2021) в 19:00 по МСК
Название вебинара: Путь Инженера Аналитики: Решение для Маркетинга на Azure SQL + dbt + Github Actions + Metabase
Описание:
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу на вопросы: облака, выбор инструментов, обучение, карьера, пути развития
Ссылка: https://youtu.be/SoOcvYPSm7o
Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире :blush:
🟢 Что нужно сделать:
➡️ Перейти по ссылке и поставить колокольчик, чтобы в среду не пропустить
➡️ Отложить все дела на вечер среды
➡️ В среду в 19:00 быть на вебинаре
Всех обнял, до встречи в эфире ☺️
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
Завтра на нашем ютуб канале вебинар (10.02.2021) в 19:00 по МСК
Название вебинара: Путь Инженера Аналитики: Решение для Маркетинга на Azure SQL + dbt + Github Actions + Metabase
Описание:
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу на вопросы: облака, выбор инструментов, обучение, карьера, пути развития
Ссылка: https://youtu.be/SoOcvYPSm7o
Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире :blush:
🟢 Что нужно сделать:
➡️ Перейти по ссылке и поставить колокольчик, чтобы в среду не пропустить
➡️ Отложить все дела на вечер среды
➡️ В среду в 19:00 быть на вебинаре
Всех обнял, до встречи в эфире ☺️
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
YouTube
Путь Инженера Аналитики: Решение для Маркетинга / Артемий Козырь
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу…
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу…
Собрал аналитические задачи на SQL с интерактивными примерами / решениями на sqlfiddle.com
От простого к сложному:
- Конкатенация значений из нескольких строк
- CASE в агрегирующих функциях
- Дедупликация данных
- Анализ временных рядов
- NULL & IF-THEN-ELSE в SQL
- Аналитические функции
- Историзация со Slowly Changing Dimensions (SCD)
- FULL JOIN для соединений без потерь
- Разбиение пользовательских событий на сессии
https://habr.com/ru/company/otus/blog/541882/
От простого к сложному:
- Конкатенация значений из нескольких строк
- CASE в агрегирующих функциях
- Дедупликация данных
- Анализ временных рядов
- NULL & IF-THEN-ELSE в SQL
- Аналитические функции
- Историзация со Slowly Changing Dimensions (SCD)
- FULL JOIN для соединений без потерь
- Разбиение пользовательских событий на сессии
https://habr.com/ru/company/otus/blog/541882/
Хабр
SQL для аналитики — рейтинг прикладных задач с решениями
Привет, Хабр! У кого из вас black belt на sql-ex.ru , признавайтесь? На заре своей карьеры я немало времени провел на этом сайте, практикуясь и оттачивая навыки. Должен отметить, что это было...
Сегодня приглашаю на вебинар по Looker - топовый BI-инструмент на рынке!
- Моделирование данных: структура проекта и блоки LookML
- Исследование данных: pivot, drill-down, table calculations
- Визуализация: типы графиков, дашбординг, кросс-фильтры, sharing
https://youtu.be/-YMCafO_cZk
- Моделирование данных: структура проекта и блоки LookML
- Исследование данных: pivot, drill-down, table calculations
- Визуализация: типы графиков, дашбординг, кросс-фильтры, sharing
https://youtu.be/-YMCafO_cZk
Ура! Новый пост.
2+ года dbt в продакшн в управлении Хранилищем Данных.
- Структура хранилища + бизнес-вертикали
- Оптимизация физического хранения в Redshift
- SQL + Jinja = Flexibility
- Macro: UDF, currency exchange
- Importing modules: calendar, external data, logging
- Deployment with dbt Cloud: Schedule + Webhooks, Slack notifications
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
2+ года dbt в продакшн в управлении Хранилищем Данных.
- Структура хранилища + бизнес-вертикали
- Оптимизация физического хранения в Redshift
- SQL + Jinja = Flexibility
- Macro: UDF, currency exchange
- Importing modules: calendar, external data, logging
- Deployment with dbt Cloud: Schedule + Webhooks, Slack notifications
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Хабр
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Уже более двух лет data build tool активно используется в компании Wheely для управления Хранилищем Данных. За это время накоплен немалый опыт, мы на тернистом пути проб и ошибок к совершенству в...
Technology Enthusiast Digest
Here I will structure materials and talks chronologically ordered.
At the end you will find TBD heading with posts to be done. Please comment on topics you are interested in to prioritize them.
Here I will structure materials and talks chronologically ordered.
At the end you will find TBD heading with posts to be done. Please comment on topics you are interested in to prioritize them.
Data Engineering blog
Technology enthusiast digest
Data Apps Design pinned «Technology Enthusiast Digest Here I will structure materials and talks chronologically ordered. At the end you will find TBD heading with posts to be done. Please comment on topics you are interested in to prioritize them.»
Forwarded from OTUS IT News
#expert
⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.
Поговорили с Артемием про демократизацию аналитики. Подробнее о том, почему Большие Данные никогда не были ближе и доступнее, в посте ниже⬇️
***
Данные и результаты их обработки используются повсеместно. Взрывной спрос на специалистов по работе с данными и рост их зарплат – яркое тому подтверждение.
В то же время реализация востребованного data-проекта никогда не была доступнее, в том числе и для ниндзя-одиночки. Судите сами:
▪️Облака. Готовый MPP движок или Hadoop кластер за 3 минуты – посчитал, сохранил результат – погасил. Zero administration. При этом каждый вендор стремится создать лУчший по функционалу и удобству продукт.
▪️Фреймворки типа dbt элегантно абстрагируют рутинную часть работы и boilerplate code, фокусируя внимание на написании бизнес-логики и лучших практиках разработки. То, для чего раньше создавались целые отделы в компаниях, теперь может быть реализовано усилиями 1-2 людей.
▪️Экспертные сообщества, культура обмена знаниями, open source – это обеспечивает быстрый старт и снижает порог входа. Slack, discourse, telegram channels – места концентрации идей, мнений и крупиц золота. Взгляните на топ аналитических задач на SQL с интерактивными примерами / решениями на sqlfiddle.com
И, конечно, публикуйте свои открытия. Сегодня каждый может стать героем.
Несколько идей проектов, которыми делюсь с вами:
➖Парсинг телеграм-каналов. Перепосты и кластеры «либеральных» и «патриотических» медиа
➖Мониторинг блогосферы: «снова в школу» по воскресеньям и «наконец-то пятница»
➖Граф социальных связей и интересов. Начните с подписок своего Instagram
Тем временем я упорно работаю над содержанием нового курса Data Warehouse Analyst. Именно вы можете повлиять на структуру и акценты, высказав своё мнение. Запуск запланирован уже на май!
***
💬 Мы ищем гостей для новых выпусков рубрики.
Пиши мне, если есть, что рассказать.
Обсудить
⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.
Поговорили с Артемием про демократизацию аналитики. Подробнее о том, почему Большие Данные никогда не были ближе и доступнее, в посте ниже⬇️
***
Данные и результаты их обработки используются повсеместно. Взрывной спрос на специалистов по работе с данными и рост их зарплат – яркое тому подтверждение.
В то же время реализация востребованного data-проекта никогда не была доступнее, в том числе и для ниндзя-одиночки. Судите сами:
▪️Облака. Готовый MPP движок или Hadoop кластер за 3 минуты – посчитал, сохранил результат – погасил. Zero administration. При этом каждый вендор стремится создать лУчший по функционалу и удобству продукт.
▪️Фреймворки типа dbt элегантно абстрагируют рутинную часть работы и boilerplate code, фокусируя внимание на написании бизнес-логики и лучших практиках разработки. То, для чего раньше создавались целые отделы в компаниях, теперь может быть реализовано усилиями 1-2 людей.
▪️Экспертные сообщества, культура обмена знаниями, open source – это обеспечивает быстрый старт и снижает порог входа. Slack, discourse, telegram channels – места концентрации идей, мнений и крупиц золота. Взгляните на топ аналитических задач на SQL с интерактивными примерами / решениями на sqlfiddle.com
И, конечно, публикуйте свои открытия. Сегодня каждый может стать героем.
Несколько идей проектов, которыми делюсь с вами:
➖Парсинг телеграм-каналов. Перепосты и кластеры «либеральных» и «патриотических» медиа
➖Мониторинг блогосферы: «снова в школу» по воскресеньям и «наконец-то пятница»
➖Граф социальных связей и интересов. Начните с подписок своего Instagram
Тем временем я упорно работаю над содержанием нового курса Data Warehouse Analyst. Именно вы можете повлиять на структуру и акценты, высказав своё мнение. Запуск запланирован уже на май!
***
💬 Мы ищем гостей для новых выпусков рубрики.
Пиши мне, если есть, что рассказать.
Обсудить