Data Apps Design – Telegram
Data Apps Design
1.54K subscribers
143 photos
2 videos
41 files
231 links
В этом блоге я публикую свои выводы и мнения на работу в Data:

— Data Integration
— Database engines
— Data Modeling
— Business Intelligence
— Semantic Layer
— DataOps and DevOps
— Orchestrating jobs & DAGs
— Business Impact and Value
Download Telegram
Channel created
В публикации раскрываю вопросы Modern Data Stack и фундамента Data Driven организации на примере Wheely:
- MongoDB: Специфика документ-ориентированного хранения (semi-structured & nested data)
- Пылесосинг данных: облачный ETL Hevo Data
- Airflow для оркестрации прикладных задач: бизнес-планирование в Notion.so
https://habr.com/ru/company/wheely/blog/535476/
Привет! Новый пост в блоге Wheely по тематике аналитических Хранилищ на примере Amazon Redshift.
- Основы гибких кластерных вычислений
- Колоночное хранение и компрессия данных
- Вместо индексов: ключи сегментации и сортировки
- Управление доступами, правами, ресурсами
- Интеграция с S3 или Даталейк на ровном месте
https://habr.com/ru/company/wheely/blog/539154/
Среда 9 Фев в 19:00 LIVE вебинар на платформе DataLearn.
Расскажу о решении, планах, покажу демо (exxclusive!), отвечу на вопросы.
Forwarded from Инжиниринг Данных (Roman Ponomarev)
❗️Друзья приветствую всех!
Завтра на нашем ютуб канале вебинар (10.02.2021) в 19:00 по МСК
Название вебинара: Путь Инженера Аналитики: Решение для Маркетинга на Azure SQL + dbt + Github Actions + Metabase

Описание:
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу на вопросы: облака, выбор инструментов, обучение, карьера, пути развития

Ссылка: https://youtu.be/SoOcvYPSm7o

Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире :blush:
🟢 Что нужно сделать:
➡️ Перейти по ссылке и поставить колокольчик, чтобы в среду не пропустить
➡️ Отложить все дела на вечер среды
➡️ В среду в 19:00 быть на вебинаре
Всех обнял, до встречи в эфире ☺️
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
Собрал аналитические задачи на SQL с интерактивными примерами / решениями на sqlfiddle.com

От простого к сложному:

- Конкатенация значений из нескольких строк
- CASE в агрегирующих функциях
- Дедупликация данных
- Анализ временных рядов
- NULL & IF-THEN-ELSE в SQL
- Аналитические функции
- Историзация со Slowly Changing Dimensions (SCD)
- FULL JOIN для соединений без потерь
- Разбиение пользовательских событий на сессии

https://habr.com/ru/company/otus/blog/541882/
Channel photo updated
Сегодня приглашаю на вебинар по Looker - топовый BI-инструмент на рынке!
- Моделирование данных: структура проекта и блоки LookML
- Исследование данных: pivot, drill-down, table calculations
- Визуализация: типы графиков, дашбординг, кросс-фильтры, sharing
https://youtu.be/-YMCafO_cZk
Ура! Новый пост.
2+ года dbt в продакшн в управлении Хранилищем Данных.
- Структура хранилища + бизнес-вертикали
- Оптимизация физического хранения в Redshift
- SQL + Jinja = Flexibility
- Macro: UDF, currency exchange
- Importing modules: calendar, external data, logging
- Deployment with dbt Cloud: Schedule + Webhooks, Slack notifications
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Technology Enthusiast Digest
Here I will structure materials and talks chronologically ordered.
At the end you will find TBD heading with posts to be done. Please comment on topics you are interested in to prioritize them.
Data Apps Design pinned «Technology Enthusiast Digest Here I will structure materials and talks chronologically ordered. At the end you will find TBD heading with posts to be done. Please comment on topics you are interested in to prioritize them.»
Forwarded from OTUS IT News
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.

Поговорили с Артемием про демократизацию аналитики. Подробнее о том, почему Большие Данные никогда не были ближе и доступнее, в посте ниже⬇️

***

Данные и результаты их обработки используются повсеместно. Взрывной спрос на специалистов по работе с данными и рост их зарплат – яркое тому подтверждение.

В то же время реализация востребованного data-проекта никогда не была доступнее, в том числе и для ниндзя-одиночки. Судите сами:

▪️Облака. Готовый MPP движок или Hadoop кластер за 3 минуты – посчитал, сохранил результат – погасил. Zero administration. При этом каждый вендор стремится создать лУчший по функционалу и удобству продукт.

▪️Фреймворки типа dbt элегантно абстрагируют рутинную часть работы и boilerplate code, фокусируя внимание на написании бизнес-логики и лучших практиках разработки. То, для чего раньше создавались целые отделы в компаниях, теперь может быть реализовано усилиями 1-2 людей.

▪️Экспертные сообщества, культура обмена знаниями, open source – это обеспечивает быстрый старт и снижает порог входа. Slack, discourse, telegram channels – места концентрации идей, мнений и крупиц золота. Взгляните на топ аналитических задач на SQL с интерактивными примерами / решениями на sqlfiddle.com

И, конечно, публикуйте свои открытия. Сегодня каждый может стать героем.

Несколько идей проектов, которыми делюсь с вами:

Парсинг телеграм-каналов. Перепосты и кластеры «либеральных» и «патриотических» медиа

Мониторинг блогосферы: «снова в школу» по воскресеньям и «наконец-то пятница»

Граф социальных связей и интересов. Начните с подписок своего Instagram

Тем временем я упорно работаю над содержанием нового курса Data Warehouse Analyst. Именно вы можете повлиять на структуру и акценты, высказав своё мнение. Запуск запланирован уже на май!

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
CORE DWH module for Marketing Analytics is now open sourced and accessible for anyone who might want to try it out.

I have prepared a series of blog posts to cover all the details with explanations and examples.

They will appear in this channel gradually. Stay tuned.
Next generation of marketing analytics

I want to leverage the whole power of cloud services and modern data stack: Azure SQL, dbt, Github Actions, Metabase.

Adapt your analytics in ever-changing business environments as well as maintain transparency and predictability to end users.