В последнем видео был обзор дашборда на Tableau, а сегодня нам помог и записал видео главный разработчик QlikSense в компании «Евроцемент груп» Алексей Гриненко — публикуем новую часть гайда по BI-системам: обзор дашборда на QlikSense.

Как и в прошлый раз, мы просим вас ознакомиться с результатом, приведённым в материале блога и ответить на два небольших вопроса.

📌Ключевые темы сегодняшнего дня:

Алексей Чернобровов - Как архитектура DWH влияет на Data Quality

Петр Ермаков, Lamoda - Open Source BI: почему стоит выбрать Apache Superset

Сергей Галактионов, JetStat - Как маркетологу настроить и автоматизировать отчетность когда нет аналитика

Николай Валиотти, Valiotti Analytics - Современный облачный Data Stack

Роман Бунин, Яндекс.Go - Развитие BI-системы компании с помощью продуктовых подходов

Екатерина Колпакова, Head of DWH Ситимобил - Хочешь построить DWH? Спроси меня как!

Яна Манухина и Алексей Ростоцкий, Bookmate - Как устроить архитектуру DWH и контролировать изменения в ней

Начало в 11:00⏰

FREE: matemarketing.ru

FULL: https://lms.matemarketing.ru

@internetanalytics

Классный инструмент для примеривания цветовой гаммы диаграммы. Думаю, можно использовать и не только для D3.js 🙂

Инструмент, который поможет правильно выбрать и настроить scale в D3 для вашего датасета.

https://martingonzalez.net/mr-scale-maker/

Опубликован список докладов конференции Coalesce (да-да, от тех самых создателей dbt, которые недавно вновь привлекли инвестиции).

Самое время зарегистрироваться и добавить интересующие доклады в свой календарь.

Среди наименований встречаются интересные вещи типа: «Cleaning the fish: A sushi-inspired approach to clean datasets» 🍣🧹📁

Сегодня публикуем новую часть гайда по BI-системам — обзор дашборда в PowerBI. С отчетом нам помогла Анастасия Стефанова, аналитик Sravni.ru.

Ознакомьтесь с результатом в материале блога и ответьте на два небольших вопроса.

Рома записал классный выпуск лайфхаков, в котором рассказывает как сделать удобную легенду, которая адаптируется в размерах, рекомендую.

Вдогонку, таким же способом можно организовать фильтрацию дашборда в целом (на видео сейчас используется привычный хайлайт на графике).

Подготовил новый выпуск «Лайфхаков в Табло».

0:00 — Как сделать удобную цветовую легенду
3:00 — Как подписать точки на графике по условию
7:12 — Как избежать проблем при работе с Табло на Windows

⚠️ Про последний пункт даже написал заметку. Он очень важен для тех, кто работает с Windows и с размером шрифта в системе больше 100%.

#лайфхаки

Внутри сервиса Тинькофф Инвестиции расположилась целая социальная сеть инвесторов «Пульс», где люди делятся своими прогнозами, мыслями и планами. В материале рассказываем, как спарсить частотный словарь и построить биграммы по постам пользователей, разделив их по объёму инвестиционного портфеля.

https://leftjoin.ru/all/tinkoff-pulse-frequency-dict/

Команда dbt запустила собственный курс по изучению, как ни странно, dbt.
Курс бесплатный.

В прошлый раз мы говорили о PowerBI, а на этой неделе рассмотрим дашборд в SAP Analytics Cloud, который сделал для нас Алексей Салынин – ведущий BI консультант SAPRUN.

Посмотрите на результат в материале блога и ответьте на два небольших вопроса.

Прошел этот курс, делюсь своими впечатлениями.
Курс классный, в нем много практики. Я использовал Google BigQuery и публичные датасеты от dbt для решения описанных примеров, а в обучающих материалах все построено на Snowflake.

В целом, узнал много нового и полезного о dbt, кратко summary:
* Во введении ребята объясняют роль Analytics Engineer, о котором так много разговоров и ссылаются на их пост блога
* Дается исчерпывающая информация о том, как подключить dbt к вашему хранилищу и .git
* В dbt довольно тривиальными запросами реализовано тестирование данных на предмет уникальности, соответстия значениям (это реально базовые SQL-запросы, которые проверяют наличие / отсутствия поля или значений)
И тут интересно следующее: когда пишешь самостоятельно похожие запросы иногда думаешь, что во всем остальном мире так никто не делает, ну, к примеру:

SELECT sum(amount) FROM ... HAVING sum(amount)>0

А оказывается еще как делают, вот даже публично внутри dbt все эти тесты так и реализованы.
И, кстати, крайне удобно, что SQL-код каждого теста можно изучить (скомпилировать)
* Круто и удобно формируется документация и DAG (directed acyclic graph), который показывает все шаги преобразований модели
* Поскольку dbt построен на Liquid и использовании Jinja (движок шаблонов в python), то можно делать всякие невероятные вещи вроде написания внутреннего макроса (читай, условный операторы, циклы или создание функций) и применять этот макрос для автоматизации однотипных частей запроса.
Это прям вау 🙂
* Многие вещи уже придуманы и разработаны коммьюнити, поэтому существует dbt hub, через который можно подключить интересующие пакеты и не изобретать велосипед.
* Отдельного упоминания достойны алгоритмы формирования инкрементального наполнения таблиц и создания снэпшотов. Для одного из проектов абсолютно такой же алгоритм по созданию снэпшотов с date_form / date_to мне доводилось проектировать самостоятельно.
Было приятно увидеть, что у ребят из dbt это работает абсолютно аналогичным образом.
* Разумеется, используя Jinja и dbt, можно автоматизировать построение аналитических запросов, это так и называется Analyses. Скомпилированный код запроса, можно имплементировать в любимую BI-систему и наслаждаться результатами.

Общие впечатления очень положительные: dbt ждет большое будущее и развитие, т.к. коммьюнити растет вместе с возможностями и ресурсами компании.
Ждем коннекторов к другим СУБД помимо PostgreSQL, BigQuery, Snowflake, Redshift.

В новом видео цикла гайдов по BI-системам поговорим о Redash. Это SQL-консоль, которую можно подключить к множеству различных источников данных, писать запросы и составлять по результатам отчёты-визуализации.

Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса.