У Димы Аношина промелькнула интересная задачка в канале. В комментариях есть хорошие рабочие ответы, но меня заинтересовало то, что в PostgreSQL отсутствует RESPECT NULLS / IGNORE NULLS.

Как можно решить задачу без игнорирования NULLS?
Очевидно, что с подзапросом.

Предположим, что таблица называется test_case, тогда
SELECT ts, event_name, position, SUM(CASE WHEN position IS NOT NULL THEN 1 END) OVER (ORDER BY ts) as cum_group
FROM test_case

Данный подзапрос (назовем его sub) позволит нам разбить строки на группы, к которым нужно отнести строку с NULL. А если position будет отличная от NULL, мы получим новую группу.

Далее, мы можем просто посчитать первое значение из каждой группы, используя аналитическое выражение FIRST_VALUE.
SELECT ts, event_name, position, FIRST_VALUE(position) OVER (PARTITION BY cum_group) as result
FROM sub

Итого, все вместе:
SELECT ts, event_name, position, FIRST_VALUE(position) OVER (PARTITION BY cum_group) as result
FROM (SELECT ts, event_name, position, SUM(CASE WHEN position IS NOT NULL THEN 1 END) OVER (ORDER BY ts) as cum_group
FROM test_case) sub

Настя Кузнецова недавно спрашивала про классные названия библиотек на Python🐍

Вот, например, Pint 🍺 для работы с физическими величинами. Ну, разве не прелестное название? 😋
Так что, не единой пандой 🐼

Мне написал подписчик канала, аналитик данных Иван Тория, который поделился гайдом по запуску dbt на GCP в продакшене. Отличная статья, которая может быть полезна, если вы планируете развернуть dbt.

Одной из популярных тем в современном дата-стеке является проблема headless bi или проблема метаданных (организация единого источника правды). К примеру, airbnb решает это для себя через MinervaDB, но она пока не доступна для инженеров данных (закрытый код). А вот разработчики rakam (self-service BI, кстати, сделали ребрендинг) недавно выпустили MetriQL, который в связке с dbt должна решить эту проблему. MetriQL разработан под интересной лицензией: Business Source License.

Минутка фото-контента: вечерние посиделки с авторитетами BI-рынка РФ в Петербургском Трапписте: @sgromych, @paveldubinin

В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных результатах визуализации и дашборды.

Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса.

Автор дашборда, член команды Valiotti Analytics — Мария Авдеева

Бесплатное API для получения данных из Библии на разных языках ⛪

Смена подгузников, отсутствие сна: новый baby-project dataviz

Сегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами, которые у меня появились к настоящему моменту.
Подробный пост со всеми графиками и нюансами их построения вы можете прочесть в блоге, а самый главный его вывод я вам расскажу уже сейчас: дети — это прекрасно! ❤️

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Интересная статья про ошибочное использование статистической значимости в контексте исследования в Бангладеше о ношении масок.

Интересная новость для рынка

«Яндекс», Benchmark Capital и Index Ventures открыли компанию ClickHouse.

Она будет делать коммерческие продукты на основе одноимённой системы управления базами данных. В сумме инвесторы вложили в проект $50 млн

vc.ru/services/295690

На предыдущих конференциях иногда начинал свой доклад с простых примеров в деятельности маркетологов, которые часто используют среднее как основной показатель для различных KPI. Самый типичный пример — средний чек. В ряде случаев использование среднего арифмитического вводило маркетологов, которые использовали эту метрику, в заблуждение, т.к. большой объем крупных покупок (юр.лица, замаскированные под физ.лица) не учитывался в этом расчете.
В несложном новом материале блога рассматриваем и изучаем различия между медианой и средним арифметическим.

Ребята на Youtube-канале Listen IT рассказывают про различные IT-технологии в коротких роликах, и, в частности, делится про SQL/NoSQL базы данных и упоминают аналитические каналы, которые читают сами

#кросспост

Любопытная статья с провокационным названием Is BI dead? В статье о том, чем должны быть BI-инструменты сегодня, а чем быть не должны с точки зрения автора (спойлер BI сегодня — это точно не комбайн ETL/ELT, метаслоев и визуализации).

Новость о появлении desktop-версии JupyterLab под Mac, Win и Linux.

Кстати, у нас есть инстаграм, в котором контент несколько отличается от текущего, поэтому подписывайтесь тоже!

И там сегодня конкурс проводим 🤩

Абсолютно блестящая новость, достойная вечера пятницы: A single person answered 76k questions about SQL on StackOverflow