​​Интересная заметка о том, как находить аномалии в данных, используя закон Бенфорда. Применяется для контроля качества данных, определения мошенничества и даже фальсификаций на выборах.

@BigQuery

​​Вчера был тот день, когда Google официально объявил Universal Analytics устаревшей версией Google Analytics и представил новый Google Analytics 4 (ранее он назывался Google Analytics App+Web). Вот краткая выжимка из того, что известно на данный момент по новым возможностям:

- #GA4 сможет работать вообще без cookie;
- В GA4 можно будет проводить cross-platform анализ (например, мерять конверсии после просмотра видео на YouTube);
- Новая настройка интеграции с Google BigQuery, в которой можно выбрать из каких data streams экспортировать сырые данные и как часто (ежедневно и почти real-time streaming), а также можно выбрать локацию для данных (это важно, потому что данные из разных локаций запрашивать в одном запросе нельзя);
- В GA4 будет фокус на автоматизации, прогнозировании на базе ML алгоритмов Google и cross-device аналитике;
- В GA4 появится новый Measurement Protocol, импорт данных, междоменное отслеживание и абсолютно новая фича — редактирование событий.

Google обещает постепенно выкатывать новый функционал в ближайшее время, потому следите за апдейтами.

via @WebAnalyst

​​Бесплатный вебинар от Google

27 и 28 октября Google проведет небольшой тренинг по работе с данными в Google Cloud.

@BigQuery.

​​В BigQuery появились новые операторы для работы со строкой и датой:
• TRANSLATE делает замену символов,
• LEFT и RIGHT позволяют запрашивать крайние n символов,
• INSTR возвращает позицию символа в строке или их группы,
• LAST_DAY возвращает последний день из выражения, для возврата последнего дня месяца, например,
• и многое другое.

@BigQuery

​​PowerBI теперь поддерживает BigQuery параметры, которые могут изменяться пользователем.

@BigQuery

​​Хороший пример сегментации клиентов с использованием BigQuery ML и модели k-means.

@BigQuery

​​Пример SQL-запроса для обнаружения аномалий в данных.

@BigQuery

​​Иван Иванов сделал крутой обзор нового Measurement Protocol для #GA4, в котором объясняет для чего и когда его использовать, а так же принцип его работы с примерами и техническими деталями. А проверять корректность работы Measurement Protocol запросов можно через GA4 Event Builder, обзор на который тоже можно найти в блоге Ивана.

via @WebAnalyst

​​Пример SQL-запросов для проектирования сессий пользователей в #GA4.

@BigQuery

​​В сети появился отличный пример расчета уровня значимости результатов A/B-тестирования в BigQuery с применением user-defined functions.

@BigQuery

​​Проверка успешного выполнения скриптов BigQuery с помощью оператора ASSERT.

@BigQuery

Подробная инструкция по настройке импорта данных в BigQuery.

Разобрал сам процесс настройки выгрузки, а также то, как решить ошибки, при которых такая интеграция не всегда работает. Если у вас нет проекта в Google Cloud, описал процесс его создания. Инструкция доступна по ссылке https://bit.ly/2K69Mlh

via @prometriki

​​Пример сегментации пользователей на основе их кликов с использованием BigQuery ML.

@BigQuery

​​Один из способов оценки нового функционала продукта:
https://rama-moyano.medium.com/measuring-feature-success-kpi-definition-for-product-managers-c9fc9cf569da

via @ProductAnalytics

​​Хорошее руководство по работе с данными Google Analytics 4 или Firebase с примерами SQL-запросов.

@BigQuery

5 функций в BigQuery о которых ты мог не знать:

https://segorov.medium.com/5-функций-в-bigquery-о-которых-ты-мог-не-знать-936a6399913e

@BigQuery

​​Пошаговое руководство запуска моделей машинного обучения в dbt и BigQuery ML без проблем, связанных с управлением инфраструктурой.

@BigQuery

​​Как объединить общедоступные глобальные данные о погоде и данные Google Analytics в BigQuery, примеры SQL-запросов для Firebase (GA4) и Universal Analytics (GA 360).

@BigQuery

​​Несколько полезных возможностей нового пользовательского интерфейса BigQuery:
• дополнительные вкладки с запросами на одном экране (1),
• разделение экрана для параллельного просмотра результатов (2),
• больше рабочих зон для написания (3), просмотра результатов (4) и истории SQL-запросов (5),
• подсказки для ввода названий датасетов и функций (6),
• кнопка для сворачивания меню (7).

@BigQuery

​​Многие в качестве источника данных в R используют Google BigQuery, поэтому думаю многим этот пост так же будет полезен, хоть непосредственно R он и не посвящён.

Опубликовал на Хабре перевод статьи о том, как в BigQuery с помощью функции UNNEST разворачивать сложные, вложенные структуры данных.

В этой статье я расскажу о том, как использовать функцию UNNEST в Google BigQuery для анализа параметров событий и свойств пользователей, которые вы получаете вместе с данными Google Analytics.

Ссылки:
- Перевод
- Оригинал

#статьи

​​Рекомендации по написанию SQL-запросов для повышения производительности BigQuery.

@BigQuery