Forwarded from WebAnalytics (Осиюк Дмитрий)
Как собирать сырые данные Google Analytics в собственное хранилище данных — готовое решение от Дмитрия Комаровского
Для тех, кто работает с BigQuery в R, Хедли Викхем полностью переписал пакет bigrquery и просит принять участие в тестировании версии: https://bit.ly/2qOCiKJ
GitHub
bigrquery/NEWS.md at main · r-dbi/bigrquery
An interface to Google's BigQuery from R. Contribute to r-dbi/bigrquery development by creating an account on GitHub.
Не так давно Google предоставил датасет с сырыми данными своего магазина в BigQuery. Роман Романчук подготовил несколько SQL-запросов для примера.
Сева Миронович написал инструкцию как передавать и работать с сырыми данными Яндекс Метрики в ClickHouse
Рекомендуемые для отслеживания действия пользователей в зависимости от типа бизнеса #шпаргалка #взакладки
10 советов по использованию BigQuery помогут новичку сэкономить время и быстрее освоить инструмент
Многие уже слышали о том, что Google предоставил публичный набор данных Google Analytics 360. Но мало кто знает, что аналогичные данные есть и от Firebase.
Как с ними работать в BigQuery с большой сцены рассказал Todd Kerpelman. Кстати, стриминг данных Firebase в BigQuery настраивается в несколько кликов, и пока бесплатный, если вы не используете других платных инструментов от Firebase. Примеры SQL-запросов по ссылке.
Как с ними работать в BigQuery с большой сцены рассказал Todd Kerpelman. Кстати, стриминг данных Firebase в BigQuery настраивается в несколько кликов, и пока бесплатный, если вы не используете других платных инструментов от Firebase. Примеры SQL-запросов по ссылке.
Оказывается, в BigQuery есть набор данных по улучшению юзабилити сайтов Chrome UX Report. А именно метрики, основанные на данных реальных пользователей Chrome, некоторые из них доступны на PageSpeed Insights.
В отчете есть возможность сравнивать сайты между собой и с макротрендами UX по странам. Можно увидеть сильные и слабые стороны сайта, а также отслеживать изменения с течением времени. В сети есть готовые шаблоны SQL-запросов.
В отчете есть возможность сравнивать сайты между собой и с макротрендами UX по странам. Можно увидеть сильные и слабые стороны сайта, а также отслеживать изменения с течением времени. В сети есть готовые шаблоны SQL-запросов.
Почему количество пользователей в BigQuery и GA могут отличаться?
Дело в том, что в интерфейсе GA данные подтягиваются из предварительно сегрегированных таблиц, используя функции приблизительного подсчета уникальных значений (алгоритм HyperLogLog ++). Это позволяет значительно увеличить скорость отображения результатов, но немного уменьшает их точность. Обращаясь к данным в BigQuery можно намеренно использовать приблизительные функции, когда скорость отображения важнее точности результатов.
Дело в том, что в интерфейсе GA данные подтягиваются из предварительно сегрегированных таблиц, используя функции приблизительного подсчета уникальных значений (алгоритм HyperLogLog ++). Это позволяет значительно увеличить скорость отображения результатов, но немного уменьшает их точность. Обращаясь к данным в BigQuery можно намеренно использовать приблизительные функции, когда скорость отображения важнее точности результатов.
Майская подборка курсов по работе с BigQuery на Coursera:
-- Exploring and Preparing your Data with BigQuery старт 6 мая;
-- Creating New BigQuery Datasets and Visualizing Insights старт 7 мая;
-- Achieving Advanced Insights with BigQuery старт 7 мая;
-- Applying Machine Learning to your Data with GCP старт 7 мая;
-- Serverless Data Analysis with Google BigQuery and Cloud Dataflow старт 14 мая;
-- Developing Applications with Google Cloud Platform старт 14 мая;
-- Architecting with Google Cloud Platform старт 14 мая;
-- Building Resilient Streaming Systems on Google Cloud Platform старт 14 мая.
-- Exploring and Preparing your Data with BigQuery старт 6 мая;
-- Creating New BigQuery Datasets and Visualizing Insights старт 7 мая;
-- Achieving Advanced Insights with BigQuery старт 7 мая;
-- Applying Machine Learning to your Data with GCP старт 7 мая;
-- Serverless Data Analysis with Google BigQuery and Cloud Dataflow старт 14 мая;
-- Developing Applications with Google Cloud Platform старт 14 мая;
-- Architecting with Google Cloud Platform старт 14 мая;
-- Building Resilient Streaming Systems on Google Cloud Platform старт 14 мая.
BigQuery позволяет создавать пользовательские функции UDF (User Defined Functions) - это кастомные функции JavaScript, которые добавляют функциональности SQL. Вот несколько ссылок на примеры использования:
- UDF при работе с вложенными полями на примере Custom Dimensions в Google Analytics
- UDF при работе с вложенными полями на примере Properties и Parameters в Firebase (SQL-запрос)
- Видео об использовании UDF
- Небольшой туториал по UDF на Kaggle
- Примеры из документации
- UDF при работе с вложенными полями на примере Custom Dimensions в Google Analytics
- UDF при работе с вложенными полями на примере Properties и Parameters в Firebase (SQL-запрос)
- Видео об использовании UDF
- Небольшой туториал по UDF на Kaggle
- Примеры из документации
Forwarded from WebAnalytics (Осиюк Дмитрий)
В Google Data Studio появилась функция Custom Bookmark Links, которая позволяет прописать фильтры отчета в его URL. Например, вы хотите создать отчет, который будут использовать региональные менеджеры Москвы и Питера. Для это вы используете Custom Bookmarks Links, прописываете в URL нужные фильтры и отправляете первому менеджеру отчет по Московской области, а второму по Питерской. Менеджеры сохранят отчеты в закладки браузера, и впоследствии будут получать информацию по своему региону, не выбирая его каждый раз в фильтрах. Фичу уже можно юзать. Спасибо OWOX за инфо.
Решил сделать серию публикаций с подборками Телеграм-каналов полезных аналитикам с возможностью добавить свой канал.
Первая подборка Телеграм-каналов о веб-аналитике:
@internetanalytics - Интернет-аналитика - самый крупный канал об аналитике. Публикуются интересные статьи, заметки, актуальные отчеты и много инфографики.
@schoolWA - Школа бородатого веб-аналитика - свежие статьи, новинки, кейсы и практические советы по веб-аналитике.
@webanalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге.
@prometriki - ProMetriki - инструкции, кейсы, примеры решения задач веб-аналитики.
@bigquery - BigQuery Insights - аналитика больших данных в Google BigQuery, примеры SQL запросов, инсайты.
@owoxbicis - OWOX BI - статьи, инструменты, вебинары и лайфхаки в сфере аналитики.
@thisisdata - This is Data - статьи по аналитике и работе с данными.
@needfordata - Needfordata - курсы и тренинги по Microsoft Power Query, Power BI и Exel.
@PowerBIChannel - о Power BI.
@burgerdata - статьи блога Burger Data и новости из мира веб-аналитики.
via @bigquery
#подборки #аналитика
Первая подборка Телеграм-каналов о веб-аналитике:
@internetanalytics - Интернет-аналитика - самый крупный канал об аналитике. Публикуются интересные статьи, заметки, актуальные отчеты и много инфографики.
@schoolWA - Школа бородатого веб-аналитика - свежие статьи, новинки, кейсы и практические советы по веб-аналитике.
@webanalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге.
@prometriki - ProMetriki - инструкции, кейсы, примеры решения задач веб-аналитики.
@bigquery - BigQuery Insights - аналитика больших данных в Google BigQuery, примеры SQL запросов, инсайты.
@owoxbicis - OWOX BI - статьи, инструменты, вебинары и лайфхаки в сфере аналитики.
@thisisdata - This is Data - статьи по аналитике и работе с данными.
@needfordata - Needfordata - курсы и тренинги по Microsoft Power Query, Power BI и Exel.
@PowerBIChannel - о Power BI.
@burgerdata - статьи блога Burger Data и новости из мира веб-аналитики.
via @bigquery
#подборки #аналитика
Что нового в Firebase?
На конференции Google I/O 2018, которая сейчас проходит в Калифорнии, Firebase анонсировал ряд нововведений.
Стала доступна публичная бета-версия ML Kit для Firebase - позволяет делать мощные функции для Android и iOS приложений при помощи машинного обучения через удобные API-интерфейсы, и неважно являетесь вы опытным разработчиком ML или новичок. К примеру можно добавить поиск товара по фотографии.
Обновили SDK и консоль, добавили realtime-card, страницу для А/В тестов и отчет по производительности приложений, Test Lab для iOS устройств и другое.
via @bigquery
На конференции Google I/O 2018, которая сейчас проходит в Калифорнии, Firebase анонсировал ряд нововведений.
Стала доступна публичная бета-версия ML Kit для Firebase - позволяет делать мощные функции для Android и iOS приложений при помощи машинного обучения через удобные API-интерфейсы, и неважно являетесь вы опытным разработчиком ML или новичок. К примеру можно добавить поиск товара по фотографии.
Обновили SDK и консоль, добавили realtime-card, страницу для А/В тестов и отчет по производительности приложений, Test Lab для iOS устройств и другое.
via @bigquery
Строим воронку продаж в Google BigQuery на примере данных интернет-магазина Google.
Свежая инструкция от Романа Романчука.
Свежая инструкция от Романа Романчука.
Firebase меняет схему импорта данных в BigQuery
Если сейчас данные из каждого приложения в проекте Firebase импортируются в отдельный набор данных BigQuery, то в будущем данные из каждого приложения в проекте Firebase будут импортированы в один набор данных по новой упрощенной схеме.
Старые наборы данных удалены не будут, но и не будут заполняться новыми данными. Предлагают скрипт для переноса исторических данных в новый набор.
Изменения произойдут автоматически в ближайшие недели, поэтому не забудьте обновить дашборды.
via @BigQuery
Если сейчас данные из каждого приложения в проекте Firebase импортируются в отдельный набор данных BigQuery, то в будущем данные из каждого приложения в проекте Firebase будут импортированы в один набор данных по новой упрощенной схеме.
Старые наборы данных удалены не будут, но и не будут заполняться новыми данными. Предлагают скрипт для переноса исторических данных в новый набор.
Изменения произойдут автоматически в ближайшие недели, поэтому не забудьте обновить дашборды.
via @BigQuery
Как считать LTV клиентов?
Значение этого показателя помогает лучше оптимизировать маркетинговые каналы, удержание клиентов и понимать бизнес в целом.
В помощь нетривиальные способы подсчета от Павла Левчука:
LTV: вероятность совершения повторной покупки
RF-матрица как альтернатива для работы с LTV
LTV: классический подход прогнозирования Pareto/NBD
via @BigQuery
Значение этого показателя помогает лучше оптимизировать маркетинговые каналы, удержание клиентов и понимать бизнес в целом.
В помощь нетривиальные способы подсчета от Павла Левчука:
LTV: вероятность совершения повторной покупки
RF-матрица как альтернатива для работы с LTV
LTV: классический подход прогнозирования Pareto/NBD
via @BigQuery
Forwarded from WebAnalytics (Осиюк Дмитрий)
Одной из причин почему в Google Analytics попадают не все данные может быть ограничение на объем отправляемых данных в одном запросе. На хабре вышла статья о том, как определить какие события превышают payload size с помощью логирования хитов GA в Google Sheets при помощи Google Tag Manager, без участия разработчиков.
Сегодня пройдет Analytics Day - будут затронуты актуальные темы продуктовой аналитики.
Александр Сергеев, продуктовый аналитик («Едадил», «Яндекс») расскажет о продуктовой аналитике и выборе метрик
Денис Пушкин, руководитель отдела продуктового маркетинга (Skyeng) — «Как считать воронку продукта до первой оплаты»
Виталий Черемисинов, руководитель отдела аналитики (AIC) — «Что влияет на метрики в экспериментах»
Елена Серегина, основатель (DataLatte) и аналитик («Яндекс.Такси») — «Еще одна "Пирамида метрик", или как навести порядок в числах и бэклоге»
Дина Шаронова, UX-исследователь (AIC) — «Метрики при качественных исследованиях»
Настя Дюжарден, аналитик и контент-маркетолог («Медиатор», Mailru Group) — «Как анализировать нативную рекламу и спецпроекты»
Смотрите прямую трансляцию по ссылке. Начало в 15:00.
via @BigQuery
Александр Сергеев, продуктовый аналитик («Едадил», «Яндекс») расскажет о продуктовой аналитике и выборе метрик
Денис Пушкин, руководитель отдела продуктового маркетинга (Skyeng) — «Как считать воронку продукта до первой оплаты»
Виталий Черемисинов, руководитель отдела аналитики (AIC) — «Что влияет на метрики в экспериментах»
Елена Серегина, основатель (DataLatte) и аналитик («Яндекс.Такси») — «Еще одна "Пирамида метрик", или как навести порядок в числах и бэклоге»
Дина Шаронова, UX-исследователь (AIC) — «Метрики при качественных исследованиях»
Настя Дюжарден, аналитик и контент-маркетолог («Медиатор», Mailru Group) — «Как анализировать нативную рекламу и спецпроекты»
Смотрите прямую трансляцию по ссылке. Начало в 15:00.
via @BigQuery
В Google Analytics появился новый идентификатор — BigQuery Client ID. Чтобы это могло означать? Неужели Google сделает интеграцию с Google BigQuery для всех типов акканутов Google Analytics?
via @BigQuery
via @BigQuery
Рубрика #Лайфхак для аналитика:
1) В одном из мобильных операторов была задача определить пол абонентов. Предлагались разные ресурснозатратные варианты решения. Решили задачу просто: проанализировали входящие и исходящие смс сообщения на 8 марта.
2) Оценить количество продаж конкурентов можно простым способом: периодически просить выставить счет, как правило, нумерация счетов изменяется инкрементально и по разнице номеров можно подсчитать количество продаж за период. Аналогично можно поступить с оформлением заказов на сайте.
3) Часто приходится использовать один SQL-запрос изменяя одинаковые значения в нескольких местах. В BigQuery нет возможности создавать параметры и обращаться к ним при необходимости как во многих языках программирования. Но есть способ создать отдельную табличку с одной строчкой, в которую записать все необходимые параметры и при необходимости на них ссылаться. Изменять значения теперь придется только в одном месте.
via @BigQuery
1) В одном из мобильных операторов была задача определить пол абонентов. Предлагались разные ресурснозатратные варианты решения. Решили задачу просто: проанализировали входящие и исходящие смс сообщения на 8 марта.
2) Оценить количество продаж конкурентов можно простым способом: периодически просить выставить счет, как правило, нумерация счетов изменяется инкрементально и по разнице номеров можно подсчитать количество продаж за период. Аналогично можно поступить с оформлением заказов на сайте.
3) Часто приходится использовать один SQL-запрос изменяя одинаковые значения в нескольких местах. В BigQuery нет возможности создавать параметры и обращаться к ним при необходимости как во многих языках программирования. Но есть способ создать отдельную табличку с одной строчкой, в которую записать все необходимые параметры и при необходимости на них ссылаться. Изменять значения теперь придется только в одном месте.
via @BigQuery