subquery.ru - dbt, clickhouse, cube – Telegram
subquery.ru - dbt, clickhouse, cube
649 subscribers
10 photos
1 video
46 links
SubQuery — автоматизация данных для аналитиков и data-инженеров.

Пайплайны, описанные кодом, с визуализацией и тестами, готовый dbt-стек c IDE, планировщик запусков и безопасная совместная работа.

𝗕𝗹𝗼𝗴
https://subquery.ru

𝗗𝗶𝗿𝗲𝗰𝘁
@mironovich
Download Telegram
Курс по DataStudio

В английской версии выложили курс по DataStudio.
https://analytics.google.com/analytics/academy/?hl=en
Как говорится, «you guys are not ready for that yet», но вот вашим менеджерам может понравиться, тем более по слухам в конце сертификат.

@Burgerdata
Google Analytics для субдоменов

Сейчас я попрошу вас на минутку отложить все свои дела и подумать, насколько мир недооценивает важность cookieDomain. Итак, откладывайте.

Что это?

cookieDomain - это поле из analytics.js, определяющее домен, для которого проставляется кука _ga, и просто необходимо ставить его в значение auto на сайтах, эксплуатирующих субдомены.

Почему необходимо?

Допустим, у вас магазин с зеркалами, типа spb.shop.ru для разных городов. Так вот, по умолчанию _ga ставится для document.location.hostname, то есть у каждого филиала пользователь получится свой. Пришёл человек с рекламы, поменял город - стал новым человеком, красота! Еще лучше, когда на отдельный pay.shop.ru переезжает страница оплаты, и вы видите рост транзакций с direct.

Если же у cookieDomain определить значение auto, то _ga проставится для .shop.ru и будет видна всем субдоменам. Именно это происходит, когда вы создаёте в тег менеджере новую переменную настроек GA.

В древних манускриптах по установке счетчика можно найти вот такие строки:
ga('create', 'UA-XXXXX-Y', 'auto’);


Угадайте, зачем там слово auto.

Откуда ошибки?

Раньше в тег менеджере не было переменной с настройками аналитикса, и идентификатор счетчика призодилось указывать в каждом теге, так народ и продолжил фигачить не парясь, не зная, что каждый раз, когда игнорируют переменную настроек GA, часы судного дня сдвигаются к полуночи.

Как исправить?

Когда вы начнёте прописывать это поле, стоит иметь ввиду несколько нюансов.

1. Делать это надо везде, потому что теги GA каждый раз создают новый объект счетчика и будут брать ту _ga, на которую указывает в конкретном теге cookieDomain.

2. Всякие способы получения clientId из куки тоже могут возвращать не то, поэтому для аналитикса пользуйте customTask, а для сервака..

3. Когда решите, что единственный вариант для вас - стирать неверные куки - то знайте, что в GA1.2.1182645222.1555316222 цифра 2 после первой точки означает уровень домена. Иными словами все остальные можно удалять.

@Burgerdata

https://burgerdata.com/blog/kak-peredavat-clientid-cherez-customtask/
Firebase Performance Monitoring

Есть такой лайфхак в интернете: если сайт тормозит, откройте консоль и блокните загрузку GTM контейнера. Особенно хорошо работает во всяких магазинах (только в моём не надо, у нас и без того задач хватает).

В погоне за конверсиями чмаркетологи навешивают такое количество мусора, что сайт просто перестаёт нормально функционировать, в чём в первую очередь винят конечно разработчиков. Иногда, впрочем, так и есть, но мы ведь делаем общий продукт, и у каждого своя зона ответственности. Когда просят не бросать бумагу в унитаз, это ведь относится ко всем, вне зависимости, едите вы халяль или нет. GTM - тот самый унитаз, и перед откладыванием в него очередного тега стоит посидеть и крепко подумать. Что даст больше общего профита: еще один «пиксель» или его отсутствие? Сомневаюсь, что многие это меряют, да и инструментов неособо.

На днях проходила Google IO, которую некоторые из нас пропустили за пеленой скилfuckтори. Так вот, там была куча новинок, интересных презентаций и воркшопов. Среди них Performance Monitoring for web от команды Firebase.

Вот инструкция
https://firebase.google.com/docs/perf-mon/get-started-web

Ставите на сайт небольшой сниппет и получаете детальные данные по скорости загрузки, отрисовки, доступности, отзывчивости и прочего. Можно добавлять свои метрики и отслеживания.
Из объекта firebaseConfig достаточно apiKey, projectId и appId. И то, наверняка, что-то лишнее.

Ну и напоследок возникает логичный вопрос: как так, это ведь еще один тег?!
Да, я знаю. Но кому какое дело.

@Burgerdata
GTM Templates Aggregator - GTA

Пропустил я всю движуху с темплейтами, потому что на новой работе в основном душу змею на юпитере. Тем не менее, выходные породили небольшой пет-проект, и это первый задокументированный случай, когда живой человек опередил Семёна Агаву, да ещё и с его компадрэ, Давидом Валерийским.

Это агрегатор шаблонов GTM

https://gtm.burgerdata.com/

Как пользоваться

Выбираете шаблон, нажимаете download, потом заходите в GTM - Шаблоны - Создать - 3 точки справа - Импорт и выбираете скачанный .tpl файл.

Он сканирует известные мне репозитории на github и выводит их для скачивания и импорта. Если вы знаете какие-то еще репозитории, напишите, пожалуйста в личку.
И конечно же, я уже пилю систему оценок, переделываю дизайн в figma, прикручиваю поиск и еще много всего.

@Burgerdata
subquery.ru - dbt, clickhouse, cube pinned «GTM Templates Aggregator - GTA Пропустил я всю движуху с темплейтами, потому что на новой работе в основном душу змею на юпитере. Тем не менее, выходные породили небольшой пет-проект, и это первый задокументированный случай, когда живой человек опередил Семёна…»
Вакансия.веб-аналитик

Плачу до 150, но можно торговаться.
Сайт, магазин и приложение Билайна.
Надо отладить сбор данных (js, gtm, firebase)**
Периодически делать адхоки (sql, hive, bigquery)
Обрабатывать, анализировать и визуализировать данные (na-chem-hotite, qlik sense, datastudio)
Помогать продактам принимать решения (brain)
Отвечать за слова (balls)

Обязательно первое и последнее

Чего у нас в избытке:

легаси разметки
задач в бэклоге
данных по абонам, ОЧЕНЬ МНОГО

Чего у нас нет:

бесплатных печенек, кофемашины и дружной команды молодых профессионалов

Бонусы:

корп связь
1-2 дня в неделю удаленно
ДМС с зубами
оплачиваемые курсы
премия по KPI
Python курс бесплатно

Майки рассказывают всем желающим о ремесле змееуста.
Если у вас есть небольшой опыт в кодинге, пускай, даже в подростком возрасте ночью перед компьютером, то к вашим услугам 44 видоса на английском о парселтанге для начинающих.
Эш!
https://www.youtube.com/watch?v=jFCNu1-Xdsw&list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6

@Burgerdata
subquery.ru - dbt, clickhouse, cube pinned «Вакансия.веб-аналитик Плачу до 150, но можно торговаться. Сайт, магазин и приложение Билайна. Надо отладить сбор данных (js, gtm, firebase)** Периодически делать адхоки (sql, hive, bigquery) Обрабатывать, анализировать и визуализировать данные (na-chem-hotite…»
​​Сегмент по хиту

Девушка за тем столиком попросила вам рассказать нюанс про сегменты. Он из тех случаев, когда «этожевсезнают», а вы слышите впервые.

Когда хотите отфильтровать хит по нескольким параметрам (страница и событие, категория и действие, и т.п.), надо в сегменте идти не во вкладку «Условия», а во вкладку «Последовательности», и все значения прописывать там в первом шаге. В «Условиях» для каждой проверки рассматривается весь сеанс, а не конкретный хит.

На скрине два сегмента покупателей разными способами. В случае с условием захватились люди, у которых действие «Покупка» не было связано с екоммерсом.

Для тех, кто сейчас задумался, что делать, бесплатный совет от моего дира: ошибки признавать можно, но не в письменном виде.

@Burgerdata
Экономия в BigQuery

Снова пришло время платить по счетам. Кто-то пойдёт возвращать долг родине за право пользоваться писсуаром, а кто-то гуглу за сентябрь, и еще вопрос, что страшнее.

Я с недавних пор подсел на сервис https://superquery.io и всех коллег на него перевёл в целях экономии

1. он не стирает результаты запроса по-любому чиху
2. он показывает деньги за конкретный запрос и нагрузку от всех юзеров
3. держит одновременно 5 вкладок с запросами в бесплатной версии
4. позволяет искать по результатам и сортировать без лишних запросов
5. при повторном запросе берёт результаты из кэша, а не шлет заново
6. позволяет выгружать csv больше 16к строк за два клика и без всяких перекидываний в хранилище
7. прям там можно строить простые графики
8. мы друг другу не платим


@Burgerdata
BigQuery noscripting

Брейкинг!!

Теперь можно объявлять переменные разных типов, задавать им значения, делать циклы, условия, процедуры и вообще пилить ETL в рамках BQ.

https://cloud.google.com/bigquery/docs/reference/standard-sql/noscripting

@Burgerdata
Google Optimize server-side

Пока ждал ночных расчетов хайва, которые как обычно нужны срочно к понедельнику, решил записать про реализацию экспериментов на серверной стороне с помощью оптимайза, потому что всякие нюансы постоянно вылетают из головы. Авось, и вам пригодится.

Смотрим
https://burgerdata.com/blog/google-optimize-server-side/

@Burgerdata
Как работать с API

Длиннющая статья вышла, я даже сам не осилил прочитать, но, может, у вас получится.
Там про OAuth2 с примерами на js и python, довольно сумбурно, как сейчас думаю.
А еще пример полностью автоматического отчета с авторизацией, обновлением токенов и доставкой агрегата в телегу, чтобы больше времени у вас оставалось на интересные задачи.

https://burgerdata.com/blog/kak-rabotat-s-api/

Так-то 3 денька осталось. Шевелись, Плотва!

@Burgerdata
​​Datastudio - ownership

И еще одно долгожданное обновление: в Datastudio наконец можно передавать владельца дашборда. Отличная новость и для агентств и для клиентов, и я надеюсь, они не придерживали её специально до кристмаса 🤣

@Burgerdata
Tips: Google Spreadsheets

Эпи
чный тред с типсами по гугл шитам. Где-то в СНГ хватило бы на целый телеграм канал 😇
https://twitter.com/benlcollins/status/1217105023097802753
Ваша задача - вспомнить про них в нужный момент, что конечно же очень не просто.

@Burgerdata
GA Enhanced Ecommerce

Многие из вас наверняка сталкивались с ситуацией, когда информация о товарах не помещается в хит. В прошлом году я писал про один из многочисленных способов решения этой проблемы.

Так вот, господин Коке, имея кучу свободного времени в силу недавней скоропостижной безработицы, расписал чуть подробнее этот метод, и даже приложил небольшой apps noscript для автоматизации.

https://juliencoquet.com/en/blog/2020/01/21/google-analytics-ecommerce-upload-product-data-with-google-sheets/

@Burgerdata
​​Яндекс Метрика. Цели

Я обычно стараюсь играть по правилам. Даже в каком-нибудь нелюдимом захолустье терпеливо ожидаю зеленый свет на переходе, услужливо пропуская перекати-поле. Мы пришли, чтобы выиграть войну, а не битву или еще: этот максимум - локальный. 😎

Естественно, что и при редкой работе с Метрикой я всегда всё делаю согласно документации. Так вот, в этой самой документации есть любопытная ремарка касательно целей:

Внимание. Значение идентификатора target не должно содержаться в URL страниц сайта. Иначе будет собираться некорректная статистика, учитывающая посещения страниц, содержащих в адресе значение, выбранное при создании цели.

Получается, что разница между целями типа js-событие и url есть только в интерфейсе для удобства юзера, в бэке же они все эти годы хранились вместе. А значит, мы можем фиксировать цели с js-событиями условиями для url.

Зачем?
В этом случае доступны проверки вхождения и регулярки, что наверняка оценят любителя автотегов, посылающие в Метрику что-то типа {{Event Category}}_{{Event Action}}_{{Event Label}}

Легально?
Тех поддержка не рекомендует пользоваться таким способом, так что сперва посмотрите на свой трекинг и подумайте, может ли быть хуже.

А ещё варианты?
Вместо это советуют пользоваться параметрами визитов, которые тоже, кстати, можно автоматизировать.

@Burgerdata
GTM Server-side

Кле
вые новости пришли с Superweek, который проходит сейчас в Венгрии. Брайан Кун (если я правильно разглядел фотку) анонсировал GTM для серверной стороны. Это решит очень много проблем с нагрузкой на клиент, с запретами на куки, кастомным стримингом данных и т.п.

Семён конечно уже вовсю излагает свои мыслишки
https://twitter.com/SimoAhava/status/1222459714614841346

@Burgerdata
Apps noscript V8

В аппскрипте поменялся движок для выполнения JS. Теперь это V8, на котором работают сhrome и nodejs. Больше не придётся щелкать в голове тумблер, чтобы забыть привычные конструкции 🤓
Надеюсь, теперь это облако для бедных, станет чуть менее непопулярно.

У меня получилось включить V8, добавив "runtimeVersion": "V8" в корень манифеста: View - Show manifest file. Никаких опций Enable из гайда по ссылке я в своих скриптах не увидел.

https://developers.google.com/apps-noscript/guides/v8-runtime

Из менее интересного: в ЯМетрике теперь по умолчанию визиты атрибуТТТируются как в GA – по последнему известному источнику. Хорошая новость, потому что большинство юзеров по моему опыту, даже не знали, что это такое, и открывая отчеты, просто копипастили данные в общую эксельку с GA.

@Burgerdata
​​APP+WEB

Добавили возможность рисовать свои пути по сайту, в том числе шаги, предшествовавшие чему-то. То есть можно задать точку начала или точку конца, и достроить остальное.

У меня конечно далеко не лучший на планете G-счетчик для демонстрации, и в ближайшее время я переходить туда не планирую, но попытка хорошая 🤔

@Burgerdata
И жизнь стала чуточку лучше 😊