subquery.ru - dbt, clickhouse, cube – Telegram
subquery.ru - dbt, clickhouse, cube
649 subscribers
10 photos
1 video
46 links
SubQuery — автоматизация данных для аналитиков и data-инженеров.

Пайплайны, описанные кодом, с визуализацией и тестами, готовый dbt-стек c IDE, планировщик запусков и безопасная совместная работа.

𝗕𝗹𝗼𝗴
https://subquery.ru

𝗗𝗶𝗿𝗲𝗰𝘁
@mironovich
Download Telegram
Работа

Я работал с Олегом некоторое время: оплата всегда вовремя и без споров, ваши ТЗ выполняются быстро, ваше мнение важно.

У меня, к сожалению, нет возможности уделять проекту должное внимание, поэтому Олег ищет другого человека.

Сервис уже успешно работает, уже окупается и приносит прибыль. У вас есть возможность проверить свои знания на практике, реализовать задумки, сделать что-то крутое, да и просто подзаработать в свободное время.

В общем, пишите Олегу!

#Burgerdata
Forwarded from Oleg 🆕 Vorobiev
Ищем аналитика на part time с плавным выходом на full. Возможна удаленная работа.
#вакансия #удаленка #аналитик

Текст большой, поэтому полностью - по ссылке.
Компания RevelTime (ecommerce). В сегменте «аренда лофтов» мы занимаем лидирующую позицию на рынке РФ.

Что вы будете делать:
аналитика рекламных кампаний
настройка ремаркетинга, закупка аудиторий
UX оптимизация

Какие знания потребуются:
Свободное владение GTM, полное понимание, как работают DataLayer, куки, пиксели. Опыт внедрения системы сбора данных через GTM в GA.
Полноценное знание Google Analytics: ecommerce, аудитории ремаркетинга, интеграция с Adwords, импорт данных из других систем в GA (расходы на рекламу, действия пользователей).
Умение сводить данные, делать стриминги, например из GA в BigQuery. Экспорт из GA в дэшборды (например, Data Studio).
Хотя бы начальное знание JS и (или) PHP; SQL.
Приветствуется как можно больший опыт в закупке и оценке трафика.

Безусловные требования:
Высшее техническое образование
Опыт работы в аналитике (ecommerce) от 2 лет.

Для начала мы готовы к почасовому рэйту до 1500 руб/час, либо к частичной занятости. В случае, если мы придем к работе на полную ставку, то это будет з.п. от 100 000 руб./мес. и больше.
Любые вопросы пишите мне, работать со мной, я фаундер.
https://docs.google.com/document/d/1rblTvne_Q5bjfcxZRf1g_oY7eH80dtFhyEWjXgy9WwY/edit?usp=sharing
Работа

Если вас не взял Олег, то ещё не всё потеряно!

Скоро я покину MGCom, ТОП-1 performance агентство в России, и в связи с этим ищу себе замену.

Вот вакансия, куда откликаться:
https://hh.ru/vacancy/30158493

Чем предстоит заниматься:
- изучать каждый день новые доки
- пить кофе
- издеваться над данными
- взвешивать фальшивые монетки с коллегами
- читать Семёна
- стебаться над менеджерами
- слушать подборку Антона
- пить кофе
- включать свет
- переезжать по этажам
- учить других

Если вы понимаете, что написано в постах на этом канале, нам определённо стоит пообщаться.

@Burgerdata
Работа

Как вы наверняка знаете, небольшие музыкальные произведения композиторы часто объединяют в опусы. Пришло к ним вдохновение, и начали они один за другим выдавать шедевры. Я хоть иногда постукиваю на коллег, и с описанием прошлой вакансии изрядно поиграл на нервах HR отдела, в целом к музыкантам себя не отношу, однако ж тут и у меня попёрло, так что держите еще вакансию.

Если вас не взял Олег, то
если вас не взяли в MGCom, то
попробуйте хотя бы в Яндекс,
иначе я не знаю, ребята.


В Яндексе надо будет анализировать аналитические продукты, Метрику в том числе. Быть может, вы успеете преобразовать её к лучшему до того, как нас переведут насильно, отключив гугиль.

@Burgerdata

Александра, я запостил!

https://yandex.ru/jobs/vacancies/analytics/anprod_analyst/
BQ в Data Studio

В одной из статей я писал, что не рекомендую подключать Data Studio к Bigquery, так вот, пришло время закоммитить правки к тому постулату.

Во-первых, в этом году бомжественный сервис дашбордов научился че-то там кэшировать, поэтому его запросное недержание, можно вылечить до двух штук в день, и они называют это «свежестью данных».
https://support.google.com/datastudio/answer/7020039?hl=en

Во-вторых, в BQ появился планировщик, который может, например, читать вчерашние новости и подклеивать к сохраненной сводке, но оно почему-то только в старом интерфейсе.
https://cloud.google.com/bigquery/docs/scheduling-queries#setting_up_a_scheduled_query

Теперь несколько нюансов по работе с этим дебром:

1. Format

Для нормального вывода недель в DS, их надобно форматировать вот так
format_date('%Y%V', parse_date('%Y%m%d', date)) as w


2. Intraday

Бывает, что intraday таблица не успела обработаться. Причем это справедливо не только для BQ, но и GA, даже в 360й версии, в отчетах за вчера может показать желтый щыт ровно по той же причине, как мне объяснили в ТПшке.

select

where
regexp_extract(_table_suffix, r'[0-9]+')
between
'20181120'
and replace(cast(date_sub(current_date(), interval 1 day) as string), ‘-‘,’’)


3. Царские отступы
Выделяете текст и жмете tab, а обратно - shift+tab

@Burgerdata
Курс по DataStudio

В английской версии выложили курс по DataStudio.
https://analytics.google.com/analytics/academy/?hl=en
Как говорится, «you guys are not ready for that yet», но вот вашим менеджерам может понравиться, тем более по слухам в конце сертификат.

@Burgerdata
Google Analytics для субдоменов

Сейчас я попрошу вас на минутку отложить все свои дела и подумать, насколько мир недооценивает важность cookieDomain. Итак, откладывайте.

Что это?

cookieDomain - это поле из analytics.js, определяющее домен, для которого проставляется кука _ga, и просто необходимо ставить его в значение auto на сайтах, эксплуатирующих субдомены.

Почему необходимо?

Допустим, у вас магазин с зеркалами, типа spb.shop.ru для разных городов. Так вот, по умолчанию _ga ставится для document.location.hostname, то есть у каждого филиала пользователь получится свой. Пришёл человек с рекламы, поменял город - стал новым человеком, красота! Еще лучше, когда на отдельный pay.shop.ru переезжает страница оплаты, и вы видите рост транзакций с direct.

Если же у cookieDomain определить значение auto, то _ga проставится для .shop.ru и будет видна всем субдоменам. Именно это происходит, когда вы создаёте в тег менеджере новую переменную настроек GA.

В древних манускриптах по установке счетчика можно найти вот такие строки:
ga('create', 'UA-XXXXX-Y', 'auto’);


Угадайте, зачем там слово auto.

Откуда ошибки?

Раньше в тег менеджере не было переменной с настройками аналитикса, и идентификатор счетчика призодилось указывать в каждом теге, так народ и продолжил фигачить не парясь, не зная, что каждый раз, когда игнорируют переменную настроек GA, часы судного дня сдвигаются к полуночи.

Как исправить?

Когда вы начнёте прописывать это поле, стоит иметь ввиду несколько нюансов.

1. Делать это надо везде, потому что теги GA каждый раз создают новый объект счетчика и будут брать ту _ga, на которую указывает в конкретном теге cookieDomain.

2. Всякие способы получения clientId из куки тоже могут возвращать не то, поэтому для аналитикса пользуйте customTask, а для сервака..

3. Когда решите, что единственный вариант для вас - стирать неверные куки - то знайте, что в GA1.2.1182645222.1555316222 цифра 2 после первой точки означает уровень домена. Иными словами все остальные можно удалять.

@Burgerdata

https://burgerdata.com/blog/kak-peredavat-clientid-cherez-customtask/
Firebase Performance Monitoring

Есть такой лайфхак в интернете: если сайт тормозит, откройте консоль и блокните загрузку GTM контейнера. Особенно хорошо работает во всяких магазинах (только в моём не надо, у нас и без того задач хватает).

В погоне за конверсиями чмаркетологи навешивают такое количество мусора, что сайт просто перестаёт нормально функционировать, в чём в первую очередь винят конечно разработчиков. Иногда, впрочем, так и есть, но мы ведь делаем общий продукт, и у каждого своя зона ответственности. Когда просят не бросать бумагу в унитаз, это ведь относится ко всем, вне зависимости, едите вы халяль или нет. GTM - тот самый унитаз, и перед откладыванием в него очередного тега стоит посидеть и крепко подумать. Что даст больше общего профита: еще один «пиксель» или его отсутствие? Сомневаюсь, что многие это меряют, да и инструментов неособо.

На днях проходила Google IO, которую некоторые из нас пропустили за пеленой скилfuckтори. Так вот, там была куча новинок, интересных презентаций и воркшопов. Среди них Performance Monitoring for web от команды Firebase.

Вот инструкция
https://firebase.google.com/docs/perf-mon/get-started-web

Ставите на сайт небольшой сниппет и получаете детальные данные по скорости загрузки, отрисовки, доступности, отзывчивости и прочего. Можно добавлять свои метрики и отслеживания.
Из объекта firebaseConfig достаточно apiKey, projectId и appId. И то, наверняка, что-то лишнее.

Ну и напоследок возникает логичный вопрос: как так, это ведь еще один тег?!
Да, я знаю. Но кому какое дело.

@Burgerdata
GTM Templates Aggregator - GTA

Пропустил я всю движуху с темплейтами, потому что на новой работе в основном душу змею на юпитере. Тем не менее, выходные породили небольшой пет-проект, и это первый задокументированный случай, когда живой человек опередил Семёна Агаву, да ещё и с его компадрэ, Давидом Валерийским.

Это агрегатор шаблонов GTM

https://gtm.burgerdata.com/

Как пользоваться

Выбираете шаблон, нажимаете download, потом заходите в GTM - Шаблоны - Создать - 3 точки справа - Импорт и выбираете скачанный .tpl файл.

Он сканирует известные мне репозитории на github и выводит их для скачивания и импорта. Если вы знаете какие-то еще репозитории, напишите, пожалуйста в личку.
И конечно же, я уже пилю систему оценок, переделываю дизайн в figma, прикручиваю поиск и еще много всего.

@Burgerdata
subquery.ru - dbt, clickhouse, cube pinned «GTM Templates Aggregator - GTA Пропустил я всю движуху с темплейтами, потому что на новой работе в основном душу змею на юпитере. Тем не менее, выходные породили небольшой пет-проект, и это первый задокументированный случай, когда живой человек опередил Семёна…»
Вакансия.веб-аналитик

Плачу до 150, но можно торговаться.
Сайт, магазин и приложение Билайна.
Надо отладить сбор данных (js, gtm, firebase)**
Периодически делать адхоки (sql, hive, bigquery)
Обрабатывать, анализировать и визуализировать данные (na-chem-hotite, qlik sense, datastudio)
Помогать продактам принимать решения (brain)
Отвечать за слова (balls)

Обязательно первое и последнее

Чего у нас в избытке:

легаси разметки
задач в бэклоге
данных по абонам, ОЧЕНЬ МНОГО

Чего у нас нет:

бесплатных печенек, кофемашины и дружной команды молодых профессионалов

Бонусы:

корп связь
1-2 дня в неделю удаленно
ДМС с зубами
оплачиваемые курсы
премия по KPI
Python курс бесплатно

Майки рассказывают всем желающим о ремесле змееуста.
Если у вас есть небольшой опыт в кодинге, пускай, даже в подростком возрасте ночью перед компьютером, то к вашим услугам 44 видоса на английском о парселтанге для начинающих.
Эш!
https://www.youtube.com/watch?v=jFCNu1-Xdsw&list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6

@Burgerdata
subquery.ru - dbt, clickhouse, cube pinned «Вакансия.веб-аналитик Плачу до 150, но можно торговаться. Сайт, магазин и приложение Билайна. Надо отладить сбор данных (js, gtm, firebase)** Периодически делать адхоки (sql, hive, bigquery) Обрабатывать, анализировать и визуализировать данные (na-chem-hotite…»
​​Сегмент по хиту

Девушка за тем столиком попросила вам рассказать нюанс про сегменты. Он из тех случаев, когда «этожевсезнают», а вы слышите впервые.

Когда хотите отфильтровать хит по нескольким параметрам (страница и событие, категория и действие, и т.п.), надо в сегменте идти не во вкладку «Условия», а во вкладку «Последовательности», и все значения прописывать там в первом шаге. В «Условиях» для каждой проверки рассматривается весь сеанс, а не конкретный хит.

На скрине два сегмента покупателей разными способами. В случае с условием захватились люди, у которых действие «Покупка» не было связано с екоммерсом.

Для тех, кто сейчас задумался, что делать, бесплатный совет от моего дира: ошибки признавать можно, но не в письменном виде.

@Burgerdata
Экономия в BigQuery

Снова пришло время платить по счетам. Кто-то пойдёт возвращать долг родине за право пользоваться писсуаром, а кто-то гуглу за сентябрь, и еще вопрос, что страшнее.

Я с недавних пор подсел на сервис https://superquery.io и всех коллег на него перевёл в целях экономии

1. он не стирает результаты запроса по-любому чиху
2. он показывает деньги за конкретный запрос и нагрузку от всех юзеров
3. держит одновременно 5 вкладок с запросами в бесплатной версии
4. позволяет искать по результатам и сортировать без лишних запросов
5. при повторном запросе берёт результаты из кэша, а не шлет заново
6. позволяет выгружать csv больше 16к строк за два клика и без всяких перекидываний в хранилище
7. прям там можно строить простые графики
8. мы друг другу не платим


@Burgerdata
BigQuery noscripting

Брейкинг!!

Теперь можно объявлять переменные разных типов, задавать им значения, делать циклы, условия, процедуры и вообще пилить ETL в рамках BQ.

https://cloud.google.com/bigquery/docs/reference/standard-sql/noscripting

@Burgerdata
Google Optimize server-side

Пока ждал ночных расчетов хайва, которые как обычно нужны срочно к понедельнику, решил записать про реализацию экспериментов на серверной стороне с помощью оптимайза, потому что всякие нюансы постоянно вылетают из головы. Авось, и вам пригодится.

Смотрим
https://burgerdata.com/blog/google-optimize-server-side/

@Burgerdata
Как работать с API

Длиннющая статья вышла, я даже сам не осилил прочитать, но, может, у вас получится.
Там про OAuth2 с примерами на js и python, довольно сумбурно, как сейчас думаю.
А еще пример полностью автоматического отчета с авторизацией, обновлением токенов и доставкой агрегата в телегу, чтобы больше времени у вас оставалось на интересные задачи.

https://burgerdata.com/blog/kak-rabotat-s-api/

Так-то 3 денька осталось. Шевелись, Плотва!

@Burgerdata
​​Datastudio - ownership

И еще одно долгожданное обновление: в Datastudio наконец можно передавать владельца дашборда. Отличная новость и для агентств и для клиентов, и я надеюсь, они не придерживали её специально до кристмаса 🤣

@Burgerdata
Tips: Google Spreadsheets

Эпи
чный тред с типсами по гугл шитам. Где-то в СНГ хватило бы на целый телеграм канал 😇
https://twitter.com/benlcollins/status/1217105023097802753
Ваша задача - вспомнить про них в нужный момент, что конечно же очень не просто.

@Burgerdata
GA Enhanced Ecommerce

Многие из вас наверняка сталкивались с ситуацией, когда информация о товарах не помещается в хит. В прошлом году я писал про один из многочисленных способов решения этой проблемы.

Так вот, господин Коке, имея кучу свободного времени в силу недавней скоропостижной безработицы, расписал чуть подробнее этот метод, и даже приложил небольшой apps noscript для автоматизации.

https://juliencoquet.com/en/blog/2020/01/21/google-analytics-ecommerce-upload-product-data-with-google-sheets/

@Burgerdata