subquery.ru - dbt, clickhouse, cube – Telegram
subquery.ru - dbt, clickhouse, cube
649 subscribers
10 photos
1 video
46 links
SubQuery — автоматизация данных для аналитиков и data-инженеров.

Пайплайны, описанные кодом, с визуализацией и тестами, готовый dbt-стек c IDE, планировщик запусков и безопасная совместная работа.

𝗕𝗹𝗼𝗴
https://subquery.ru

𝗗𝗶𝗿𝗲𝗰𝘁
@mironovich
Download Telegram
subquery.ru - dbt, clickhouse, cube pinned «GTM Templates Aggregator - GTA Пропустил я всю движуху с темплейтами, потому что на новой работе в основном душу змею на юпитере. Тем не менее, выходные породили небольшой пет-проект, и это первый задокументированный случай, когда живой человек опередил Семёна…»
Вакансия.веб-аналитик

Плачу до 150, но можно торговаться.
Сайт, магазин и приложение Билайна.
Надо отладить сбор данных (js, gtm, firebase)**
Периодически делать адхоки (sql, hive, bigquery)
Обрабатывать, анализировать и визуализировать данные (na-chem-hotite, qlik sense, datastudio)
Помогать продактам принимать решения (brain)
Отвечать за слова (balls)

Обязательно первое и последнее

Чего у нас в избытке:

легаси разметки
задач в бэклоге
данных по абонам, ОЧЕНЬ МНОГО

Чего у нас нет:

бесплатных печенек, кофемашины и дружной команды молодых профессионалов

Бонусы:

корп связь
1-2 дня в неделю удаленно
ДМС с зубами
оплачиваемые курсы
премия по KPI
Python курс бесплатно

Майки рассказывают всем желающим о ремесле змееуста.
Если у вас есть небольшой опыт в кодинге, пускай, даже в подростком возрасте ночью перед компьютером, то к вашим услугам 44 видоса на английском о парселтанге для начинающих.
Эш!
https://www.youtube.com/watch?v=jFCNu1-Xdsw&list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6

@Burgerdata
subquery.ru - dbt, clickhouse, cube pinned «Вакансия.веб-аналитик Плачу до 150, но можно торговаться. Сайт, магазин и приложение Билайна. Надо отладить сбор данных (js, gtm, firebase)** Периодически делать адхоки (sql, hive, bigquery) Обрабатывать, анализировать и визуализировать данные (na-chem-hotite…»
​​Сегмент по хиту

Девушка за тем столиком попросила вам рассказать нюанс про сегменты. Он из тех случаев, когда «этожевсезнают», а вы слышите впервые.

Когда хотите отфильтровать хит по нескольким параметрам (страница и событие, категория и действие, и т.п.), надо в сегменте идти не во вкладку «Условия», а во вкладку «Последовательности», и все значения прописывать там в первом шаге. В «Условиях» для каждой проверки рассматривается весь сеанс, а не конкретный хит.

На скрине два сегмента покупателей разными способами. В случае с условием захватились люди, у которых действие «Покупка» не было связано с екоммерсом.

Для тех, кто сейчас задумался, что делать, бесплатный совет от моего дира: ошибки признавать можно, но не в письменном виде.

@Burgerdata
Экономия в BigQuery

Снова пришло время платить по счетам. Кто-то пойдёт возвращать долг родине за право пользоваться писсуаром, а кто-то гуглу за сентябрь, и еще вопрос, что страшнее.

Я с недавних пор подсел на сервис https://superquery.io и всех коллег на него перевёл в целях экономии

1. он не стирает результаты запроса по-любому чиху
2. он показывает деньги за конкретный запрос и нагрузку от всех юзеров
3. держит одновременно 5 вкладок с запросами в бесплатной версии
4. позволяет искать по результатам и сортировать без лишних запросов
5. при повторном запросе берёт результаты из кэша, а не шлет заново
6. позволяет выгружать csv больше 16к строк за два клика и без всяких перекидываний в хранилище
7. прям там можно строить простые графики
8. мы друг другу не платим


@Burgerdata
BigQuery noscripting

Брейкинг!!

Теперь можно объявлять переменные разных типов, задавать им значения, делать циклы, условия, процедуры и вообще пилить ETL в рамках BQ.

https://cloud.google.com/bigquery/docs/reference/standard-sql/noscripting

@Burgerdata
Google Optimize server-side

Пока ждал ночных расчетов хайва, которые как обычно нужны срочно к понедельнику, решил записать про реализацию экспериментов на серверной стороне с помощью оптимайза, потому что всякие нюансы постоянно вылетают из головы. Авось, и вам пригодится.

Смотрим
https://burgerdata.com/blog/google-optimize-server-side/

@Burgerdata
Как работать с API

Длиннющая статья вышла, я даже сам не осилил прочитать, но, может, у вас получится.
Там про OAuth2 с примерами на js и python, довольно сумбурно, как сейчас думаю.
А еще пример полностью автоматического отчета с авторизацией, обновлением токенов и доставкой агрегата в телегу, чтобы больше времени у вас оставалось на интересные задачи.

https://burgerdata.com/blog/kak-rabotat-s-api/

Так-то 3 денька осталось. Шевелись, Плотва!

@Burgerdata
​​Datastudio - ownership

И еще одно долгожданное обновление: в Datastudio наконец можно передавать владельца дашборда. Отличная новость и для агентств и для клиентов, и я надеюсь, они не придерживали её специально до кристмаса 🤣

@Burgerdata
Tips: Google Spreadsheets

Эпи
чный тред с типсами по гугл шитам. Где-то в СНГ хватило бы на целый телеграм канал 😇
https://twitter.com/benlcollins/status/1217105023097802753
Ваша задача - вспомнить про них в нужный момент, что конечно же очень не просто.

@Burgerdata
GA Enhanced Ecommerce

Многие из вас наверняка сталкивались с ситуацией, когда информация о товарах не помещается в хит. В прошлом году я писал про один из многочисленных способов решения этой проблемы.

Так вот, господин Коке, имея кучу свободного времени в силу недавней скоропостижной безработицы, расписал чуть подробнее этот метод, и даже приложил небольшой apps noscript для автоматизации.

https://juliencoquet.com/en/blog/2020/01/21/google-analytics-ecommerce-upload-product-data-with-google-sheets/

@Burgerdata
​​Яндекс Метрика. Цели

Я обычно стараюсь играть по правилам. Даже в каком-нибудь нелюдимом захолустье терпеливо ожидаю зеленый свет на переходе, услужливо пропуская перекати-поле. Мы пришли, чтобы выиграть войну, а не битву или еще: этот максимум - локальный. 😎

Естественно, что и при редкой работе с Метрикой я всегда всё делаю согласно документации. Так вот, в этой самой документации есть любопытная ремарка касательно целей:

Внимание. Значение идентификатора target не должно содержаться в URL страниц сайта. Иначе будет собираться некорректная статистика, учитывающая посещения страниц, содержащих в адресе значение, выбранное при создании цели.

Получается, что разница между целями типа js-событие и url есть только в интерфейсе для удобства юзера, в бэке же они все эти годы хранились вместе. А значит, мы можем фиксировать цели с js-событиями условиями для url.

Зачем?
В этом случае доступны проверки вхождения и регулярки, что наверняка оценят любителя автотегов, посылающие в Метрику что-то типа {{Event Category}}_{{Event Action}}_{{Event Label}}

Легально?
Тех поддержка не рекомендует пользоваться таким способом, так что сперва посмотрите на свой трекинг и подумайте, может ли быть хуже.

А ещё варианты?
Вместо это советуют пользоваться параметрами визитов, которые тоже, кстати, можно автоматизировать.

@Burgerdata
GTM Server-side

Кле
вые новости пришли с Superweek, который проходит сейчас в Венгрии. Брайан Кун (если я правильно разглядел фотку) анонсировал GTM для серверной стороны. Это решит очень много проблем с нагрузкой на клиент, с запретами на куки, кастомным стримингом данных и т.п.

Семён конечно уже вовсю излагает свои мыслишки
https://twitter.com/SimoAhava/status/1222459714614841346

@Burgerdata
Apps noscript V8

В аппскрипте поменялся движок для выполнения JS. Теперь это V8, на котором работают сhrome и nodejs. Больше не придётся щелкать в голове тумблер, чтобы забыть привычные конструкции 🤓
Надеюсь, теперь это облако для бедных, станет чуть менее непопулярно.

У меня получилось включить V8, добавив "runtimeVersion": "V8" в корень манифеста: View - Show manifest file. Никаких опций Enable из гайда по ссылке я в своих скриптах не увидел.

https://developers.google.com/apps-noscript/guides/v8-runtime

Из менее интересного: в ЯМетрике теперь по умолчанию визиты атрибуТТТируются как в GA – по последнему известному источнику. Хорошая новость, потому что большинство юзеров по моему опыту, даже не знали, что это такое, и открывая отчеты, просто копипастили данные в общую эксельку с GA.

@Burgerdata
​​APP+WEB

Добавили возможность рисовать свои пути по сайту, в том числе шаги, предшествовавшие чему-то. То есть можно задать точку начала или точку конца, и достроить остальное.

У меня конечно далеко не лучший на планете G-счетчик для демонстрации, и в ближайшее время я переходить туда не планирую, но попытка хорошая 🤔

@Burgerdata
И жизнь стала чуточку лучше 😊
​​APP+WEB - Enhanced Ecommerce

В этом карантине работаешь весь день, и руки доходят даже до забытого бэклога. Вот и гугиль добавил наконец расширенный екоммерс в новый счетчик. Документация у них давно висела на сайте, но сам трекер должным образом не реагировал , теперь же шлётся что-то отличное от [object Object].

Дока для gtag
Дока для gtm

Глядишь, скоро и отчёты добавят, где эти данные можно будет нормально посмотреть.

@Burgerdata
📣 Здравствуйте, товарищи!

Сколько ж воды утекло.. и высохло.
Я успел поработать СберВоином, меня забанили в гугле, и, как и многим, мне пришлось полностью сменить стек.

Шаг за шагом это привело к тому, что мы с командой запустили SaaS для работы с данными, который я анонсирую завтра🧨
Конечно же буду активно навязывать его вам в грядущих постах.

А чего ещё можно ожидать?

А ещё мне необходимо побольше людей обращать в свою веру, и поэтому в канале будут появляться посты по актуальному для меня стеку:

🧦 dbt
🧦 Cube (семантический слой)
🧦 ИИ Агенты (ии слой)
🧦 ClickHouse
🧦 Trino
🧦 DuckDB
1
Мы с вами расстались в ковид.

Тогда на карантине много кто поднабрал. Стали большими мои данные, а с ними и счета за BQ.
В попытке сэкономить я эволюционировал от scheduled queries до dataform, с которого потом пришлось перейти на dbt.

Однако многим коллегам трансформация далась непросто, ведь для командной работы с dbt-core необходимо
⁃ установить python окружение, dbt и доп.пакеты
⁃ настроить подключение, проект, таргеты для прода и дева
⁃ освоить git: ветки, коммиты, конфликты, релизы
⁃ подключаться к ВМ по SSH с vpn, редактировать cron, разбирать логи
⁃ как-то ещё надо получать алерты об упавших моделях из расписания
⁃ всё это у нас умножилось на дюжину персон в отделе, десятки клиентов, проектов и сотни моделей

Коллегам было очень, очень тяжело. А ведь данные всего мира не стоят слезинки на щеке аналитика! 🥹

Какие были варианты?

⁃ освободить ставки, нанять инженеров и научить их работать с данными диджитал маркетинга
⁃ второй

Мы выбрали второй!
🔥4
​​Встречайте https://subquery.ru

Мы постарались сделать удобный сервис для работы с dbt, чтобы технология была доступна не только инженерам данных, но и аналитикам и другим спецам со знанием SQL. Уже год он используется для обработки маркетинговых данных крупнейшего российского рекламодателя.

👂Какие функции есть?
⁃ поддерживаем адаптеры ClickHouse, PostgreSQL и принимаем заявки
⁃ sql редактор с подсказками, проверками и настройками под себя
⁃ граф моделей, поиск, таргеты, стриминг логов dbt
⁃ запуски по расписанию, удаленные запуски, бэкфилы, алерты
⁃ ветки, публикации, история версий и изменений
⁃ файловый менеджер S3

👂Что нужно, чтобы начать?
Опубликованная СУБД ClickHouse или PostgreSQL.
Мы предоставляем демо-проект для пробы, в котором конечно же не стоит вести дела.

👂Сколько стоит?
Небольшой проект можно вести бесплатно.
Что-то посерьезнее потребует постоплаты по числу рабочих мест.
Для энтерпрайза лимиты обсуждаются отдельном в каждом конкретном случае.

👂Что дальше?
dbt - первый этап. Позже мы добавим BI систему, коннекторы к источникам, облачную СУБД, свой счетчик и прочее. Есть открытый роадмап, вы можете повлиять на приоритеты.

Приглашаю попробовать https://subquery.ru
Можно со своим репозиторием.
Надеюсь, это сэкономит ваши слёзы.🥹
🔥5