Тимлидское об аналитике – Telegram
Тимлидское об аналитике
1.67K subscribers
34 photos
1 video
62 links
Мысли, идеи, озарения и советы от тимлида дата-аналитики Яндекс.eLama.
Download Telegram
Прилагаю также табличку из DAMA DMBOK - попытку перечислить все метрики КД и их взаимосвязь.

В следующих постах расскажу, как измерять качество данных и как организовать его мониторинг.
👍5👏3
Яндекс опубликовал в своём канале мою тему о цикле жизни витрин данных, которую мы с вами разбирали в течение нескольких постов. Ну эту вот: https://news.1rj.ru/str/teamlytics/24
🔥6
Forwarded from Yandex for Analytics
👳 Как жить и работать с витринами данных

Привет аналитикам! На связи Павел Беляев, тимлид группы обработки данных в дата-офисе сервиса eLama и автор канала «Тимлидское об аналитике». Основной продукт моей команды — это витрины данных. Уже 7 лет я занимаюсь их разработкой, поддержкой, управлением и так далее.

Сегодня я хочу поделиться своими наблюдениями за их жизнью 🔭 Надеюсь, это поможет вам выстроить работу дата-аналитиков так, чтобы получилось максимально эффективно и продуктивно.

Больше подробностей со ссылками ищите в моём личном канале.

А вот полезные материалы по карточкам:

🔵 Про тестирование витрин подробнее можно прочитать здесь

🔵 А узнать, как у нас организован поиск неактуальных витрин, можно тут

Подписывайтесь:
💬 @Yandex4Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13
Энергетический дневник - заключение

Приветствую, любители аналитики!

Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы

К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.

Например, вот такой.

Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.

Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.

Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.

Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.
👍8
Приветик, любители аналитики!
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.
Forwarded from Simulative
🧑🏻‍💻 Симулятор работы аналитика: решаем задачи бизнеса с помощью SQL

На следующей неделе мы продолжаем решать задачи бизнеса с помощью SQL.

На этот раз решим один из кейсов прямиком из программы курса-симулятора «Аналитик данных», где мы будем проводить исследование клиентской активности.

Что научимся делать на вебинаре:

🟠 Считать как менялось пиковое значение по ежедневному количеству регистраций на платформе.

🟠 Считать DAU за каждый день и попробовать его сгладить двумя способами: скользящим средним и медианным сглаживанием.

🟠 А также узнаем лучшие практики решения данных задач

Спикер: Павел Беляев,
руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».

❗️ Встречаемся 26 августа в 19:00 МСК

💬 Будет много практики, примеров и ответов на ваши вопросы.

➡️ Регистрация на вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
Forwarded from Simulative
This media is not supported in your browser
VIEW IN TELEGRAM
Качество данных 2

Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.

Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.

Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).

Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.

Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!

Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.

О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.
7🔥1
В общем на меня тут насели, настойчиво порекомендовали выложить пару отзывов о прошедшем позавчера вебинаре.
Там и вправду было живенько, рекомендую на такое ходить таки.
🔥122
Приветствую любителей аналитики!

Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.

Давайте вспомним, что же было интересного в Тимлидском за последнее время.

Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4

Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama

Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать

Оставайтесь в Тимлидском, будет ещё много интересных тем!
👍10🎉3🔥2
Приветствую, любители аналитики!

В первом посте канала я пояснил, в каком месте заключается ценность аналитики (которая, вообще-то, является дорогущим процессом).

Потом я долго описывал разные этапы этого процесса.
И вот решил наконец, собрать их кратко в одном посте, который и выложили мои друзья из Simulative.

Предлагаю заценить.
А если вы уже работаете с данными, напишите в коменты, как выглядит конвейер данных у вас, будет интересно сравнить.
Forwarded from Simulative
Привет! На связи Павел Беляев — автор канала Тимлидское об аналитике и ментор курса «Аналитик данных» 👋

Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.

Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.

А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.

Конвейер данных включает в себя следующие основные этапы:

1️⃣Формирование вопросов
Сначала определяется потребность в информации, подбираются метрики и методы анализа, а также составляется перечень необходимых данных.


2️⃣Сбор данных
Сырые, необработанные данные собираются из источников в аналитическое хранилище (АХ), где и производится всяческая аналитическая «магия».

В качестве АХ могут использоваться различные системы управления базами данных (СУБД), например, Clickhouse или PostgreSQL.

Запросы к СУБД выполняются на языке SQL. А процессы сбора и транспорта данных осуществляются специальными инструментами, например, Airflow, который «дирижирует» Python-скриптами.


3️⃣Преобразование данных
Сырые данные «готовятся», а блюдом являются витрины данных: таблицы, содержащие отфильтрованные строки, рассчитанные метрики, сгруппированные сегменты и прочие результаты реализации бизнес-логики.

С данными производятся операции фильтрации, объединения, расчета, приведения к нужному виду и т.д. Обычно для этого используются языки SQL или Python.


4️⃣Визуализация
Витрины служат источниками для отчетов или дашбордов, содержащих графики, чарты, диаграммы и прочую «наглядную красоту», которая помогает пользователю быстро сориентироваться в информации и сделать нужные выводы.

Визуализация делается с помощью соответствующих инструментов: Power BI, Data Lens, Looker Studio, Metabase и др.


5️⃣Анализ
Собственно, процесс изучения, осознания ситуации, а также формирования выводов, ответов на поставленные вопросы.

Рассчитанные метрики сопоставляются с некими желаемыми эталонами, изучаются тренды, обнаруживаются и обосновываются выбросы, проседания и т.д.


6️⃣Решение
На основе выводов решается —достигнуты ли цели, что делать дальше, работает ли новая фича и т.п.


Путь данных весьма насыщен приключениями и этим он интересен!

Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.

❗️И напоминаю, что до 12 сентября у вас есть возможность попасть на курс со скидкой -25%. Успевайте ей воспользоваться и желаю успехов в аналитике, коллеги!

➡️ Узнать больше о курсе и забронировать скидку
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3
Дерево метрик

Приветствую, любители аналитики!

Как-то раз я писал о North Star Metric - ключевом показателе бизнеса, на который следует равняться.
Я планировал позже написать о другом понятии, тесно связанном с NSM - о дереве метрик, но так и не сподобился.

А оказалось, что об этом хорошо написал мой коллега по Яндексу - продуктовый менеджер Иван Меркурьев.
Читайте о том, что такое дерево метрик, зачем оно нужно и как его выстроить, в канале Ивана Ordinary PM.
👍73🔥3
Приветствую, любители аналитики!

Через час стартует вебинар, на котором я расскажу как и чем мы тут в своей еЛаме работаем-аналичим.
Не забудьте зарегаться, говорят, запись придет тока зареганным!
1