Яндекс опубликовал в своём канале мою тему о цикле жизни витрин данных, которую мы с вами разбирали в течение нескольких постов. Ну эту вот: https://news.1rj.ru/str/teamlytics/24
🔥6
Forwarded from Yandex for Analytics
Привет аналитикам! На связи Павел Беляев, тимлид группы обработки данных в дата-офисе сервиса eLama и автор канала «Тимлидское об аналитике». Основной продукт моей команды — это витрины данных. Уже 7 лет я занимаюсь их разработкой, поддержкой, управлением и так далее.
Сегодня я хочу поделиться своими наблюдениями за их жизнью 🔭 Надеюсь, это поможет вам выстроить работу дата-аналитиков так, чтобы получилось максимально эффективно и продуктивно.
А вот полезные материалы по карточкам:
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13
Энергетический дневник - заключение
Приветствую, любители аналитики!
Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы
К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.
Например, вот такой.
Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.
Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.
Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.
Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.
Приветствую, любители аналитики!
Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы
К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.
Например, вот такой.
Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.
Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.
Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.
Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.
Telegram
Тимлидское об аналитике
Энергетический дневник
Приветствую, любители аналитики!
Расскажу-ка я вам о своей личной методике самоанализа с целью повышения своей эффективности.
Она подкинула мне системные инсайты и дала важнейший инструмент для работы наряду с состоянием потока Михая…
Приветствую, любители аналитики!
Расскажу-ка я вам о своей личной методике самоанализа с целью повышения своей эффективности.
Она подкинула мне системные инсайты и дала важнейший инструмент для работы наряду с состоянием потока Михая…
👍8
Приветик, любители аналитики!
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.
Forwarded from Simulative
🧑🏻💻 Симулятор работы аналитика: решаем задачи бизнеса с помощью SQL
На следующей неделе мы продолжаем решать задачи бизнеса с помощью SQL.
На этот раз решим один из кейсов прямиком из программы курса-симулятора «Аналитик данных», где мы будем проводить исследование клиентской активности.
Что научимся делать на вебинаре:
🟠 Считать как менялось пиковое значение по ежедневному количеству регистраций на платформе.
🟠 Считать DAU за каждый день и попробовать его сгладить двумя способами: скользящим средним и медианным сглаживанием.
🟠 А также узнаем лучшие практики решения данных задач
Спикер: Павел Беляев, руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».
❗️ Встречаемся 26 августа в 19:00 МСК
💬 Будет много практики, примеров и ответов на ваши вопросы.
➡️ Регистрация на вебинар
На следующей неделе мы продолжаем решать задачи бизнеса с помощью SQL.
На этот раз решим один из кейсов прямиком из программы курса-симулятора «Аналитик данных», где мы будем проводить исследование клиентской активности.
Что научимся делать на вебинаре:
Спикер: Павел Беляев, руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».
💬 Будет много практики, примеров и ответов на ваши вопросы.
➡️ Регистрация на вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
Forwarded from Simulative
This media is not supported in your browser
VIEW IN TELEGRAM
Качество данных 2
Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.
Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.
Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).
Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.
Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!
Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.
О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.
Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.
Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.
Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).
Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.
Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!
Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.
О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.
Telegram
Тимлидское об аналитике
Качество данных
Приветствую, любители аналитики!
Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.
Меж тем, конечные пользователи предпочитают надёжность…
Приветствую, любители аналитики!
Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.
Меж тем, конечные пользователи предпочитают надёжность…
❤7🔥1
В общем на меня тут насели, настойчиво порекомендовали выложить пару отзывов о прошедшем позавчера вебинаре.
Там и вправду было живенько, рекомендую на такое ходить таки.
Там и вправду было живенько, рекомендую на такое ходить таки.
🔥12❤2
Приветствую любителей аналитики!
Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.
Давайте вспомним, что же было интересного в Тимлидском за последнее время.
Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4
Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama
Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать
Оставайтесь в Тимлидском, будет ещё много интересных тем!
Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.
Давайте вспомним, что же было интересного в Тимлидском за последнее время.
Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4
Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama
Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать
Оставайтесь в Тимлидском, будет ещё много интересных тем!
Telegram
Тимлидское об аналитике
Приветствую, любители аналитики!
Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.
Аналитика для бизнеса
Ценность аналитики - где…
Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.
Аналитика для бизнеса
Ценность аналитики - где…
👍10🎉3🔥2
Приветствую, любители аналитики!
В первом посте канала я пояснил, в каком месте заключается ценность аналитики (которая, вообще-то, является дорогущим процессом).
Потом я долго описывал разные этапы этого процесса.
И вот решил наконец, собрать их кратко в одном посте, который и выложили мои друзья из Simulative.
Предлагаю заценить.
А если вы уже работаете с данными, напишите в коменты, как выглядит конвейер данных у вас, будет интересно сравнить.
В первом посте канала я пояснил, в каком месте заключается ценность аналитики (которая, вообще-то, является дорогущим процессом).
Потом я долго описывал разные этапы этого процесса.
И вот решил наконец, собрать их кратко в одном посте, который и выложили мои друзья из Simulative.
Предлагаю заценить.
А если вы уже работаете с данными, напишите в коменты, как выглядит конвейер данных у вас, будет интересно сравнить.
Telegram
Тимлидское об аналитике
Привет любителям аналитики!
Начнем с простого, но очень важного - с ценности аналитики.
Процессы работы с данными дороги и сложны, особенно если данных много, как по объему, так и по разнообразию.
Аналитику всегда следует помнить, за что, в конечном счёте…
Начнем с простого, но очень важного - с ценности аналитики.
Процессы работы с данными дороги и сложны, особенно если данных много, как по объему, так и по разнообразию.
Аналитику всегда следует помнить, за что, в конечном счёте…
Forwarded from Simulative
Привет! На связи Павел Беляев — автор канала Тимлидское об аналитике и ментор курса «Аналитик данных» 👋
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.
А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.
Конвейер данных включает в себя следующие основные этапы:
1️⃣ Формирование вопросов
2️⃣ Сбор данных
3️⃣ Преобразование данных
4️⃣ Визуализация
5️⃣ Анализ
6️⃣ Решение
Путь данных весьма насыщен приключениями и этим он интересен!
Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.
❗️ И напоминаю, что до 12 сентября у вас есть возможность попасть на курс со скидкой -25%. Успевайте ей воспользоваться и желаю успехов в аналитике, коллеги!
➡️ Узнать больше о курсе и забронировать скидку
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.
А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.
Конвейер данных включает в себя следующие основные этапы:
Сначала определяется потребность в информации, подбираются метрики и методы анализа, а также составляется перечень необходимых данных.
Сырые, необработанные данные собираются из источников в аналитическое хранилище (АХ), где и производится всяческая аналитическая «магия».
В качестве АХ могут использоваться различные системы управления базами данных (СУБД), например, Clickhouse или PostgreSQL.
Запросы к СУБД выполняются на языке SQL. А процессы сбора и транспорта данных осуществляются специальными инструментами, например, Airflow, который «дирижирует» Python-скриптами.
Сырые данные «готовятся», а блюдом являются витрины данных: таблицы, содержащие отфильтрованные строки, рассчитанные метрики, сгруппированные сегменты и прочие результаты реализации бизнес-логики.
С данными производятся операции фильтрации, объединения, расчета, приведения к нужному виду и т.д. Обычно для этого используются языки SQL или Python.
Витрины служат источниками для отчетов или дашбордов, содержащих графики, чарты, диаграммы и прочую «наглядную красоту», которая помогает пользователю быстро сориентироваться в информации и сделать нужные выводы.
Визуализация делается с помощью соответствующих инструментов: Power BI, Data Lens, Looker Studio, Metabase и др.
Собственно, процесс изучения, осознания ситуации, а также формирования выводов, ответов на поставленные вопросы.
Рассчитанные метрики сопоставляются с некими желаемыми эталонами, изучаются тренды, обнаруживаются и обосновываются выбросы, проседания и т.д.
На основе выводов решается —достигнуты ли цели, что делать дальше, работает ли новая фича и т.п.
Путь данных весьма насыщен приключениями и этим он интересен!
Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3
Дерево метрик
Приветствую, любители аналитики!
Как-то раз я писал о North Star Metric - ключевом показателе бизнеса, на который следует равняться.
Я планировал позже написать о другом понятии, тесно связанном с NSM - о дереве метрик, но так и не сподобился.
А оказалось, что об этом хорошо написал мой коллега по Яндексу - продуктовый менеджер Иван Меркурьев.
Читайте о том, что такое дерево метрик, зачем оно нужно и как его выстроить, в канале Ивана Ordinary PM.
Приветствую, любители аналитики!
Как-то раз я писал о North Star Metric - ключевом показателе бизнеса, на который следует равняться.
Я планировал позже написать о другом понятии, тесно связанном с NSM - о дереве метрик, но так и не сподобился.
А оказалось, что об этом хорошо написал мой коллега по Яндексу - продуктовый менеджер Иван Меркурьев.
Читайте о том, что такое дерево метрик, зачем оно нужно и как его выстроить, в канале Ивана Ordinary PM.
Telegram
Тимлидское об аналитике
Приветствую, любители аналитики!
Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?
NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир…
Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?
NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир…
👍7❤3🔥3
Приветствую, любители аналитики!
Через час стартует вебинар, на котором я расскажу как и чем мы тут в своей еЛаме работаем-аналичим.
Не забудьте зарегаться, говорят, запись придет тока зареганным!
Через час стартует вебинар, на котором я расскажу как и чем мы тут в своей еЛаме работаем-аналичим.
Не забудьте зарегаться, говорят, запись придет тока зареганным!
❤1
Forwarded from Simulative
Чтобы решить подходит ли вам аналитика в качестве профессии, часто нужно посмотреть чуть глубже — на то, чем предстоит заниматься каждый день, а не только на набор инструментов, который в этом поможет.
А чтобы успешно пройти собеседование в хорошую команду — важно уже со старта обучения анализировать, какие кандидаты ценятся на рынке.
Всё это мы обсудим уже в следующий вторник на вебинаре с Павлом Беляевым, руководителем команды аналитиков в Яндекс eLama, а также автором телеграм-канала «Тимлидское об аналитике».
Павел регулярно нанимает аналитиков в команду, поэтому поделится с нами качествами, на которые обращает внимание при отборе кандидатов.
На вебинаре обсудим:
💬 Обязательно ждем вас в лайве – вы сможете напрямую задать свои вопросы Павлу Беляеву и получить консультацию крутого практика.
Please open Telegram to view this post
VIEW IN TELEGRAM