Forwarded from Yandex for Analytics
Привет аналитикам! На связи Павел Беляев, тимлид группы обработки данных в дата-офисе сервиса eLama и автор канала «Тимлидское об аналитике». Основной продукт моей команды — это витрины данных. Уже 7 лет я занимаюсь их разработкой, поддержкой, управлением и так далее.
Сегодня я хочу поделиться своими наблюдениями за их жизнью 🔭 Надеюсь, это поможет вам выстроить работу дата-аналитиков так, чтобы получилось максимально эффективно и продуктивно.
А вот полезные материалы по карточкам:
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13
Энергетический дневник - заключение
Приветствую, любители аналитики!
Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы
К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.
Например, вот такой.
Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.
Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.
Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.
Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.
Приветствую, любители аналитики!
Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы
К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.
Например, вот такой.
Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.
Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.
Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.
Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.
Telegram
Тимлидское об аналитике
Энергетический дневник
Приветствую, любители аналитики!
Расскажу-ка я вам о своей личной методике самоанализа с целью повышения своей эффективности.
Она подкинула мне системные инсайты и дала важнейший инструмент для работы наряду с состоянием потока Михая…
Приветствую, любители аналитики!
Расскажу-ка я вам о своей личной методике самоанализа с целью повышения своей эффективности.
Она подкинула мне системные инсайты и дала важнейший инструмент для работы наряду с состоянием потока Михая…
👍8
Приветик, любители аналитики!
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.
Forwarded from Simulative
🧑🏻💻 Симулятор работы аналитика: решаем задачи бизнеса с помощью SQL
На следующей неделе мы продолжаем решать задачи бизнеса с помощью SQL.
На этот раз решим один из кейсов прямиком из программы курса-симулятора «Аналитик данных», где мы будем проводить исследование клиентской активности.
Что научимся делать на вебинаре:
🟠 Считать как менялось пиковое значение по ежедневному количеству регистраций на платформе.
🟠 Считать DAU за каждый день и попробовать его сгладить двумя способами: скользящим средним и медианным сглаживанием.
🟠 А также узнаем лучшие практики решения данных задач
Спикер: Павел Беляев, руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».
❗️ Встречаемся 26 августа в 19:00 МСК
💬 Будет много практики, примеров и ответов на ваши вопросы.
➡️ Регистрация на вебинар
На следующей неделе мы продолжаем решать задачи бизнеса с помощью SQL.
На этот раз решим один из кейсов прямиком из программы курса-симулятора «Аналитик данных», где мы будем проводить исследование клиентской активности.
Что научимся делать на вебинаре:
Спикер: Павел Беляев, руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике».
💬 Будет много практики, примеров и ответов на ваши вопросы.
➡️ Регистрация на вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
Forwarded from Simulative
This media is not supported in your browser
VIEW IN TELEGRAM
Качество данных 2
Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.
Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.
Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).
Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.
Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!
Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.
О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.
Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.
Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.
Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).
Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.
Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!
Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.
О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.
Telegram
Тимлидское об аналитике
Качество данных
Приветствую, любители аналитики!
Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.
Меж тем, конечные пользователи предпочитают надёжность…
Приветствую, любители аналитики!
Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.
Меж тем, конечные пользователи предпочитают надёжность…
❤7🔥1
В общем на меня тут насели, настойчиво порекомендовали выложить пару отзывов о прошедшем позавчера вебинаре.
Там и вправду было живенько, рекомендую на такое ходить таки.
Там и вправду было живенько, рекомендую на такое ходить таки.
🔥12❤2
Приветствую любителей аналитики!
Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.
Давайте вспомним, что же было интересного в Тимлидском за последнее время.
Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4
Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama
Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать
Оставайтесь в Тимлидском, будет ещё много интересных тем!
Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.
Давайте вспомним, что же было интересного в Тимлидском за последнее время.
Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4
Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama
Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать
Оставайтесь в Тимлидском, будет ещё много интересных тем!
Telegram
Тимлидское об аналитике
Приветствую, любители аналитики!
Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.
Аналитика для бизнеса
Ценность аналитики - где…
Ну что, нашему канальчику чуть меньше двух недель, давайте вспомним, о чем шла речь.
Попробую такой дайджест выдавать регулярно, чтобы не пропускалось / вспоминалось полезное.
Аналитика для бизнеса
Ценность аналитики - где…
👍10🎉3🔥2
Приветствую, любители аналитики!
В первом посте канала я пояснил, в каком месте заключается ценность аналитики (которая, вообще-то, является дорогущим процессом).
Потом я долго описывал разные этапы этого процесса.
И вот решил наконец, собрать их кратко в одном посте, который и выложили мои друзья из Simulative.
Предлагаю заценить.
А если вы уже работаете с данными, напишите в коменты, как выглядит конвейер данных у вас, будет интересно сравнить.
В первом посте канала я пояснил, в каком месте заключается ценность аналитики (которая, вообще-то, является дорогущим процессом).
Потом я долго описывал разные этапы этого процесса.
И вот решил наконец, собрать их кратко в одном посте, который и выложили мои друзья из Simulative.
Предлагаю заценить.
А если вы уже работаете с данными, напишите в коменты, как выглядит конвейер данных у вас, будет интересно сравнить.
Telegram
Тимлидское об аналитике
Привет любителям аналитики!
Начнем с простого, но очень важного - с ценности аналитики.
Процессы работы с данными дороги и сложны, особенно если данных много, как по объему, так и по разнообразию.
Аналитику всегда следует помнить, за что, в конечном счёте…
Начнем с простого, но очень важного - с ценности аналитики.
Процессы работы с данными дороги и сложны, особенно если данных много, как по объему, так и по разнообразию.
Аналитику всегда следует помнить, за что, в конечном счёте…
Forwarded from Simulative
Привет! На связи Павел Беляев — автор канала Тимлидское об аналитике и ментор курса «Аналитик данных» 👋
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.
А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.
Конвейер данных включает в себя следующие основные этапы:
1️⃣ Формирование вопросов
2️⃣ Сбор данных
3️⃣ Преобразование данных
4️⃣ Визуализация
5️⃣ Анализ
6️⃣ Решение
Путь данных весьма насыщен приключениями и этим он интересен!
Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.
❗️ И напоминаю, что до 12 сентября у вас есть возможность попасть на курс со скидкой -25%. Успевайте ей воспользоваться и желаю успехов в аналитике, коллеги!
➡️ Узнать больше о курсе и забронировать скидку
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.
А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.
Конвейер данных включает в себя следующие основные этапы:
Сначала определяется потребность в информации, подбираются метрики и методы анализа, а также составляется перечень необходимых данных.
Сырые, необработанные данные собираются из источников в аналитическое хранилище (АХ), где и производится всяческая аналитическая «магия».
В качестве АХ могут использоваться различные системы управления базами данных (СУБД), например, Clickhouse или PostgreSQL.
Запросы к СУБД выполняются на языке SQL. А процессы сбора и транспорта данных осуществляются специальными инструментами, например, Airflow, который «дирижирует» Python-скриптами.
Сырые данные «готовятся», а блюдом являются витрины данных: таблицы, содержащие отфильтрованные строки, рассчитанные метрики, сгруппированные сегменты и прочие результаты реализации бизнес-логики.
С данными производятся операции фильтрации, объединения, расчета, приведения к нужному виду и т.д. Обычно для этого используются языки SQL или Python.
Витрины служат источниками для отчетов или дашбордов, содержащих графики, чарты, диаграммы и прочую «наглядную красоту», которая помогает пользователю быстро сориентироваться в информации и сделать нужные выводы.
Визуализация делается с помощью соответствующих инструментов: Power BI, Data Lens, Looker Studio, Metabase и др.
Собственно, процесс изучения, осознания ситуации, а также формирования выводов, ответов на поставленные вопросы.
Рассчитанные метрики сопоставляются с некими желаемыми эталонами, изучаются тренды, обнаруживаются и обосновываются выбросы, проседания и т.д.
На основе выводов решается —достигнуты ли цели, что делать дальше, работает ли новая фича и т.п.
Путь данных весьма насыщен приключениями и этим он интересен!
Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3
Дерево метрик
Приветствую, любители аналитики!
Как-то раз я писал о North Star Metric - ключевом показателе бизнеса, на который следует равняться.
Я планировал позже написать о другом понятии, тесно связанном с NSM - о дереве метрик, но так и не сподобился.
А оказалось, что об этом хорошо написал мой коллега по Яндексу - продуктовый менеджер Иван Меркурьев.
Читайте о том, что такое дерево метрик, зачем оно нужно и как его выстроить, в канале Ивана Ordinary PM.
Приветствую, любители аналитики!
Как-то раз я писал о North Star Metric - ключевом показателе бизнеса, на который следует равняться.
Я планировал позже написать о другом понятии, тесно связанном с NSM - о дереве метрик, но так и не сподобился.
А оказалось, что об этом хорошо написал мой коллега по Яндексу - продуктовый менеджер Иван Меркурьев.
Читайте о том, что такое дерево метрик, зачем оно нужно и как его выстроить, в канале Ивана Ordinary PM.
Telegram
Тимлидское об аналитике
Приветствую, любители аналитики!
Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?
NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир…
Поговорим о целевой метрике, которую какой-то романтик назвал North Star Metric.
Полярная звезда аналитики, правда, поэтично?
NSM - это ключевая метрика, отражающая главную ценность продукта или цель компании. Это ориентир…
👍7❤3🔥3
Приветствую, любители аналитики!
Через час стартует вебинар, на котором я расскажу как и чем мы тут в своей еЛаме работаем-аналичим.
Не забудьте зарегаться, говорят, запись придет тока зареганным!
Через час стартует вебинар, на котором я расскажу как и чем мы тут в своей еЛаме работаем-аналичим.
Не забудьте зарегаться, говорят, запись придет тока зареганным!
❤1
Forwarded from Simulative
Чтобы решить подходит ли вам аналитика в качестве профессии, часто нужно посмотреть чуть глубже — на то, чем предстоит заниматься каждый день, а не только на набор инструментов, который в этом поможет.
А чтобы успешно пройти собеседование в хорошую команду — важно уже со старта обучения анализировать, какие кандидаты ценятся на рынке.
Всё это мы обсудим уже в следующий вторник на вебинаре с Павлом Беляевым, руководителем команды аналитиков в Яндекс eLama, а также автором телеграм-канала «Тимлидское об аналитике».
Павел регулярно нанимает аналитиков в команду, поэтому поделится с нами качествами, на которые обращает внимание при отборе кандидатов.
На вебинаре обсудим:
💬 Обязательно ждем вас в лайве – вы сможете напрямую задать свои вопросы Павлу Беляеву и получить консультацию крутого практика.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Simulative
Как онбордятся дата-аналитики в Яндекс eLama
Приветствую любителей аналитики! С вами Павел Беляев, ментор курса «Аналитик данных». Расскажу, как у нас погружается в работу новый человек и какой выработался подход у меня как тимлида / руководителя команды.
Новичку предстоит освоить немало всего:
➖ Рабочие процессы и регламенты;
➖ Наш инструментарий;
➖ Наши данные;
➖ Персонажи (заказчики, исполнители, смежники).
Соль моего подхода не нова: неофит получает небольшую вводную, а затем познаёт все премудрости на «боевых» задачах. Если изначально кандидат соответствует требованиям, то у него есть всё для планомерного впитывания необходимой информации.
Вводная — это встреча со мной как тимлидом, на которой я рассказываю ещё раз о задачах, стеке, экторах — людях и отделах, причастных к работе с данными — а также выдаю список ссылок на документацию. Этих ссылок довольно много, поэтому изучить и понять всё сразу нереально. Но это и не требуется в первые дни. Пока нужно только сориентироваться, где что есть, и осознать общие контуры ситуации, в которую вы вписались.
В списке ссылок новичок найдёт сведения об инструментах и процессах:
🟠 Корпоративные сервисы — структура компании, данные о сотрудниках, календарь, диск, почта и т. д.;
🟠 Раздел Data Office в корпоративном wiki-справочнике;
🟠 Регламент работы дежурного, или SLA — Service Level Agreement, о котором еще расскажу;
🟠 Наш стандарт оформления кода SQL;
🟠 Бизнес-глоссарий — используемые термины и метрики;
🟠 Описание рабочих процессов: планирование, движение задач, жизненный цикл витрин данных.
А также техническую информацию о данных:
🟠 Архитектура аналитического хранилища и ETL-механизмов;
🟠 Основные таблицы (витрины) и их представления;
🟠 Модель данных;
🟠 Механизм обновления данных и метаданных;
🟠 Используемые технические справочники и т. д.
Новому сотруднику назначается бадди (buddy), то есть куратор, более опытный член команды, который далее помогает ему с оргвопросами, поясняет рабочие моменты и т. д.
Начиная со второй недели неофит участвует в планировании спринта, получает боевые задачи. Сначала простенькие, позже посложнее. А с третьей недели он уже дежурит, принимая текущие заявки от заказчиков. (Во многих компаниях у аналитиков имеется институт дежурства, когда один человек в течение некоторого периода отвечает за прием и обработку входящих обращений, чтобы остальные не отвлекались от проектных дел.)
Постепенно процессы, данные, инструменты становятся привычными и через несколько месяцев новый дата-аналитик уже уверенно решает задачи, обходясь без помощи коллег. А через год он уже и сам может стать куратором.
В общем, если человек обучаемый, коммуникабельный и имеет достаточную техническую базу, он втянется в работу.
🧡 Получить предложение по низкой цене
📊 Simulative
Приветствую любителей аналитики! С вами Павел Беляев, ментор курса «Аналитик данных». Расскажу, как у нас погружается в работу новый человек и какой выработался подход у меня как тимлида / руководителя команды.
Новичку предстоит освоить немало всего:
Соль моего подхода не нова: неофит получает небольшую вводную, а затем познаёт все премудрости на «боевых» задачах. Если изначально кандидат соответствует требованиям, то у него есть всё для планомерного впитывания необходимой информации.
Вводная — это встреча со мной как тимлидом, на которой я рассказываю ещё раз о задачах, стеке, экторах — людях и отделах, причастных к работе с данными — а также выдаю список ссылок на документацию. Этих ссылок довольно много, поэтому изучить и понять всё сразу нереально. Но это и не требуется в первые дни. Пока нужно только сориентироваться, где что есть, и осознать общие контуры ситуации, в которую вы вписались.
В списке ссылок новичок найдёт сведения об инструментах и процессах:
А также техническую информацию о данных:
Новому сотруднику назначается бадди (buddy), то есть куратор, более опытный член команды, который далее помогает ему с оргвопросами, поясняет рабочие моменты и т. д.
Раньше я курировал новенького сам, но теперь у нас ребята достаточно компетентные, сами справляются. Вообще коллектив у нас дружный и отзывчивый, поэтому новичок никогда не остаётся один на один с проблемой. Он может задать вопрос в чат команды и ему быстро подскажут, что к чему, так что назначение бадди — в известной мере, формальность.
Начиная со второй недели неофит участвует в планировании спринта, получает боевые задачи. Сначала простенькие, позже посложнее. А с третьей недели он уже дежурит, принимая текущие заявки от заказчиков. (Во многих компаниях у аналитиков имеется институт дежурства, когда один человек в течение некоторого периода отвечает за прием и обработку входящих обращений, чтобы остальные не отвлекались от проектных дел.)
Я как руководитель созваниваюсь с новоиспечённым аналитиком на часок раз в неделю или в две, чтобы обсудить его прогресс, снизить стресс и обменяться обратной связью.
Постепенно процессы, данные, инструменты становятся привычными и через несколько месяцев новый дата-аналитик уже уверенно решает задачи, обходясь без помощи коллег. А через год он уже и сам может стать куратором.
В общем, если человек обучаемый, коммуникабельный и имеет достаточную техническую базу, он втянется в работу.
Что же до необходимых основ аналитики, на мой взгляд, они неплохо изложены в курсе «Дата-аналитик». Если вы серьёзно настроены влиться в нашу отрасль или прокачать свои знания, не пожалейте ресурса, пройдите курс.♾ Кстати, до 19 сентября действует скидка -15%, так что успевайте зарегистрироваться и прокачать себя в профессии аналитика.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8
С какими данными работает аналитик
Приветствую, любители аналитики!
Сегодня поговорим о том, с какими данными и из каких источников приходится работать дата-аналитику.
Чем крупнее компания, тем больше у неё данных. Конечно, дело не только в величине, но и в «цифровой зрелости» — готовности компании собирать и использовать данные.
Чем выше интерес руководства к управлению на основе данных, тем больше оно стремится собрать их из разных источников.
Что же за источники обычно используют компании, для каких целей и как они интегрируются в конвейер данных?
Вот несколько самых "популярных":
1️⃣ CRM-системы
Что это: инструменты сбора, обработки и отображения информации о клиентах и взаимодействии с ними.
Метод сбора данных: чаще всего веб-интерфейс и свой API, через который можно отправить запрос в систему и получить ответ. Большие CRM могут дорабатываться под особенности бизнеса, также может допиливаться и API.
Данные
➖ Контакты и прочие данные клиентов;
➖ Данные о сделках, взаимодействиях и прочих процессах работы с клиентами;
➖ Новые лиды;
➖ Данные о сотрудниках, работающих с клиентами;
➖ Источники лидов;
➖ Другие сведения, которые стекаются в CRM.
Примеры: Битрикс24, amoCRM, Мегаплан.
2️⃣ Cистемы веб-аналитики
Что это: комплекс инструментов для сбора, измерения, анализа и интерпретации данных о посетителях веб-ресурсов.
Метод сбора данных: использование API, но не все системы отдают всё полностью.
Например, Google Analytics 4 не отдаёт полные сырые данные о хитах по API. Эта опция доступна только при прямой интеграции с Google BigQuery, остальным придётся довольствоваться лишь агрегированными данными.
Другой вариант — своими силами собирать нужные события, но это, скорее всего, потребует ресурсов разработчика.
Данные
➖ Хиты (события, просмотры страниц);
➖ Визиты/сессии (источники трафика, длительность, данные о приложении-клиенте пользователя и т. д.).
Примеры: Google Analytics, Яндекс Метрика, Amplitude.
3️⃣ Базы данных бизнес-приложений
Что это: практически любые цифровые продукты и сервисы имеют свою базу данных, а то и десятки для нормального функционирования.
Данные
Всё, что генерирует и хранит приложение:
— Учётные записи пользователей, их финансовые транзакции и баланс;
— Перечни услуг, тарифов, расписания событий и т. д.;
— Статусы заказов юзеров, состояние их работы с сервисом — например, подключенные аккаунты в системах автоматизации рекламы.
Метод сбора
Данные из «своих» СУБД собираются через стандартные методы подключения, например, из Python-скриптов (например, библиотека psycopg2 для работы с PostgreSQL) или же с помощью специализированных инструментов (например, оператор PostgresOperator для Airflow).
Примеры: PostgreSQL, MySQL, Microsoft SQL Server, Oracle Database.
4️⃣ Электронные таблицы
Что это: простое решение для внесения в аналитическое хранилище данных с ручного ввода либо из источников, сбор из которых не поддаётся недорогой автоматизации.
Данные: любые табличные данные.
Метод сбора: популярные облачные решения имеют свои API и Python-библиотеки. Для csv и xlsx-файлов в Python также есть функции загрузки в скрипт (например, в Pandas-датафрейм) и заливки в аналитическое хранилище.
Примеры: Google Sheets, Яндекс Таблицы, файлы Excel, файлы csv.
Приветствую, любители аналитики!
Сегодня поговорим о том, с какими данными и из каких источников приходится работать дата-аналитику.
Чем крупнее компания, тем больше у неё данных. Конечно, дело не только в величине, но и в «цифровой зрелости» — готовности компании собирать и использовать данные.
Чем выше интерес руководства к управлению на основе данных, тем больше оно стремится собрать их из разных источников.
Что же за источники обычно используют компании, для каких целей и как они интегрируются в конвейер данных?
Вот несколько самых "популярных":
1️⃣ CRM-системы
Что это: инструменты сбора, обработки и отображения информации о клиентах и взаимодействии с ними.
Метод сбора данных: чаще всего веб-интерфейс и свой API, через который можно отправить запрос в систему и получить ответ. Большие CRM могут дорабатываться под особенности бизнеса, также может допиливаться и API.
Данные
➖ Контакты и прочие данные клиентов;
➖ Данные о сделках, взаимодействиях и прочих процессах работы с клиентами;
➖ Новые лиды;
➖ Данные о сотрудниках, работающих с клиентами;
➖ Источники лидов;
➖ Другие сведения, которые стекаются в CRM.
Примеры: Битрикс24, amoCRM, Мегаплан.
2️⃣ Cистемы веб-аналитики
Что это: комплекс инструментов для сбора, измерения, анализа и интерпретации данных о посетителях веб-ресурсов.
Метод сбора данных: использование API, но не все системы отдают всё полностью.
Например, Google Analytics 4 не отдаёт полные сырые данные о хитах по API. Эта опция доступна только при прямой интеграции с Google BigQuery, остальным придётся довольствоваться лишь агрегированными данными.
Другой вариант — своими силами собирать нужные события, но это, скорее всего, потребует ресурсов разработчика.
Данные
➖ Хиты (события, просмотры страниц);
➖ Визиты/сессии (источники трафика, длительность, данные о приложении-клиенте пользователя и т. д.).
Примеры: Google Analytics, Яндекс Метрика, Amplitude.
3️⃣ Базы данных бизнес-приложений
Что это: практически любые цифровые продукты и сервисы имеют свою базу данных, а то и десятки для нормального функционирования.
Данные
Всё, что генерирует и хранит приложение:
— Учётные записи пользователей, их финансовые транзакции и баланс;
— Перечни услуг, тарифов, расписания событий и т. д.;
— Статусы заказов юзеров, состояние их работы с сервисом — например, подключенные аккаунты в системах автоматизации рекламы.
Метод сбора
Данные из «своих» СУБД собираются через стандартные методы подключения, например, из Python-скриптов (например, библиотека psycopg2 для работы с PostgreSQL) или же с помощью специализированных инструментов (например, оператор PostgresOperator для Airflow).
Примеры: PostgreSQL, MySQL, Microsoft SQL Server, Oracle Database.
4️⃣ Электронные таблицы
Что это: простое решение для внесения в аналитическое хранилище данных с ручного ввода либо из источников, сбор из которых не поддаётся недорогой автоматизации.
Данные: любые табличные данные.
Метод сбора: популярные облачные решения имеют свои API и Python-библиотеки. Для csv и xlsx-файлов в Python также есть функции загрузки в скрипт (например, в Pandas-датафрейм) и заливки в аналитическое хранилище.
Примеры: Google Sheets, Яндекс Таблицы, файлы Excel, файлы csv.
И напоминаю, что я нынче ментор курса "Аналитик данных" (кстати, неплохо сделанного, на мой взгляд).
Так что кто хочет прокачаться как следует в этой теме, а также потерзать меня вопросами о том, как реально работает аналитика в компаниях, вот вам ссылочка: вписывайтесь, сегодня последний день скидки 15%!
Telegram
Тимлидское об аналитике
Привет! На связи Павел Беляев — автор канала Тимлидское об аналитике и ментор курса «Аналитик данных» 👋
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель…
Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.
Ценность аналитики заключается в том, что представитель…
👍6❤1
Об отдыхе
Приветствую, любители аналитики!
Суббота - отличное времечко (особенно утро), когда стоит посвятить время самоанализу, планированию, медитации, - короче, остановиться и подумать. Так сказать, обработать все данные, напряжения, неурядицы, что поступали в течение недели.
А это капец как необходимо! Не вздумайте недооценивать важность такого перерыва!
Знаете, давеча я ехал на поезде 6 часов днём, практически без интернета, так затеял поспать. Забился на верхнюю полку и около часа просто лежал и переживал свои тревоги, только после этого заснул. Проснулся пободревшим, даже что-то писать взялся. Короче, продуктивно провел время.
А когда ехал в обратную сторону - приказал себе: ничего не делай все 6 часов! Вообще ничего!
Ну, прям 6 часов бездельничать не осилил, но часа 4 - пожалуй.
И знаете что? Это дало потрясающий эффект на следующий день! Я ощутил драйв на работе, вгрызся в задачи, а после работы - в другую работу, потом помог сыну с домашкой, сходил в магаз, еще по дому суетил что-то...
И когда уже поздно вечером пора было спать, я ощутил не привычную разбитость и усталость, а чувство удовлетворения и насыщения впечатлениями.
Как оказалось (кто бы мог подумать!), кто плохо отдыхает, тот плохо работает!
Это не новость, конечно))
А вот инсайт помощней: "смена деятельности", то есть замена одной работы на другую - это нифига не отдых. Отдых - это когда работы вообще нет!
И ещё - если развлекуха (например, компьютерные игры) вызывает у вас чувство вины за сожженное время, то это тоже не отдых. (Про мем "отдых с детьми" я вообще молчу))
Отдых должен быть бескомпромиссным, вседовлеющим, неотвратимым!!
Да, если вы не умеете отдыхать (я вот не умею), вам придется себя заставить. Сильно помогут определённые условия:
* ваша недоступность для окружающего мира (никто точно не придет, не позвонит, не напишет)
* отсутствие условий для работы (ни интернета, ни компа, ни стола...)
* продолжительное время (не менее нескольких часов)
* достаточный комфорт для безделья (мягкая лежаночка, бумажная книжка, чаёк и т.д.)
* невозможность прервать период отдыха до его завершения
Вот почему я люблю дальние поездки на поезде в одиночку)
Уф, хотел написать про тайм-менеджмент, но оказалось, есть темка поважней))
Приветствую, любители аналитики!
Суббота - отличное времечко (особенно утро), когда стоит посвятить время самоанализу, планированию, медитации, - короче, остановиться и подумать. Так сказать, обработать все данные, напряжения, неурядицы, что поступали в течение недели.
А это капец как необходимо! Не вздумайте недооценивать важность такого перерыва!
Знаете, давеча я ехал на поезде 6 часов днём, практически без интернета, так затеял поспать. Забился на верхнюю полку и около часа просто лежал и переживал свои тревоги, только после этого заснул. Проснулся пободревшим, даже что-то писать взялся. Короче, продуктивно провел время.
А когда ехал в обратную сторону - приказал себе: ничего не делай все 6 часов! Вообще ничего!
Просто лежи и убивай время, тебя ничто не касается, в течение этих 6 часов ты никому ничего не должен, а что будет дальше - сейчас не твоя забота.
Ну, прям 6 часов бездельничать не осилил, но часа 4 - пожалуй.
И знаете что? Это дало потрясающий эффект на следующий день! Я ощутил драйв на работе, вгрызся в задачи, а после работы - в другую работу, потом помог сыну с домашкой, сходил в магаз, еще по дому суетил что-то...
И когда уже поздно вечером пора было спать, я ощутил не привычную разбитость и усталость, а чувство удовлетворения и насыщения впечатлениями.
Как оказалось (кто бы мог подумать!), кто плохо отдыхает, тот плохо работает!
Это не новость, конечно))
А вот инсайт помощней: "смена деятельности", то есть замена одной работы на другую - это нифига не отдых. Отдых - это когда работы вообще нет!
И ещё - если развлекуха (например, компьютерные игры) вызывает у вас чувство вины за сожженное время, то это тоже не отдых. (Про мем "отдых с детьми" я вообще молчу))
Отдых должен быть бескомпромиссным, вседовлеющим, неотвратимым!!
Да, если вы не умеете отдыхать (я вот не умею), вам придется себя заставить. Сильно помогут определённые условия:
* ваша недоступность для окружающего мира (никто точно не придет, не позвонит, не напишет)
* отсутствие условий для работы (ни интернета, ни компа, ни стола...)
* продолжительное время (не менее нескольких часов)
* достаточный комфорт для безделья (мягкая лежаночка, бумажная книжка, чаёк и т.д.)
* невозможность прервать период отдыха до его завершения
Вот почему я люблю дальние поездки на поезде в одиночку)
Уф, хотел написать про тайм-менеджмент, но оказалось, есть темка поважней))
🔥24❤2👍2🤝1