Извянки, любители аналитики, что не пощщу ничего уж пару недель. У меня случилось два переезда, но теперь этот "кризис" позади.

А пока вызревает новый пост, вот вам полезненькое. Пачка каналов сотрудников Яндекса об их работе и о карьере.

Народ у нас тут профессиональный и активный, поэтому наверняка найдётся что здесь почитать.

Заходите https://news.1rj.ru/str/addlist/gioPBbD38dYxYWQy

Немного важной аналитики
Гистограмма распределения выборки по категориальным признакам

Энергетический дневник - 3

Приветствую, любители аналитики!

В прошлых постах я описывал мой способ подсчитать свою реальную "энергоёмкость". Раз и два.
Напомню коротко:

каждый день фиксируем свое состояние в каждом из временных слотов по двум параметрам - физическая энергия и умственная энергия, а также приблизительную длительность слота.

Вот такая табличка получается.

Недели через четыре такого учета можно подводить итог. Давайте взглянем, что же получилось и какие выводы о своих ресурсах мы можем сделать.

Итак, мы выписываем на отдельном листе все комбинации уровней умственной и физической энергии, а рядом с каждой - сумму времени, вот так. Это итог за неделю, но лучше понаблюдать за собой 4-6 недель для более гладкого усреднения.

Что же мы теперь имеем о себе сказать?

1) Нерабочего времени у нас примерно 40 часов в неделю. Это не включая: ночной сон, жор, гигиеническое; но включая: отдых, тупняк, часть дороги куда-либо, походы в магазин, время с семьей ит.д.
2) Основная масса на среднем состоянии - У2Ф2, "хвосты" редки.
3) Состояния высокой умственной энергии при низкой физической (У3Ф1) - почти не бывает. Выходит, креативить или думать когда физически устал - невозможно.
4) Верно и обратное - не бывает физического бодрячка при абсолютно мутных мозгах (У1Ф3). Эти наблюдения доказывают нам тесную взаимосвязь физической и умственной энергетики, что само по себе подталкивает нас к соответствующим шагам в саморазвитии.
5) Если анализировать доп.параметры, можно увидеть, сколько реально времени у вас для работы на компьютере, сколько можно выделить на задачи, требующие длительной концентрации и т.д.
6) Выйдет, что ваши 40 часов - это далеко не 40 полноценных часов, какой бы тайм-менеджмент вы ни применяли. И это обязательно следует учитывать при планировании.

Вот и ответы на вопросы - почему я нифига не успеваю?!

А дальше покажу как встроить свой "энергетический профиль" в свою деятельность и спокойненько перемалывать дела, оставаясь удовлетворённым (и даже гордым!) собой.

Качество данных

Приветствую, любители аналитики!

Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.

Меж тем, конечные пользователи предпочитают надёжность данных разнообразию данных. Лучше быть уверенным в центральных метриках, чем иметь огромный зоопарк данных, которым не можешь доверять.

Как-то я проводил вебинар на эту тему, но хочу вновь к ней вернуться и подраскрыть в более спокойном формате. Сначала немножко определений.

Качество данных (КД) определим как степень соответствия данных требованиям для их использования.

Требования к качеству данных — желаемые значения метрик качества данных.

Метрики качества данных — показатели, отражающие различные аспекты истинности данных.

Пойдем с конца, то есть с метрик (или измерений) КД. Нет единой универсальной классификации метрик, но, в принципе, они все интуитивно понятны. Приведем несколько наиболее популярных.

Актуальность — соблюдены ли графики обновления, получения данных?

Допустимость — соответствие значений областям или множествам допустимых значений (наборы справочных значений или интервалы).

Полнота — все ли требующиеся данные присутствуют? Все строки доехали? Все требуемые столбцы заполнены?

Консистентность (непротиворечивость) — согласованность данных между собой. Например, дата активации пользователя не может быть до даты регистрации.

Соответствие (точность, истинность) — степень близости данных к «реальности». Измерить ее бывает крайне трудно, можно судить лишь по собранным данным в источнике.

Прилагаю также табличку из DAMA DMBOK - попытку перечислить все метрики КД и их взаимосвязь.

В следующих постах расскажу, как измерять качество данных и как организовать его мониторинг.

Яндекс опубликовал в своём канале мою тему о цикле жизни витрин данных, которую мы с вами разбирали в течение нескольких постов. Ну эту вот: https://news.1rj.ru/str/teamlytics/24

Энергетический дневник - заключение

Приветствую, любители аналитики!

Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы

К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.

Например, вот такой.

Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.

Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.

Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.

Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.

Приветик, любители аналитики!
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.

Качество данных 2

Приветствую, любители аналитики!
Мы разобрались с тем, что такое качество данных и какие бывают метрики для его измерения.

Далее необходимо организовать регулярный автоматический мониторинг качества данных.
То есть, проверку соответствия метрик желаемым значениям.

Например, мы хотим, чтобы данные были как можно более полными. В идеале, чтобы к нам в аналитическое хранилище добралось 100% данных из источника. Но это не всегда возможно. Скажем, данные систем веб-аналитики добираются до нас с каким-то процентом потерь (банально у кого-то стоит на сайте блокировщик Google Analytics).

Короче, аналитики и их заказчики собираются и решают, какой процент потерь допустим, т.е. какое качество считать приемлемым.

Далее можно сравнить количество доехавших данных (т.е. кол-во строк) с предыдущими объемами. Сегодня пришло 1423 строки, а вчера было 1411, а позавчера 1478. Изучив данные за ощутимый период, мы можем выяснить диапазон, в который должно укладываться это самое число строк.
Если оно выходит за пределы диапазона - выдаем предупреждение. Ну, а если пришло ноль строк - это инцидент!

Неконсистентность, то есть, нелогичность данных проверяется по-другому: тут нужно задать конкретные правила консистентности и проверять их. Например, дата активации пользователя в вашем приложении не может быть раньше даты его регистрации.

О том, как мы организовали автоматический мониторинг качества данных, читайте в моей статье.

В общем на меня тут насели, настойчиво порекомендовали выложить пару отзывов о прошедшем позавчера вебинаре.
Там и вправду было живенько, рекомендую на такое ходить таки.

Приветствую любителей аналитики!

Ну что, наш с вами канальчик достиг 1000 подписчиков! Молодцы мы, а? Особое спасибо активным участникам - кто коментит и задает вопросы.

Давайте вспомним, что же было интересного в Тимлидском за последнее время.

Прошлые вспоминалки
Дайджест №1
Дайджест №2
Дайджест №3
Дайджест №4

Аналитика для бизнеса
Отключение ненужных витрин - автоматический отлов и отключение витрин, которые больше не используются
Качество данных - что это такое и какими метриками его мерять
Качество данных 2 - как организован автоматический мониторинг в eLama

Аналитика для жизни
Энергетический дневник 2 - фиксируем условия, в которых нам выпала свободная минутка
Энергетический дневник 3 - подводим итоги: сколько ресурсов (энергия, время) у нас в наличии
Энергетический дневник 4 - дела по уровням энергии: что в каком состоянии мы способны делать

Оставайтесь в Тимлидском, будет ещё много интересных тем!