Коллеги, завтра буду рассказывать о чертовски важной штуке - о Качестве данных.
Приходите на вебинар, регайтесь!
И готовьте вопросы, вдруг смогу ответить!
24 июня в 18.30

Энергетический дневник 2

Приветствую любителей аналитики!

Недавно я описывал чертовски полезный способ самоанализа - энергетический дневник.
Мы договорились фиксировать время, а также уровень физической и умственной энергии.

Эти метрики можно дополнить флагами, показывающими наличие у вас в данном временном слоте:
* Интернета (И)
* Стола (П)
* Непрерывности времени, когда точно никто не отвлечёт (Т)
* Компьютера (К)
* любых других инструментов и условий, необходимых вам для работы по своим делам (например - Вдохновение. Почему бы нет?).

Обогащенный дневник может выглядеть как-то так.

Эти данные пригодятся вам при анализе своих возможностей.
Ведь для разных видов работ нужны соответствующие условия, а не только лишь время (которое, худо-бедно, имеют ввиду все) или энергия (о которой большинство слышали, хотя в расчет мало кто принимает).

Например, если вы бодры и свежи, у вас час времени, но отсутствует интернет, вам не удастся собрать из него какие-то сведения для проекта.

Или, если у вас с собой ноут, вы едете из Рыбацкого на Беговую в метро, где есть и вай-фай и сиденье, да еще и не дозвонится до вас никто, то у вас есть почти час для полноценной работы. Кайф! (Лично я обожаю работать в метро, я даже написал так книгу)

Наконец, можно добавить опциональный столбец с комментарием, где словесно кратко описывать свое состояние, поясняющее значения метрик.
Например:
У:2 Ф:3 Комментарий: выспался
У:1 Ф:1 Комментарий: болел после вчерашней пьянки...

Такие комменты помогут разобраться, что именно повышает, а что снижает вашу энергию и попытаться эти факторы усилить или избегать соответственно.

Проверка нужности витрины данных

Приветствую, любители аналитики!

Сегодня повествую о последнем шаге Жизненного цикла витрин данных, который часто незаслуженно забывается.

Витрины рождаются, приносят пользу, а затем перестают приносить пользу, после чего должны быть похоронены выведены из эксплуатации.

Почему? Так ведь поддержка витрины требует времени и нервов дата-специалистов.
Вам интересно заниматься делами, которые никому не нужны? А компании интересно за это вам платить?

Поэтому все витрины следует постоянно проверять на предмет их полезности для общества. Их смотрят? Их данные приносят пользу, отражают актуальные аспекты ситуации или процессов? Они ещё нужны?

Вручную такой мониторинг весьма заморочно осуществлять. Опросы конечных пользователей отвлекают их от работы, занимают время аналитика и, к тому же, дают не очень-то надежную информацию. Пользователи не фиксируют, когда в последний раз глядели конкретный отчет, а некоторые отчеты, которые им вообще не нужны, они хотят оставить "на всякий случай" (который, скорее всего, и не наступит).

В общем, лучше процесс автоматизировать. Лично я - вообще приверженец "агрессивной" автоматизации, ибо мы создали машины, чтобы они работали на нас, а не наоборот.

Для этого в большинстве СУБД есть лог запросов. Проверяем его и видим, к каким витринам когда в последний раз обращались.

Читайте мою статейку, где я описываю, как это сделано у нас. Там и код запроса есть.

Коллеги, заглядывайте. Кое-что расскажу о нашей дата-аналитической работе

⚡️ Открытый эфир: рабочий день дата-аналитика в Яндекс eLama

Приветствуем, любители аналитики! 

Мы вновь попросили Пашу Беляева провести для вас полезный открытый стрим, а Паша, в свою очередь, предложил очень интересную тему — заглянуть в закулисье Data Office Яндекс eLama и узнать, как на самом деле выглядит рабочий день дата-аналитика!

Что обсудим:

🔸 Data Office eLama изнутри: как устроена команда, какие задачи решает Data Office и почему именно сюда обращаются все, кто работает с данными — от маркетинга до продукта.
🔸 Задачи дата-аналитика: поддержка витрин данных, настройка веб-аналитики, сервисы "самоаналитики" для самостоятельных выгрузок, прогнозирование, консультации по данным.
🔸 Технологии и процессы: разберём, какой стек используют аналитики, как проходят планёрки, спринты и дежурства, и как строится работа над квартальными целями.
🔸 Реальные кейсы: услышите примеры задач, с которыми сталкиваются аналитики eLama — из первых рук!

Когда: 15 июля в 18:30 по МСК  
Спикер: Павел Беляев, руководитель группы дата-аналитиков Яндекс eLama и автор телеграм-канала «Тимлидское об аналитике»

Не упустите шанс узнать, как работают с большими данными в Яндекс eLama, задать вопросы эксперту и вдохновиться на развитие в аналитике! 

Регистрация на эфир не нужна — ссылку на трансляцию мы пришлем 15 июля за 1 час до эфира. Следите за обновлениями!

Извянки, любители аналитики, что не пощщу ничего уж пару недель. У меня случилось два переезда, но теперь этот "кризис" позади.

А пока вызревает новый пост, вот вам полезненькое. Пачка каналов сотрудников Яндекса об их работе и о карьере.

Народ у нас тут профессиональный и активный, поэтому наверняка найдётся что здесь почитать.

Заходите https://news.1rj.ru/str/addlist/gioPBbD38dYxYWQy

Немного важной аналитики
Гистограмма распределения выборки по категориальным признакам

Энергетический дневник - 3

Приветствую, любители аналитики!

В прошлых постах я описывал мой способ подсчитать свою реальную "энергоёмкость". Раз и два.
Напомню коротко:

каждый день фиксируем свое состояние в каждом из временных слотов по двум параметрам - физическая энергия и умственная энергия, а также приблизительную длительность слота.

Вот такая табличка получается.

Недели через четыре такого учета можно подводить итог. Давайте взглянем, что же получилось и какие выводы о своих ресурсах мы можем сделать.

Итак, мы выписываем на отдельном листе все комбинации уровней умственной и физической энергии, а рядом с каждой - сумму времени, вот так. Это итог за неделю, но лучше понаблюдать за собой 4-6 недель для более гладкого усреднения.

Что же мы теперь имеем о себе сказать?

1) Нерабочего времени у нас примерно 40 часов в неделю. Это не включая: ночной сон, жор, гигиеническое; но включая: отдых, тупняк, часть дороги куда-либо, походы в магазин, время с семьей ит.д.
2) Основная масса на среднем состоянии - У2Ф2, "хвосты" редки.
3) Состояния высокой умственной энергии при низкой физической (У3Ф1) - почти не бывает. Выходит, креативить или думать когда физически устал - невозможно.
4) Верно и обратное - не бывает физического бодрячка при абсолютно мутных мозгах (У1Ф3). Эти наблюдения доказывают нам тесную взаимосвязь физической и умственной энергетики, что само по себе подталкивает нас к соответствующим шагам в саморазвитии.
5) Если анализировать доп.параметры, можно увидеть, сколько реально времени у вас для работы на компьютере, сколько можно выделить на задачи, требующие длительной концентрации и т.д.
6) Выйдет, что ваши 40 часов - это далеко не 40 полноценных часов, какой бы тайм-менеджмент вы ни применяли. И это обязательно следует учитывать при планировании.

Вот и ответы на вопросы - почему я нифига не успеваю?!

А дальше покажу как встроить свой "энергетический профиль" в свою деятельность и спокойненько перемалывать дела, оставаясь удовлетворённым (и даже гордым!) собой.

Качество данных

Приветствую, любители аналитики!

Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.

Меж тем, конечные пользователи предпочитают надёжность данных разнообразию данных. Лучше быть уверенным в центральных метриках, чем иметь огромный зоопарк данных, которым не можешь доверять.

Как-то я проводил вебинар на эту тему, но хочу вновь к ней вернуться и подраскрыть в более спокойном формате. Сначала немножко определений.

Качество данных (КД) определим как степень соответствия данных требованиям для их использования.

Требования к качеству данных — желаемые значения метрик качества данных.

Метрики качества данных — показатели, отражающие различные аспекты истинности данных.

Пойдем с конца, то есть с метрик (или измерений) КД. Нет единой универсальной классификации метрик, но, в принципе, они все интуитивно понятны. Приведем несколько наиболее популярных.

Актуальность — соблюдены ли графики обновления, получения данных?

Допустимость — соответствие значений областям или множествам допустимых значений (наборы справочных значений или интервалы).

Полнота — все ли требующиеся данные присутствуют? Все строки доехали? Все требуемые столбцы заполнены?

Консистентность (непротиворечивость) — согласованность данных между собой. Например, дата активации пользователя не может быть до даты регистрации.

Соответствие (точность, истинность) — степень близости данных к «реальности». Измерить ее бывает крайне трудно, можно судить лишь по собранным данным в источнике.

Прилагаю также табличку из DAMA DMBOK - попытку перечислить все метрики КД и их взаимосвязь.

В следующих постах расскажу, как измерять качество данных и как организовать его мониторинг.

Яндекс опубликовал в своём канале мою тему о цикле жизни витрин данных, которую мы с вами разбирали в течение нескольких постов. Ну эту вот: https://news.1rj.ru/str/teamlytics/24

Энергетический дневник - заключение

Приветствую, любители аналитики!

Давайте уже закроем гештальт с темой которую мы разбирали несколько постов:
Часть 1 - Делим день на временные слоты, а свою энергию на 2 вида (физическая, умственная) и 3 уровня, фиксируем значения ежедневно
Часть 2 - Обогащаем наблюдения спец.условиями и комментариями
Часть 3 - Подсчитываем сумму времени по каждому состоянию энергии и делаем выводы

К текущему моменту у нас есть понимание, как распределено наше "свободное" время по уровням физической и умственной энергии.
Осталось составить список дел и направлений, которые можно выполнять в каждом из уровней энергии.

Например, вот такой.

Для первых разов можно сначала составить список без привязки к уровням, а затем пройтись по каждому делу, прислушаться к своему сердцу (можно выбрать другой орган) и прикинуть, какая энергетика вам нужна для его исполнения.

Далее назначаем каждому делу минимальное необходимое сочетание уровней. Например, при У3Ф3 вы можете заниматься любым делом из списка, но разумнее всего тратить время в этом редком состоянии на самые энергозатратные дела.

Этот список нужно распечатать и повесить на видном месте. Он будет напоминать во время тупняка, о том что:
* возможно, вы пытаетесь заниматься делом, которое не тянете в текущем уровне
* прямо сейчас следует оценить свой текущий уровень умственной и физической энергии
* и выбрать дело из списка, которое лучше ему соответствует.

Список дел можно и нужно периодически обновлять, добавляя новые дела, удаляя не актуальные/выполненные, а также уточняя уровни.

Приветик, любители аналитики!
Заходите завтра ко мне на вебинарчик, поразбираемся в SQL, послушаете как я звучу, да можно будет и вопросики позадавать в реальном времени.