🔍 Data Дзен — ваш проводник в мир аналитики! Здесь данные становятся решениями, а рутина — вызовом к автоматизации.

Приветствую, друзья! 👋

Я — Олег Дмитриев, и последние 5+ лет я копаюсь в цифрах, чтобы помочь B2B и B2G компаниям извлекать выгоду из данных. Однажды обработал 15 терабайт данных для отчётности, и даже почти не вспотел 😉

Знаете, как бывает: заказчик говорит:
“Олег, нам нужен отчёт!”, а ты открываешь базу данных и видишь… кхм… широкое поле для творчества, скажем так.

Так вот, я превращаю этот “цифровой хаос” в удобные отчёты, которые приносят реальные результаты. И да, я считаю, что аналитика – это не только полезно, но и весело! (Иногда даже очень).

Что вы найдёте на этом канале:

✅ Секреты интегратора (или “Как постоянно учиться и не сгореть на еженедельной основе”):

* Как находить ответы там, где другие видят только “ошибку 404”. Мой опыт работы с проектами от стартапов до корпораций показывает: данные хотят, чтобы их поняли!

* Я не просто аналитик, я ещё и “учитель дзен” для специалистов по данным. 30+ обученных мной аналитиков подтвердят: даже SQL-запросы могут приносить удовольствие! (Главное – правильный подход и хороший кофе).

* А ещё я побывал в разных “шкурах” и на разных сторонах баррикад! Проходил стадии проектов от “отрицания и гнева” (когда понимаешь, во что ввязался) до “радостного и успешного закрытия” (когда хочется выпить за победу!).

Я верю, что для успеха нужно копать глубоко! Не всегда проблема в “данных”, иногда нужно поработать с людьми, инфраструктурой и даже разбить пару чашек кофе (шутка, хотя…). Но я всегда выкладываюсь на 120%, чтобы полученный результат не только решил проблему, но и радовал меня.

* Кейсы из моей практики. Расскажу о реальных задачах и решениях.
* Инструменты: Дашборды, BI-системы, Python… Расскажу, как использовать их на полную катушку (и не сойти с ума в процессе).
* Юмор: Потому что без него даже самые интересные данные превращаются в унылую таблицу Excel.

Почему стоит подписаться?

Здесь нет “аналитики ради аналитики”. Только реальные истории, полезные советы и вдохновение, которые помогут вам увидеть в данных не просто цифры, а источник роста и успеха. Присоединяйтесь! 😉

Для навигации буду использовать теги:
#типичный_диалог - выжимки из диалога с любимыми заказчиками;
#саморазвитие - техногайды, объяснения реализаций;
#статьи - мои публикации статей на VC/ Habr.
#история - истории из практики и моей жизни;
#мнение - из названия понятно)
#да_поможет_мне_ux - разбор реальных примеров как не надо визуализировать, и пояснение к улучшению ситуации.
#смех_да_и_только - любимые мемы.
#склад_скриптов - часто при автоматизации быстрой задачи, делаю скрипт на Python, буду делиться в этом хештеге.
#вебинар - тут все анонсы и записи вебинаров со мной.

🔍 Миф о чистых данных: Когда отчетность важнее пациентов
Работал с одной больницей… Местный IT-отдел уверял: “У нас данные как в военном госпитале — идеальный порядок!” 😅

Администрация: “Всё по ФЗ-152 и приказу Минздрава №173н!” 🏥
Я: открываю базу и вижу:

Диагнозы: 70% записей — код J06.9 (ОРВИ неуточненное), включая гастриты и гипертонию. Видимо, работал узкий специалист по ОРВИ.
Лаборатория: Даты исследований сброшены на 01.01.1970 (Unix-эпоха живёт в регистратуре).
Кадры: Хирург работает в 3 отделениях, но в табеле у него 8-часовой день. Видимо, освоил телепортацию.

Почему госбольницы — чемпионы по “творчеству” в данных?

1️⃣ “У нас всё на бумаге!” → Электронные дубли карт есть только у 10% пациентов.
Остальные — в архиве, и так и норовят потеряться.
2️⃣ “Минздрав требует!” → Осложнения после операций — 0,5% (реальные цифры записываем на стикерах и прячем в сейф).
3️⃣ “Сотрудники опытные!” → В графе “Группа крови” — варианты: 1, 2, 3, 4 и “не брали”, на нет и суда нет.

По итогу получаем отчеты с показателями, один другого лучше.
А то, что часть данных не попала в отчет, видимо эту часть постигла участь бумажный карточек пациентов.

#история

😱 Данные врут! Что делать? Путешествие в мир Data-инсайтов (5 шагов к правде!)

Представьте: вы готовите самый важный отчет в своей карьере… А данные врут! Пропуски, дубликаты, аномалии… Кажется, что все против вас!

Не отчаивайтесь! Аналитика данных - это не просто работа, это настоящее приключение! И у каждого путешественника есть свой маршрут.

1. Диагностика:
“Что болит, доктор?”
Знаете, как бывает? Клиент говорит: “У нас идеальные данные!”. А ты открываешь и видишь… Чего там только нет! Пропуски, дубликаты, аномалии… Это как искать иголку в стоге сена, но иголка - это еще и магнит, который притягивает весь мусор!

Искать “иголку” – настоящее искусство!
Однажды в CRM произошел сбой, и ID менеджеров начали записываться с ошибкой. В итоге, все продажи Арсения приписали какому-то роботу! Арсений был в ярости: “Я месяц пахал, а теперь останусь без премии?!”. Пришлось подключать тяжелую артиллерию в виде SQL-запросов и спасать ситуацию.

Что искать (и как это выглядит на практике)?:
* Пропуски: Например, нет номера телефона клиента. Как узнать, кому звонить?

* Дубликаты: Один и тот же заказ продублирован в системе. Как понять, какой верный?

* Аномалии: Сумма заказа - 1 млн. рублей. Это ошибка или действительно кто-то купил все товары разом?

* Очепятки Опечатки: Вместо “ул. Ленина” написано “ул. Лениина”. Как построить отчёт по улицам?

* Несоответствие форматов: Дата в формате “ДД.ММ.ГГГГ” вместо “ГГГГ-ММ-ДД”. Как правильно отсортировать по дате?

Инструменты: Excel, SQL, Python (Pandas), BI-системы. (Но главное - ваша смекалка!)

___

2. Чистка данных: “Генеральная уборка”: Выкидываем весь мусор, исправляем ошибки, приводим данные в порядок. Без этого не взлетит ни одна модель!

3. Обогащение данных: “Добавляем контекст”: Соединяем разрозненные кусочки информации в единую картину. Например, объединяем данные о продажах с данными о маркетинговых кампаниях.

4. Агрегация данных: “Собираем пазл”: Суммируем, группируем, вычисляем ключевые показатели. Превращаем разрозненные данные в понятные и полезные инсайты.

5. Проверка качества: “Доверяй, но проверяй”: Убеждаемся, что результаты достоверны и не содержат ошибок. Помните: мусор на входе = мусор на выходе!

Каждый этап важен. Пропустишь один – и результат будет далёк от идеала.

В следующих постах я подробно разберу каждый из этих этапов и поделюсь подходами решениями.

#саморазвитие

😱 CRM кричит SOS! Данные пропали? Миссия (почти) выполнима!

Усложним задачу: открываете CRM, а там… пустота! Только дата создания карточки, имя менеджера и безнадежный статус.
Это даже не поле данных, а настоящая черная дыра!

Что делать? Звать шамана данных?
Без магии тут не обойтись… хотя постойте, это же просто математика! В этом посте я расскажу, как мы вытащили данные из небытия и спасли отдел продаж от нервного срыва (и, возможно, увольнения).

Шаг 1: Ищем улики в логах (как Шерлок Холмс, но с SQL)

Итак, что у нас есть? Только время создания карточки, имя менеджера и статус. Не густо. Но мы же не сдаемся!

Задача: Найти связь между созданием карточки и фактической записью пациента (или клиента, если мы не в медицинской сфере).
Решение: Залезаем в логи системы (да, туда, где обычно сидят админы и пьют чай). Ищем записи, соответствующие:
*Менеджеру, который создал карточку.
* Временному диапазону: время создания карточки + среднее время, которое менеджер тратит на запись.

💡 Лайфхак: Как узнать среднее время? Легко! Смотрим историю записей каждого менеджера.

Шаг 2: Учитываем особенности менеджеров (Петров vs. Скворцова)

Тут важно не свалиться в “среднюю температуру по больнице”. Петров Алексей, любитель неспешного чая и душевных разговоров, тратит на запись 15 минут. Скворцова Юлия, быстрая как пулемет, – всего 7!
Сравнивать их – как ставить болид против телеги.

Поэтому:

Считаем среднее время записи для каждого менеджера отдельно.
Используем этот показатель для определения временного диапазона поиска в логах.
Результат: После пары часов шаманства с SQL-запросами мы восстановили большую часть данных за 2 недели! Отдел продаж ликует, CRM снова сияет чистотой. Мы – герои!

Шаг 3: Не даем проблеме вернуться (профилактика лучше лечения!)

Но "починить" данные – это полдела. Важно, чтобы эта вакханалия больше не повторилась. Поэтому:

* Делаем поля обязательными для заполнения. (Да, это банально, но работает!).
* Вводим систему уведомлений: Если менеджер забыл заполнить важные поля – ему приходит грозное письмо/SMS/звонок от начальника (выбрать по вкусу).
* Автоматизируем поиск данных в логах: Создаем скрипт, который делает всю грязную работу за нас.

Итог: Данные спасены, CRM в порядке, отдел продаж доволен. А вы? Вы – герой нашего времени!

#саморазвитие

Как я попал в IT: история о том, как скучная работа может привести к успеху (и как я чуть не стал завхозом😂)

Шел 2019 год.
Я работал в ТП охранной компании и выполнял разговорные - скрипты технической поддержки. Шаг влево, шаг вправо - расстрел штрафом от отдела качества!

Работа была настолько скучной, что я всерьез думал о том, чтобы найти себе какое-нибудь более творческое занятие. Например, стать… тату-мастером ( им я кстати тоже работал ) ?

Почему я чуть не стал “технологом” (в плохом смысле этого слова):

Руководство игнорировало мои предложения по оптимизации, предпочитая плодить никому не нужные регламенты.
График был ненормированным, а выходные превращались в дни принудительного труда. (Если отказывался - штраф за прогул! Да-да, именно так!).
Но я не сдавался!

В свободное время я копался в компьютере, создавал сайты на WordPress и искал ответы на свои вопросы в интернете. Любил это ощущение, когда сам находил решение проблемы!

И вот однажды…

Судьбоносный HH.ru:

Я решил попытать счастья на HH.ru и поискать, где бы я мог применить свои навыки. И о чудо! В том же здании компания, занимающаяся заказной разработкой сайтов, искала верстальщика HTML/CSS за х2 от моей ставки! (Заманчиво, черт возьми!)

Провал, который многому научил:

Я прошел собеседование, но завалил техническую часть. Слабое портфолио дало о себе знать. Предложили нарастить опыта и вернуться. Обидно, но ошибки – наши учителя!

Covid-19 и неожиданный поворот:

До февраля 2020 года я активно пополнял свое портфолио. Но тут случился Covid-19, компании перешли на удаленку, а HH.ru просел по вакансиям. Я не питал особых иллюзий, что в такой период смогу найти что-то интересное.

И вот в марте меня зовут на собеседование в IT-компанию. На должность… “Технолога”! Я было подумал, что это как-то связано с Завхозом (снова?). Оказалось, это была должность системного аналитика, с таким вот названием.

Новый мир, новый язык:

Такого опыта у меня еще не было, но компания набирала стажеров с обучением. Решил: “Эх, была не была, надо пробовать!”. Как начал погружаться в основы работы, вообще не понимал, на каком языке говорят эти люди! Почему так много функционала исполняет один человек? Что это за такие сущности в системе? (Мистика одним словом!).

Пол года стажировки в эпоху Covid-19:

Проектов было все меньше и меньше. Я уже думал уходить, так как выйти на полную ставку не было возможности. Но в ноябре 2020 года мне предложили перейти на проект по сопровождению и развитию системы планирования доходов региона.

Погружение на глубину:

И начался новый трек, и все по кругу. Огромная махина, ничего не понятно. Как переварить столько информации? Примерно за полгода я полностью влился в процессы и полноценно мог исполнять свои обязанности. За что огромное спасибо моему наставнику, кто прошел со мной весь этот путь!

5 лет спустя:

И вот уже 5 лет я неустанно тружусь и улучшаю систему. Выстраиваю гипотезы, довожу автоматизации до совершенства.

Что дальше?

В следующей истории поделюсь, как же в моем пути появилась ветка с отдельным направлением по построению BI-системы. Скажу сразу, было больно, но именно это дало мне нереальный буст моих навыков, как soft, так и hard.

#история

Страх, обман и ненависть в Лас - Вегасе IT.

Слышали такую фразу, как "Договорился и передоговорился."
В первые я с ней столкнулся на одном из первых проектов, обсудили, что делаем:
- демонстрационную панель на основе данных в excel;

Ну окей, посчитали деньги/ сроки, и как говориться "Поехали".

А потом родилось 300% требований, за те же сроки и суммы.
И тогда были мысли сказать:
- "А не пошли бы вы сударь на ..... ."

Вот и дело с концом и наши нервы в порядке, но и портфолио пустое.🤔



Сейчас конечно легким движением руки soft - skills джинсы, предлог выше превращается в элегантные шорты предложения формата:
- "Уважаемый сер, мы договорились на определенный объем работ, который включает в себя (1, 2, 3), в рамках действующего договора расширять требования невозможно, так как команда разработки тоже должна кушать".

Но это был почти первый шаг в B2B, и хотелось сделать его, что бы положить в портфолио, так что как вы уже поняли, все было "проглочено".😄

Жалею ли об этом опыте?
Однозначно нет, ошибки - наши лучшие учителя.
Данный опыт дал опыт и понимание насколько фраза "Передоговорился" постоянна в IT.

А какой же опыт из этого я взял?
В следующем проекте я уже прежде, посылать на ... подписываться на условия реализации, добавил пункт про составление макета итоговой визуализации.
Что бы, в договоре были конкретные примеры, что ждем по итогу проекта.

Думаете проблема с "Передоговорился" решена??
Нет конечно.😂

Хотя это и дало небольшое улучшение в части погружения заказчика, в нюансы реализации.

Но итоговое решение данной проблемы появилось спустя пол года, проб и ошибок.
Какое именно?
Думаю отдельно распишу, когда подсвечу пайплайн по этапам работ.

Так нужно ли браться за такие истории или ну их в топку ?

На старте пути, однозначно да.
Приобретаете опыт, кейс в портфолио, и узнаваемость на рынке. ( если ваш маркетолог работает )
Но всегда фиксируйте договорённости, и стадии проекта...
Меньше будет желания послать на ... 😂

#история

Провел мать его ребрендинг.😄
Data Muse, конечно звучит приятно...
Но индивидуальность убивает напрочь.

Фотку хотел поменять бы тоже, да вот не ходок я на профессиональные фотосессии, так что пока фотку в технический долг положу...

Где у меня уже кладбище долгов. ( но честно стараюсь вычищать периодически это кладбище )

UPD:
Фотку все же нашел с выставки рубиконф 2024.
За что огромное спасибо фотографу, в Рубиконф2025.
Оттуда вынесу вагон положительных эмоций и не забуду поделиться тут.

Это я, каждый понедельник.

#смех_да_и_только

З - Заказчик, И - исполнитель.

З: Коллеги, а можно сделать в этом вашем BI, отчет "Реализация тугриков за 3/4 половины квартала, 4 фазы луны", желательно завтра, и вот вам наша экселька как пример.

И: Да нет проблем, дайте методологию, мы рассмотрим логику формирования и предоставим итоговый отчет.

З: Вот не надо думать и логику смотреть, ПРОСТО СДЕЛАЙТЕ И ВСЕ, что сложного ?!

День спустя....

З: Коллеги, получили отчет, спасибо за оперативность, но что-то цифры не бьются, в чем дело?

И: Так мы сделали как и просили, все по вашему отчету.

З: ТАК ДУМАТЬ НАДО БЫЛО, а не в тупую делать.

#типичный_диалог