Котятки🐱,
Погода за окном не радует, впереди выходные, и я укрываюсь очередным мануалом. На этот раз по миграции (материал был прикопан у меня с весны).
У меня миграций будет, вероятно, две -и одна точно со сменой инструмента и отказом от кубов. Ну и, кого-то пугают затраты, а меня пугают операционные срывы. В этом мануале как раз разбираются эти вопросы.
Почитать: https://dataflowmapper.com/blog/data-migration-costs-quantitative-analysis

Котятки🐱,
Разгребаю свои завалы по BI в домене healthcare. Пока ищу старый материал по пациенто-центричным и клинико-центричным дашбордам, делюсь:
-Обзорка по сторителлингу в медицинском BI, с описанием разных типов ЦА
-очень обширный материал по домену - всего понемногу, но позволяет сложить целостную картинку об аналитике в домене, важных аспектах, типах сторителлинга , целях, типах источников и пр.
Если есть что почитать посолиднее на уровне книжек, порекомендуйте, плз.

Котятки,
В прошлом году я была одержима идеей создания интерактивных графов с помощью семантики и движка Plant UML.
В этом сезоне у меня новое развлечение - генерация двух артефактов для проектирования модели данных из одного AI-aгента:
-ЕR-диаграммы
-DDL
Раньше я использовала плагин PlantUML2DDL , но увы, настало время обходиться без него.
Паттерны построения ER-диаграммы с помощью Plant UML брала из этого видоса:
https://youtu.be/iS0dBjTvCrw?si=3Ehh2hWczdnEgSmR
Что еще нашла: прикольное видео Проектирование БД с ИИ тут:
https://youtu.be/fjXqck0hNoo?si=FtSXxN9uOx3bFH5C
У каждого свои подходы к работе с AI, но в этом видео прямо детально разобран весь процесс, со всеми этапам и промтами. Оч рекомендую, походит на мой опыт до того, как я перешла на предобученных агентов.

Превращаем вопросы бизнеса в понятные дашборды с помощью BI-аналитики

Многие начинающие BI-аналитики думают, что их задача — просто красиво визуализировать данные, но настоящий профессионал с вопроса: «Что нужно узнать бизнесу?».

Бизнесу нужны не графики, а ответы на вопросы: почему падают продажи, что влияет на выручку, какие клиенты приносят прибыль.

На вебинаре с опытным BI-аналитиком Марией Гирдой вы увидите, как рождаются дашборды — от бизнес-вопроса до живого графика, шаг за шагом. Разберём типичные ошибки новичков, посмотрим примеры из практики и почему BI — понятный и логичный путь в аналитику и IT.

На вебинаре построим собственный отчёт в Fastboard и на его примере разберём:

🟠Как BI-аналитик помогает бизнесу видеть не цифры, а решения;
🟠Как из бизнес-вопроса сделать структуру отчёта или дашборда;
🟠Какие ошибки делают новички и как их избежать;
🟠Как визуализировать данные, чтобы инсайты были очевидны без пояснений;
🟠Почему BI-аналитика — самый понятный и доступный старт карьеры в IT.

❗️Встречаемся 31 октября в 19:00 мск

💬 Подключайтесь к прямому эфиру, чтобы узнать о важнейших принципах построения отчётов для бизнеса, которые можно применять в любой BI-системе.

😶Зарегистрироваться на бесплатный вебинар

Котятки🐱,
у меня сейчас два больших вызова - миграция (с Qlikview на Qlik sense) и одновременно переезд хранилища в новые среды.
Под это дело готовятся новые плейбуки, оборачиваемые в разные формы - регламенты, инструкции, шаблоны.
Из этих соображений ищу новые фреймворки для создания эффективных дашбордов - но такие, чтобы они были не про процессы-роли-ресурсы, а про сами дашики.
Короче, дашордоцентричные концепции.
Пока нашла две интересных вещи:
1) вот эта статеечка на Medium "A project framework for effective dashboards" https://medium.com/p-metrics/a-dashboarding-framework-for-actionable-insights-58d819ceccc0
2) книжечка "Dashboards That Deliver" - она дает концепцию "Dashboard as application" прямо но 10 странице, а дальше 100 страниц раскрывает ее, и еще примерно 300 дает всякие годные примеры.
Думаю, я однажды возьмусь за ее перевод. Брать тут:
https://dokumen.pub/qdownload/dashboards-that-deliver-how-to-design-develop-and-deploy-dashboards-that-work-1st-edition.html

Котятки🐱,
На дворе ноябрь, я плавно докатилась до citizen development в моем маленьком Self-service BI-королевстве. Это такая прекрасная модель, при которой не-технические специалисты (бизнес-пользователи) создают решения (отчёты, модели, приложения, автоматизации) без участия ИТ-разработчиков, используя desktop-инструменты или выделенную песочницу. От реального Self-service отличается тем, что результаты их наработок потом должны встать на промышленные рельсы.
Вот тут можно почитать про риски, оч годно: https://perspective.orange-business.com/en/the-hidden-risks-of-self-service-analytics-without-governance/
А вот тут два подхода, как предупредить риски, со стороны проф BI-команды:
1)с помощью Data Observability (что, собственно, я выбрала для себя): https://www.acceldata.io/blog/empower-data-science-and-self-service-analytics-with-data-observability
2) Через архитектуру и выделение critical design areas (на примере Power Platform, но принцип достаточно абстрактен и перекладывается не только на Power BI, но и на любой другой BI): https://arno.uvt.nl/show.cgi?fid=161624
Мой тимлид, он же глава BI, однажды высказал мне главный риск citizen development: пользователь проектирует логику «на глаз» из конечных представлений (формально, выгрузок уже готовых отчетов из операционных систем-источников); в промышленной среде это приводит к конфликтам трактовок и «несходу» кросс-отчётов. С моей точки зрения, риски больше лежат в инженерной плоскости: когда пытаешься перевести артистическое творчество на пром рельсы, его зачастую надо переписывать с нуля. Ну или принять техдолг и помолиться.

Котятки🐱,
Вчера прочитала о таком интересном термине, как Vibe intelligence – новое название старой LLM-ки над семантическим слоем с упором на бизнес-процесс : https://powerdrill.ai/blog/from-bi-to-vi-the-rise-of-vibe-intelligence-in-the-age-of-llms
Не знаю, насколько он приживется, но называть новые пользовательские сценарии в аналитике с AI-агентами селф-сервисом уже как-то странновато. Он не совсем self, там посередине уши AI-агента торчат.
Кстати, давно искала книжечку про LLM: hands-on large language models, уж очень интресный отзыв о ней прочитала в Книжном клубе. Нашла внезапно тут: https://vk.com/wall-171546670_450.

Котятки🐱,
Вчера вела вебинар по конфликтологии, и в рамках подготовки села пересматривать всякие свои заметки и материалы по конфликтам и проблемам в BI-командах.
Вот такая статья валялась в категории ‘почитать потом’ : https://selectel.ru/blog/bi-analytics/
В ней в целом про оптимизацию команды: неплохие мысли, что можно поделать, когда команда естественным образом выросла, и как можно эволюционировать. Ну и типовые противоречия тоже разбираются. Оч понравился подход с командной работой с легаси.

Котятки🐱,
классический конфликт внутри команды: инженеры смотрят на данные как на даги/потоки/джобы, а BI-разработчики - как на отчеты.
И внутри каждого направления свои критерии важности, и это нормально. Условно, я дергаюсь, когда у меня сервак падает, инженер - когда джоба/даг падает, а BI-head - когда у него данные не обновились в конкретном апплике.
Но идем дальше, к ранжированию дашбордов по степени значимости.
Вот в этой небольшой статье описан подход, какими критериями можно пользоваться (со шкалой): https://vlamis.com/which-bi-dashboards-are-most-valuable/
Подход достаточно удобный и понятный как внутри команды, так и бизнесу, и в целом на его основе можно выстраивать уже дифференцированный подход к мониторингу и SLA для BI-отчетности.

Котятки🐱,
в последнее время часто вижу, что многие, кто работает с данными “по касательной” - продакты, маркетологи, аналитики без техбэкграунда - хотят систематизировать свои знания, но тонут в разрозненных туториалах.

Если у вас тоже было ощущение, что пора “привести в порядок” SQL, Python, BI и продуктовые метрики - советую вам обратить внимание на курс-симулятор «Аналитик данных» от Simulative:

➖12 модулей, в которых собраны основные инструменты аналитика — от базы данных до статистики и визуализации;
➖формат без страданий: видео, тексты, конспекты, домашки с проверкой;
➖ много практики на реальных бизнес-кейcах (что редкость для онлайн-курсов);
➖есть менторы, которые помогают не “по шаблону”, а по существу;
➖и возможность получить оффер на позицию аналитика по итогам обучения.

Хороший вариант, если вы хотите системно развить аналитическую компетенцию - не только для “чистой аналитики”, но и для любой продуктовой роли. Хотя курс подходит не только для тех кто уже в работе, но и для тех, кто хочет начать путь в аналитике с нуля!

Кстати, сейчас у них Чёрная Пятница, и курс можно взять со скидкой 35% - если давно хотели собрать аналитическую базу, возможно, сейчас самое время.

🔗 Скорее записывайтесь на курс со скидкой: тыкайте сюда

Котятки🐱,
Сегодня утром попалась маленькая заметка про The abandoned dashboard syndrome.
Что ж, я вспомнила все свои похороненные дашборды, стало действительно больно:
https://impactful.engineering/blog/the-abandoned-dashboard-syndrome/
P.S. сайт чуть подтупливает, но открывается. Там же я нашла заметку про правило 5-30 про качество дашборда с точки зрения когнитивного восприятия.

Котятки🐱,
этот вечер у меня, увы, не про красивые визуализаии, а опять про процессы.
Манифест моего вечера звучит так:
Управляемый Self-service BI достигает успеха, когда группа управления данными перестает говорить «нет» по умолчанию, а вместо этого по умолчанию говорит «да, и».
Да, вы можете получить доступ к этим данным, и для этого необходимо соблюсти следующие предварительные условия.
Да, вы можете получить доступ к этим данным, и ниже приведены разрешенные сценарии их надлежащего использования.
Да, вы можете получить доступ к этим данным, и это ресурсы, которые помогут вам добиться успеха.
Почитать про баланс и про важность построения таких семантических моделей, слоев и объектов, которые можно переиспользовать: https://tdwi.org/articles/2020/07/21/bi-all-benefits-of-balancing-self-service-and-enterprise-data-systems.aspx

Котятки🐱,
В этом сезоне я читаю фантастику вместо всякой рабочей литературы.
У меня впереди еще примерно 52тыс страниц чтения Хайнлайна до конца года, и я наконец озаботилась, в каком порядке читать. Нашла даже диаграмму)
В ходе поиска увидела шикарную визуализацию, как вымышленные изобретения становятся реальностью. В ней мне понравился паттерн двойной оси времени, который используется по факту как диаграмма Санкей.
По-прежнему считаю эту диаграмму скорее инструментом для ad-hoc или инфографики, а не чем-то ежедневно-рабочим)
Взяла отсюда:
https://bitrebels.com/technology/when-fiction-becomes-reality-timeline-infographic/

Котятки🐱,

уже в эту пятницу у меня вместе с Simulative будет вебинар на тему: Путь в BI через реальные истории.

На вебинаре я расскажу, как в BI приходят люди «не из цифр»: бывшие маркетологи, экономисты, преподаватели и даже юристы. Разберём живые кейсы - кто как менял профессию, что помогло не сдаться и почему первый дашборд почти всегда кривой (и это нормально).

О чём поговорим:
➖Реальные сценарии входа в BI без технической базы: шаги, ошибки и работающие стратегии.
➖Истории учеников и коллег: от стажировок до роста внутри компании.
➖Страхи, которые мешают начать, и как с ними справиться, если кажется, что «слишком поздно».
➖Почему BI - это один из самых быстрых и осмысленных способов войти в мир данных.

Встречаемся 14 ноября в 19:00 МСК

🔗Регистрируйтесь на вебинар в боте

Котятки🐱,
Прошло 9 месяцев, и на самом деле у меня нет целостного представления, на сколько сократился процесс создания BI-отчетности с ИИ. По чистому времени (на основе замеров в трекере) - он увеличился, но и задач на одного человека стало больше. Также понимание его трансформации и выпадения целых этапов (например, документация разработки - ее уже можно собирать автоматически).
Но меня все еще бесит, что умный песок меня не с первого раза понимает.

Вот в этой заметке оч хорошие рассуждения с посылом, что для тяжелых производственных дашиков пока ничего не изменилось: https://dataveld.com/2023/05/20/is-a-lengthy-iterative-data-visualization-design-process-relevant-in-the-era-of-generative-ai/
P.S.Сегодня у меня вебинар, об этом тоже кстати поговорим, если время останется. Вам сюда на регистрацию в бот.

Котятки🐱,
Обычно суббота у меня день отдыха от работы с помощью работы - я сижу и думаю над тем, что не додумала в будни.
На этой неделе я должна была расписать задачку по качеству данных и алертинге между слоем хранения и слоем BI, и тут меня понесло и вынесло в data observability. Время реально взглянуть на вещи: дискретные алерты в нужных точках или непрерывная наблюдаемость состояния не только процессов, но и данных?
Вот статья, которая заставила меня откатиться и пойти подумать еще раз:
https://www.kdnuggets.com/data-observability-in-analytics-tools-techniques-and-why-it-matters

«Круги Громова» представили новое исследование российского рынка ETL 2025

Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?

В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.

📘 Полный отчёт доступен на сайте проекта «Круги Громова» — скачать бесплатно! Сохраните себе актуальную карту российского рынка ETL-решений 2025 года.

Четверг у меня - ‘день без созвонов’) Не знаю, у кого какая норма, но я всегда думала, что кроме дейлика у разработчика быть ничего не должно. Реальность очень сильно опрокидывает мои представления о прекрасном,- 5 часов созвонов для разраба это не предел, если ты работаешь и на развитии, и на инцидентах. И, несмотря на то, что я фанат удаленки, я с тоской вспоминаю опцию ‘пойти за кофе в столовую, по дороге зайти ко всем решить вопросы’. Почитать: https://habr.com/ru/articles/834136/

Котятки🐱,
Сегодня суббота, и я сижу заморачиваюсь тем, как здраво и быстро описать, что значит сторителлинг в моих промышленных реалиях.
Ресерчу тихонько по сторителлингу, и тут бац - от эта красотка-статья, которая расшатывает мои тезисы.
https://nightingaledvs.com/dashboards-are-not-data-stories/
В целом этот блог от Data Visualization Society один из моих любимых. Хотела бы я в будущем замутить что-то такое же на русском, без крена в сторону продажи услуг, чисто из любви к искусству.

Котятки🐱,
Я уже видела 3 сценария встраивания ИИ в BI:
1)Классический Ask Data (сама его строю): ситуация, когда с помощью ИИ обращаются к семантической модели
2)Builder : когда используется и обращение к API самой BI-системы или аналогичные механизмы для построения визуализаций +метаданные семантической модели.
2) Навигатор: когда агент ИИ используется чисто для навигации по существующим дашбордам , и использует гибридный принцип (ищет по метаданным визуализаций и дашбордов как объектов и выдает пользователю готовые дашборды с нужными фильтрами)
Мне очень симпатичен вариант 3, но для него надо собрать каркас для навигации, что-то вроде навигатора отчетов.
Образ результата я нашла у Лемана ПРО, они этим поделились на одной из конференций. Этого материала нет в свободном доступе, но есть принципиальный концепт тут:
https://www.it-world.ru/cionews/4a48ufad5jy8cwkk4sokg0o4ok84cok.html
И уже более детальная преза тут:
https://www.all-over-ip.ru/hubfs/Digital/SS/SS_ADAPT/AoIP_19062025_Data_Governance_%D0%A8%D0%B5%D0%B2%D1%87%D0%B5%D0%BD%D0%BA%D0%BE.pdf