В этом году я снова иду на РУBIКОНФ, на этот раз в роли спикера.

В прошлом участвовал в РУBIЛОВО — дискуссия на острые BI-темы. Обсуждали с коллегами тренды в BI, было жарко и очень интересно. Помню, кто-то даже сравнил РУBIЛОВО со стендапом в BI.

7 октября расскажу: «Как организовать отдел аналитики, который помогает компании зарабатывать». Будем говорить:
- о том, как понять что у продвинутой аналитики есть потенциал в компании;
- что должно быть в основе аналитической системы, чтобы она не заросла мхом через год;
- как малыми шагами прийти к большим результатам без рисков.

Сама конференция — это десятки докладов от практиков, живые кейсы, мастер-классы по визуализации и самое ценное: возможность пообщаться с людьми, которые реально двигают рынок данных вперёд.

Очное участие — в Москве (кластер «Ломоносов»), запланирована и онлайн-трансляция. Участие бесплатное, нужна только регистрация.

Регистрируйтесь по ссылке, и увидимся на РУBIКОНФ.

Изучаете нейронки? вы уже устарели. На сцену выходят новые технологии

Всем привет! Занимался тут самым веселым в мире делом - внесением в документацию изменений по фичам, добавленным за последний месяц в Data Monetization Pack - мою библиотеку для организации КХД с помощью Loginom на базе Clickhouse. Чтобы добру не пропадать, кратко опишу некоторый функционал и тут)

С развитием КХД-проекта, дата-инженер сталкивается с необходимостью настраивать инкрементальное обновление данных. Потому что на старте полный процесс обновления занимал 5 минут, потом 15, потом 30, а потом перевалил за час - объемы растут, полностью перезагружать данные в ETL и моделях не вариант.

Настройка инкрементального обновления - тоже не фунт изюма. Поэтому в DMP есть шаблоны, между которыми можно гибко переключаться при необходимости:

Для выгрузки в Stage и Core уровни хранилища, доступны сценарии:

- Полная перезапись данных: говорит само за себя :)

- Частичная перезапись в клоне целевой таблицы по произвольному ключу, с заменой целевой таблицы на обновленный клон: хорошо подходит для таблиц с небольшим объемом данных (несколько млн. строк), в которых нужна высокая точность обновления (на уровне отдельных строк)

- Обновление данных через замену партиций: используем функционал Clickhouse. Хорошо подходит для формирования больших таблиц (десятки и сотни млн. строк), но обновление проходит через замену больших фрагментов таблицы (как правило, по месяцам).

Для таблиц Core-уровня есть доп. сценарий: возможность добавить в структуру хранилища любую таблицу, доступную из Clickhouse (даже если она физически в нем не находится), не пропуская ее через ETL в Loginom. Хорошо подходит для больших транзакционных данных, которым не нужен ETL для очистки, а значит нет смысла пересохранять их из базы в базу.

Витрины в Data Mart (а в нашем случае, это полностью материализованные таблицы, сочетающие данные из набора таблиц core-уровня) также поддерживают обновления через перезапись партиций. А структура витрин такова, что обновлять в них можно данные отдельных таблиц, например, только данные по продажам, хотя в самой витрине совмещено еще 5 других таблиц фактов.

Все эти сценарии по умолчанию работают так, что на стороне пользователя данные обновляются одномоментно, и нет риска что запросив данные из таблицы, которая находится в состоянии полной перезаписи, пользователь получит неполные данные.

Таким образом, дата-инженер тратит меньше времени на настройку и поддержку сложных сценариев обновления. И больше времени уделят бизнес-задачам, повышая свою ценность в компании.

Все серьезно)

Есть 2 вида технических заданий:

1) Расплывчатое;
2) Перегруженное.

Всем привет! 30 октября (четверг), 13:00, Москва, приглашаю всех на Loginom Day 2025: Аналитика данных, доступная каждому

Собираемся уже в седьмой раз! Loginom Day — это место, где аналитики, разработчики и руководители делятся опытом, находят новые идеи и просто отлично проводят время.

Что будет:
*Практические кейсы: как компании из ритейла, финансов и промышленности используют Loginom

*Демозона и стенды партнёров (в т.ч. мой): живые демонстрации, ответы на вопросы и полезные советы

*Секция для вузов: применение Loginom в учебном процессе и финал студенческих проектов

Темы докладов:
— Все секреты Loginom 7.3 и его ключевые фишки
— Data Science на базе Loginom: от сбора данных до принятия решений
— Переход с CRM на СПР: зачем мы сделали этот шаг и как помог Loginom

И ещё:
Живая музыка
Фуршет
Нетворкинг с экспертами и коллегами
Розыгрыши крутых призов
🎟 Количество мест ограничено, необходима регистрация

Всем привет! В среду, 12 ноября в 12:00, проведем с Машей вебинар про использование Fastboard с КХД на базе Loginom + Data Monetization Pack.

Думаю, Маша в представлении не нуждается) Она расскажет об уникальных фичах Fastboard, в том числе о создании интерактивных макетов дашбордов и проектном подходе, который помогает точно попадать в ожидания заказчика и минимизировать переделки. Приходите, будет интересно.

Регистрация тут

Тем временем, вышло новое исследования по ClickHouse в облаке. Почему делаю акцент на нем? А потому что Data Monetization Pack - часть этого исследования, и верный спутник в автоматизации дата-инжиниринга в работе с CH для аналитических проектов и не только :) Ознакомиться можно по ссылке:

Новое исследование – Развертывание СУБД ClickHouse в облаке 2025

«Круги Громова» выпустили практическое исследование о том, как безопасно и эффективно развернуть ClickHouse в российских облаках — от Yandex Cloud до Selectel и VK Cloud.

Что внутри:
– сравнение Yandex Cloud, VK Cloud, Selectel и K2 по 27 критериям,
– реальный опыт эксплуатации ClickHouse и Arenadata QuickMarts (ADQM),
– типичные инциденты, и как их избежать,
– выбор между IaaS, Kubernetes и PaaS-развёртываниями,
– требования безопасности, производительности и импортонезависимости.

👉 Полный отчёт доступен на сайте проекта «Круги Громова» — скачать бесплатно! Отчёт будет полезен всем, кто строит DWH, Lakehouse, ML-платформы или high-load-аналитику на ClickHouse.

Господин Громов не только пишет круги, но и наполняет их)

16 декабря состоится премьера продукта DataForge. Это решение ориентировано на компании, которые консолидировали данные для аналитики в СУБД. Но теряют время на несогласованности показателей в аналитике, дублировании трудозатрат на построении моделей данных и переиспользуемости этих моделей в разных инструментах, тиражировании доступов к данным и управлением безопасностью.

Я этот инструмент уже видел, он легкий на подъем, его можно легко и быстро испытать в деле, сходу получив практические результаты. Рекомендую и вам познакомиться с ним на вебинаре.

Ну и чтобы никого не запутать. Вот вам диаграммка для пояснения покрытия функционала в аналитике моего решения (Loginom + DMP) и DataForge.