⭐️ Все под контролем: качество данных, активность пользователей и каталогизация метаданных

Даже в небольшой организации, внедряющей процессы Data Governance, каталог данных может содержать информацию о десятках тысяч объектов метаданных, сотнях наборов тестов качества данных и тысячах объектов глоссария.

👉 В статье разобрали насущный вопрос, каким образом можно взглянуть на выполнение KPI процессов Data Governance и как настроить регулярный мониторинг этих показателей при помощи кастомизированной отчетности.

🚀 Управление данными в мире HighLoad

Все больше организаций встречаются с необходимостью применения высоконагруженных систем для анализа данных в режиме реального времени. Для решения этих задач существует отдельный класс резидентных СУБД, которые хранят данные в оперативной памяти, обеспечивая непревзойденную производительность и одновременно высокую персистентность. Представителем подобных систем является СУБД Picodata.

Лишь некоторые каталоги данных могут похвастаться возможностью сканирования метаданных систем Highload. Команда ДатаКаталог завершила разработку коннектора, позволяющего включить СУБД Picodata в полноценный процесс управления данными: сканирование структуры, извлечение метаданых, назначение владельцев, управление описаниями и привязку таблиц к объектам глоссария. Новый коннектор открывает двери Data Governance в мир HighLoad.

Коннектор доступен в релизе Arenadata Catalog 0.7.3.
👉 Более подробно в статье

Представляем анонс нового релиза Arenadata Catalog

Выпуск 0.8.0 является самым значимым по объему и важности релизом за вторую половину 2024 года. Он включает в себя улучшения функционала всех модулей продукта и заметные архитектурные изменения, которые позволят в дальнейшем быстрее развивать продукт

Вместе с публикацией релиза мы начинаем информировать пользователей не только о функциональных новинках, но и указывать на внесённые исправления. Публикация списка обновлений и исправлений будет предшествовать официальной готовности релиза к передаче. Это поможет клиентам заблаговременно выделять ресурсы и планировать время для перехода на новую версию, принимая во внимание весь объём нововведений и их актуальность.

Это один маленький шаг для

человека

ДатаКаталог, но гигантский скачок для всего

человечества

сообщества пользователей Arenadata Catalog

Arenadata Catalog 💟 хранимые процедуры

Многие организации применяют хранимые процедуры (предварительно скомпилированные наборы SQL инструкций) для улучшения производительности, повышения безопасности СУБД, облегчения кода и оптимизации бизнес-логики приложений работающих с данными.
Отвечая на запрос клиентов, начиная с январского релиза, Arenadata Catalog предоставляет возможности по каталогизации хранимых процедур. В каталоге появился новый класс объектов - хранимая процедура СУБД

Новый функционал позволит:
* Упростить сопровождение хранилищ данных
* Вести историю изменений процедур, что важно для аудита
* Идентифицировать все связанные с таблицами процедуры, что поможет при проведение миграций и root cause анализа
* Выявлять редко используемые или устаревшие процедуры, которые можно оптимизировать или удалить

Сканирование и импорт процедур происходит автоматически при подключении источника данных либо при очередном сканировании его метаданных, что минимизирует человеческие ошибки.
Остальные улучшения релиза по ссылке

⚡️ Встречаемся на ArenaDAY!

22 апреля наша команда выступит на конференции ArenaDAY с докладом “Новая версия Arenadata Catalog, качество данных и применение AI”.

Про ArenaDAY 2025
▫️ 40+ докладов и стендов: «Северстали», «МегаФона», ФНС России, ВТБ, «Росатома», «Газпромнефти», Московского кредитного банка, HeadHunter, Московской биржи, Arenadata, Picodata, Garda, Корус Консалтинг
▫️ Презентации и демо новых продуктов и решений для работы с данными: cloud-native платформа, AI-ready Data Platform и вертикальные индустриальные решения

💥 Программа и форма регистрации по ссылке

👉 Представляем анонс очередного релиза Arenadata Catalog

Выпуск 0.8.2 содержит улучшения функционала глоссария и актуальные изменения в области безопасного поиска, поддержку разворачивания в среде k8s и еще 120 долгожданных улучшений и исправлений!

Подробное описание релиза читайте на нашем сайте

🔥 Готовимся к версии 0.8.4: вышел релиз 0.8.2.2_! 🔥

Команда разработчиков ДатаКаталог продолжает активно работать над версией 0.8.4, и сегодня мы рады представить промежуточное обновление 0.8.2.2. Этот релиз включает важные исправления и оптимизации, которые приближают нас к стабильному запуску основной версии.

Что нового в 0.8.2.2?
- Доработаны системы, которые будут ключевыми в будущих версиях
- Исправлены ошибки, обнаруженные в предыдущих сборках
- Добавлена поддержка сканирования метаданных FineBI 6.1

Этот апдейт — часть подготовки к масштабному релизу 1.0, где нас ждут:
- новые функции
- управление внутренними справочниками
- расширения модуля DQ
- ведение дата-контрактов

Как говорят по телевизору: Не переключайтесь!

🌟 Представляем новый релиз 0.8.4 платформы Arenadata Catalog

Данное обновление значительно усиливает платформу как централизованную систему управления метаданными. Новые функции и масштабная оптимизация делают работу с данными более структурированной, прозрачной и эффективной, что в конечном итоге способствует повышению качества данных и их доступности для бизнес-пользователей.

Ключевое нововведение — модуль «Реестр справочников» для управления статичными справочными значениями и их привязки к объектам глоссария. В бизнес-глоссарии ссылки на связанные объекты стали кликабельными, также появилась настройка цветовых легенд для визуализации связей.

Обновлены интерфейсы разделов «Настройки» и «Классификаторы». Для наборов классификаторов теперь можно назначать владельцев. В разделе "Качество данных" реализована подписка на оповещения о завершенных тестах. В ролевой модели появилась возможность скрывать разделы для пользователей без соответствующих прав.

Проведена масштабная оптимизация: улучшены процессы импорта метаданных из различных источников (Oracle, Hive, Greenplum и др.), обновлен фреймворк Camunda. Более 120 адресных улучшений призваны повысить стабильность системы и удобство работы и устранить ошибки.

👉 Подробное описание релиза по ссылке

Представляем «Стюарда данных»

⭐️ Провайдер образовательных услуг IM Center и вендор Arenadata запустили совместный курс по программе Data Governance — «Стюард данных Arenadata Catalog». Курс предлагает новый для нас формат обучения - онлайн-формат, что делает его доступным из любой точки мира. Уроки разбиты на короткие модули. Каждый слушатель получит 60 дней на прохождение курса на платформе Telegram в удобом ему темпе.

Курс будет полезен широкому кругу специалистов, включая бизнес-аналитиков и ИТ-экспертов.

Как писал В.В. Маяковский: Больше дата стюардов, хороших и разных.

Подробная информация здесь и здесь

⭐️ От разрозненных данных к единому стандарту: сила "Реестра справочников" Arenadata Catalog

Релиз Arenadata Catalog (ADC) 0.8.4 содержит более 120 улучшений, среди которых ключевым стал новый функционал — «Реестр справочников». Это инструмент для централизованного управления референс-данными (RDM).

🔸 Централизованная регистрация и описание. Каждый справочник получает паспорт с бизнес-определением, владельцем (Steward) и четким описанием назначения и иными атрибутами

🔸 Стандартизация. Мы помогаем описать внутренние или отраслевые референсные значения (например, справочник валют)

🔸 Прозрачность и обнаружение. Аналитики и разработчики быстро находят «официальные» версии справочников, утвержденные для использования, вместо того чтобы создавать свои локальные версии

🔸 Управление жизненным циклом. Отслеживание, какие системы используют какие справочники, позволяет управлять изменениями без риска сломать отчеты или интеграции

Итог: Реестр справочников — это инструмент ведения единого стандарта работы с данными, который сокращает издержки и повышает надежность вашей аналитики и систем.

А здесь подробно и по существу

⭐️ Команда ДатаКаталог рада представить очередное обновление платформы Arenadata Catalog — версию v0.8.5. Этот релиз содержит более 70 улучшений, запросы на которые были получены от наших клиентов. Мы продолжаем воплощать ваши пожелания в продукте, делая работу с цифровыми активами более интегрированной, безопасной и эффективной.

Основные улучшения затронули функционал модулей качества данных и каталога метаданных:

🔸Расширенные виджеты тестов качества данных.

🔸Возможность сохранения детализированных результатов тестов качества данных во внешние системы.

🔸Новое графическое отображение качества данных физических объектов хранилища на потоках Data Lineage.

🔸Экспорт диаграмм, таких как ER-диаграммы, Data Lineage, связи объектов глоссария, в графические форматы.

🔸Новые атрибуты на визуализации Data Lineage: хранимые процедуры и конвейеры.

🔸Удобная фильтрация и отображение объектов глоссария.

🔸Новые коннекторы для автоматизированного сканирования структуры метаданных СУБД Greengage и BI-системы Polymatica.

Следите за нашими анонсами, чтобы быть в курсе всех новинок.

Подробное описание релиза по ссылке

⭐️ Роль Data Quality в цифровой трансформации

В эпоху роста data-driven-подходов ключевым фактором становится не объем данных, а их качество.
Именно оно определяет точность аналитики, эффективность ML-моделей и успех внедрения AI.

Мы проанализировали инструменты для тестирования и мониторинга качества данных, встроенные в Arenadata Catalog и DQF, и разобрали несколько практических кейсов их применения.

👉 Все детали в статье