🚀 Управление данными в мире HighLoad
Все больше организаций встречаются с необходимостью применения высоконагруженных систем для анализа данных в режиме реального времени. Для решения этих задач существует отдельный класс резидентных СУБД, которые хранят данные в оперативной памяти, обеспечивая непревзойденную производительность и одновременно высокую персистентность. Представителем подобных систем является СУБД Picodata.
Лишь некоторые каталоги данных могут похвастаться возможностью сканирования метаданных систем Highload. Команда ДатаКаталог завершила разработку коннектора, позволяющего включить СУБД Picodata в полноценный процесс управления данными: сканирование структуры, извлечение метаданых, назначение владельцев, управление описаниями и привязку таблиц к объектам глоссария. Новый коннектор открывает двери Data Governance в мир HighLoad.
Коннектор доступен в релизе Arenadata Catalog 0.7.3.
👉 Более подробно в статье
Все больше организаций встречаются с необходимостью применения высоконагруженных систем для анализа данных в режиме реального времени. Для решения этих задач существует отдельный класс резидентных СУБД, которые хранят данные в оперативной памяти, обеспечивая непревзойденную производительность и одновременно высокую персистентность. Представителем подобных систем является СУБД Picodata.
Лишь некоторые каталоги данных могут похвастаться возможностью сканирования метаданных систем Highload. Команда ДатаКаталог завершила разработку коннектора, позволяющего включить СУБД Picodata в полноценный процесс управления данными: сканирование структуры, извлечение метаданых, назначение владельцев, управление описаниями и привязку таблиц к объектам глоссария. Новый коннектор открывает двери Data Governance в мир HighLoad.
Коннектор доступен в релизе Arenadata Catalog 0.7.3.
👉 Более подробно в статье
🔥6👍4
Представляем анонс нового релиза Arenadata Catalog
Выпуск 0.8.0 является самым значимым по объему и важности релизом за вторую половину 2024 года. Он включает в себя улучшения функционала всех модулей продукта и заметные архитектурные изменения, которые позволят в дальнейшем быстрее развивать продукт
Вместе с публикацией релиза мы начинаем информировать пользователей не только о функциональных новинках, но и указывать на внесённые исправления. Публикация списка обновлений и исправлений будет предшествовать официальной готовности релиза к передаче. Это поможет клиентам заблаговременно выделять ресурсы и планировать время для перехода на новую версию, принимая во внимание весь объём нововведений и их актуальность.
Выпуск 0.8.0 является самым значимым по объему и важности релизом за вторую половину 2024 года. Он включает в себя улучшения функционала всех модулей продукта и заметные архитектурные изменения, которые позволят в дальнейшем быстрее развивать продукт
Вместе с публикацией релиза мы начинаем информировать пользователей не только о функциональных новинках, но и указывать на внесённые исправления. Публикация списка обновлений и исправлений будет предшествовать официальной готовности релиза к передаче. Это поможет клиентам заблаговременно выделять ресурсы и планировать время для перехода на новую версию, принимая во внимание весь объём нововведений и их актуальность.
Это один маленький шаг для
человека
ДатаКаталог, но гигантский скачок для всего
человечества
сообщества пользователей Arenadata Catalog
🔥7⚡5❤3
Arenadata Catalog 💟 хранимые процедуры
Многие организации применяют хранимые процедуры (предварительно скомпилированные наборы SQL инструкций) для улучшения производительности, повышения безопасности СУБД, облегчения кода и оптимизации бизнес-логики приложений работающих с данными.
Отвечая на запрос клиентов, начиная с январского релиза, Arenadata Catalog предоставляет возможности по каталогизации хранимых процедур. В каталоге появился новый класс объектов - хранимая процедура СУБД
Новый функционал позволит:
* Упростить сопровождение хранилищ данных
* Вести историю изменений процедур, что важно для аудита
* Идентифицировать все связанные с таблицами процедуры, что поможет при проведение миграций и root cause анализа
* Выявлять редко используемые или устаревшие процедуры, которые можно оптимизировать или удалить
Сканирование и импорт процедур происходит автоматически при подключении источника данных либо при очередном сканировании его метаданных, что минимизирует человеческие ошибки.
Остальные улучшения релиза по ссылке
Многие организации применяют хранимые процедуры (предварительно скомпилированные наборы SQL инструкций) для улучшения производительности, повышения безопасности СУБД, облегчения кода и оптимизации бизнес-логики приложений работающих с данными.
Отвечая на запрос клиентов, начиная с январского релиза, Arenadata Catalog предоставляет возможности по каталогизации хранимых процедур. В каталоге появился новый класс объектов - хранимая процедура СУБД
Новый функционал позволит:
* Упростить сопровождение хранилищ данных
* Вести историю изменений процедур, что важно для аудита
* Идентифицировать все связанные с таблицами процедуры, что поможет при проведение миграций и root cause анализа
* Выявлять редко используемые или устаревшие процедуры, которые можно оптимизировать или удалить
Сканирование и импорт процедур происходит автоматически при подключении источника данных либо при очередном сканировании его метаданных, что минимизирует человеческие ошибки.
Остальные улучшения релиза по ссылке
🔥12💯3
⚡️ Встречаемся на ArenaDAY!
22 апреля наша команда выступит на конференции ArenaDAY с докладом “Новая версия Arenadata Catalog, качество данных и применение AI”.
Про ArenaDAY 2025
▫️ 40+ докладов и стендов: «Северстали», «МегаФона», ФНС России, ВТБ, «Росатома», «Газпромнефти», Московского кредитного банка, HeadHunter, Московской биржи, Arenadata, Picodata, Garda, Корус Консалтинг
▫️ Презентации и демо новых продуктов и решений для работы с данными: cloud-native платформа, AI-ready Data Platform и вертикальные индустриальные решения
💥 Программа и форма регистрации по ссылке
22 апреля наша команда выступит на конференции ArenaDAY с докладом “Новая версия Arenadata Catalog, качество данных и применение AI”.
Про ArenaDAY 2025
▫️ 40+ докладов и стендов: «Северстали», «МегаФона», ФНС России, ВТБ, «Росатома», «Газпромнефти», Московского кредитного банка, HeadHunter, Московской биржи, Arenadata, Picodata, Garda, Корус Консалтинг
▫️ Презентации и демо новых продуктов и решений для работы с данными: cloud-native платформа, AI-ready Data Platform и вертикальные индустриальные решения
💥 Программа и форма регистрации по ссылке
🔥10⚡3
Бренд всероссийских государственных лотерей «Национальная лотерея» создает современное хранилище данных и внедряет практики Data Governance используя Arenadata DB и Arenadata Catalog. Основной целью проекта стало объединение разрозненных данных в единую платформу и обеспечение высокой производительности аналитических процессов.
💡Ознакомиться с ходом проекта и достигнутыми результатами можно в публикации Евгения Жилова, руководителя департамента аналитики и управления данными «Национальной лотереи»
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
👉 Представляем анонс очередного релиза Arenadata Catalog
Выпуск 0.8.2 содержит улучшения функционала глоссария и актуальные изменения в области безопасного поиска, поддержку разворачивания в среде k8s и еще 120 долгожданных улучшений и исправлений!
Подробное описание релиза читайте на нашем сайте
Выпуск 0.8.2 содержит улучшения функционала глоссария и актуальные изменения в области безопасного поиска, поддержку разворачивания в среде k8s и еще 120 долгожданных улучшений и исправлений!
Подробное описание релиза читайте на нашем сайте
🔥13👌5⚡2
Первый отечественный продукт в категории каталогов данных, систем управления качеством данных и корпоративных глоссариев успешно завершил сертификацию ФСТЭК.
Arenadata Catalog (ADC) был включен в Государственный реестр сертифицированных средств защиты информации и получил сертификат соответствия требованиям безопасности информации по 4 уровню доверия ФСТЭК России (сертификат № 4939) 28 мая 2025 года.
⚡️⚡️⚡️⚡️
Информация по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8⚡6
🔥 Готовимся к версии 0.8.4: вышел релиз 0.8.2.2_! 🔥
Команда разработчиков ДатаКаталог продолжает активно работать над версией 0.8.4, и сегодня мы рады представить промежуточное обновление 0.8.2.2. Этот релиз включает важные исправления и оптимизации, которые приближают нас к стабильному запуску основной версии.
Что нового в 0.8.2.2?
- Доработаны системы, которые будут ключевыми в будущих версиях
- Исправлены ошибки, обнаруженные в предыдущих сборках
- Добавлена поддержка сканирования метаданных FineBI 6.1
Этот апдейт — часть подготовки к масштабному релизу 1.0, где нас ждут:
- новые функции
- управление внутренними справочниками
- расширения модуля DQ
- ведение дата-контрактов
Как говорят по телевизору:Не переключайтесь!
Команда разработчиков ДатаКаталог продолжает активно работать над версией 0.8.4, и сегодня мы рады представить промежуточное обновление 0.8.2.2. Этот релиз включает важные исправления и оптимизации, которые приближают нас к стабильному запуску основной версии.
Что нового в 0.8.2.2?
- Доработаны системы, которые будут ключевыми в будущих версиях
- Исправлены ошибки, обнаруженные в предыдущих сборках
- Добавлена поддержка сканирования метаданных FineBI 6.1
Этот апдейт — часть подготовки к масштабному релизу 1.0, где нас ждут:
- новые функции
- управление внутренними справочниками
- расширения модуля DQ
- ведение дата-контрактов
Как говорят по телевизору:
🔥9👍1
🌟 Представляем новый релиз 0.8.4 платформы Arenadata Catalog
Данное обновление значительно усиливает платформу как централизованную систему управления метаданными. Новые функции и масштабная оптимизация делают работу с данными более структурированной, прозрачной и эффективной, что в конечном итоге способствует повышению качества данных и их доступности для бизнес-пользователей.
Ключевое нововведение — модуль«Реестр справочников» для управления статичными справочными значениями и их привязки к объектам глоссария. В бизнес-глоссарии ссылки на связанные объекты стали кликабельными, также появилась настройка цветовых легенд для визуализации связей.
Обновлены интерфейсы разделов «Настройки» и «Классификаторы». Для наборов классификаторов теперь можно назначать владельцев. В разделе "Качество данных" реализована подписка на оповещения о завершенных тестах. В ролевой модели появилась возможность скрывать разделы для пользователей без соответствующих прав.
Проведена масштабная оптимизация: улучшены процессы импорта метаданных из различных источников (Oracle, Hive, Greenplum и др.), обновлен фреймворк Camunda. Более 120 адресных улучшений призваны повысить стабильность системы и удобство работы и устранить ошибки.
👉 Подробное описание релиза по ссылке
Данное обновление значительно усиливает платформу как централизованную систему управления метаданными. Новые функции и масштабная оптимизация делают работу с данными более структурированной, прозрачной и эффективной, что в конечном итоге способствует повышению качества данных и их доступности для бизнес-пользователей.
Ключевое нововведение — модуль
Обновлены интерфейсы разделов «Настройки» и «Классификаторы». Для наборов классификаторов теперь можно назначать владельцев. В разделе "Качество данных" реализована подписка на оповещения о завершенных тестах. В ролевой модели появилась возможность скрывать разделы для пользователей без соответствующих прав.
Проведена масштабная оптимизация: улучшены процессы импорта метаданных из различных источников (Oracle, Hive, Greenplum и др.), обновлен фреймворк Camunda. Более 120 адресных улучшений призваны повысить стабильность системы и удобство работы и устранить ошибки.
👉 Подробное описание релиза по ссылке
🔥13❤2💯2
Представляем «Стюарда данных»
⭐️ Провайдер образовательных услуг IM Center и вендор Arenadata запустили совместный курс по программе Data Governance — «Стюард данных Arenadata Catalog». Курс предлагает новый для нас формат обучения - онлайн-формат, что делает его доступным из любой точки мира. Уроки разбиты на короткие модули. Каждый слушатель получит 60 дней на прохождение курса на платформе Telegram в удобом ему темпе.
Курс будет полезен широкому кругу специалистов, включая бизнес-аналитиков и ИТ-экспертов.
Как писал В.В. Маяковский: Большедата стюардов , хороших и разных.
Подробная информация здесь и здесь
⭐️ Провайдер образовательных услуг IM Center и вендор Arenadata запустили совместный курс по программе Data Governance — «Стюард данных Arenadata Catalog». Курс предлагает новый для нас формат обучения - онлайн-формат, что делает его доступным из любой точки мира. Уроки разбиты на короткие модули. Каждый слушатель получит 60 дней на прохождение курса на платформе Telegram в удобом ему темпе.
Курс будет полезен широкому кругу специалистов, включая бизнес-аналитиков и ИТ-экспертов.
Как писал В.В. Маяковский: Больше
Подробная информация здесь и здесь
🔥5⚡3
⭐️ От разрозненных данных к единому стандарту: сила "Реестра справочников" Arenadata Catalog
Релиз Arenadata Catalog (ADC) 0.8.4 содержит более 120 улучшений, среди которых ключевым стал новый функционал — «Реестр справочников». Это инструмент для централизованного управления референс-данными (RDM).
🔸 Централизованная регистрация и описание. Каждый справочник получает паспорт с бизнес-определением, владельцем (Steward) и четким описанием назначения и иными атрибутами
🔸 Стандартизация. Мы помогаем описать внутренние или отраслевые референсные значения (например, справочник валют)
🔸 Прозрачность и обнаружение. Аналитики и разработчики быстро находят «официальные» версии справочников, утвержденные для использования, вместо того чтобы создавать свои локальные версии
🔸 Управление жизненным циклом. Отслеживание, какие системы используют какие справочники, позволяет управлять изменениями без риска сломать отчеты или интеграции
Итог: Реестр справочников — это инструмент ведения единого стандарта работы с данными, который сокращает издержки и повышает надежность вашей аналитики и систем.
А здесь подробно и по существу
Релиз Arenadata Catalog (ADC) 0.8.4 содержит более 120 улучшений, среди которых ключевым стал новый функционал — «Реестр справочников». Это инструмент для централизованного управления референс-данными (RDM).
🔸 Централизованная регистрация и описание. Каждый справочник получает паспорт с бизнес-определением, владельцем (Steward) и четким описанием назначения и иными атрибутами
🔸 Стандартизация. Мы помогаем описать внутренние или отраслевые референсные значения (например, справочник валют)
🔸 Прозрачность и обнаружение. Аналитики и разработчики быстро находят «официальные» версии справочников, утвержденные для использования, вместо того чтобы создавать свои локальные версии
🔸 Управление жизненным циклом. Отслеживание, какие системы используют какие справочники, позволяет управлять изменениями без риска сломать отчеты или интеграции
Итог: Реестр справочников — это инструмент ведения единого стандарта работы с данными, который сокращает издержки и повышает надежность вашей аналитики и систем.
А здесь подробно и по существу
🔥6⚡1
⭐️ Команда ДатаКаталог рада представить очередное обновление платформы Arenadata Catalog — версию v0.8.5. Этот релиз содержит более 70 улучшений, запросы на которые были получены от наших клиентов. Мы продолжаем воплощать ваши пожелания в продукте, делая работу с цифровыми активами более интегрированной, безопасной и эффективной.
Основные улучшения затронули функционал модулей качества данных и каталога метаданных:
🔸Расширенные виджеты тестов качества данных.
🔸Возможность сохранения детализированных результатов тестов качества данных во внешние системы.
🔸Новое графическое отображение качества данных физических объектов хранилища на потоках Data Lineage.
🔸Экспорт диаграмм, таких как ER-диаграммы, Data Lineage, связи объектов глоссария, в графические форматы.
🔸Новые атрибуты на визуализации Data Lineage: хранимые процедуры и конвейеры.
🔸Удобная фильтрация и отображение объектов глоссария.
🔸Новые коннекторы для автоматизированного сканирования структуры метаданных СУБД Greengage и BI-системы Polymatica.
Следите за нашими анонсами, чтобы быть в курсе всех новинок.
Подробное описание релиза по ссылке
Основные улучшения затронули функционал модулей качества данных и каталога метаданных:
🔸Расширенные виджеты тестов качества данных.
🔸Возможность сохранения детализированных результатов тестов качества данных во внешние системы.
🔸Новое графическое отображение качества данных физических объектов хранилища на потоках Data Lineage.
🔸Экспорт диаграмм, таких как ER-диаграммы, Data Lineage, связи объектов глоссария, в графические форматы.
🔸Новые атрибуты на визуализации Data Lineage: хранимые процедуры и конвейеры.
🔸Удобная фильтрация и отображение объектов глоссария.
🔸Новые коннекторы для автоматизированного сканирования структуры метаданных СУБД Greengage и BI-системы Polymatica.
Следите за нашими анонсами, чтобы быть в курсе всех новинок.
Подробное описание релиза по ссылке
⚡9💯1
⭐️ Роль Data Quality в цифровой трансформации
В эпоху роста data-driven-подходов ключевым фактором становится не объем данных, а их качество.
Именно оно определяет точность аналитики, эффективность ML-моделей и успех внедрения AI.
Мы проанализировали инструменты для тестирования и мониторинга качества данных, встроенные в Arenadata Catalog и DQF, и разобрали несколько практических кейсов их применения.
👉 Все детали в статье
В эпоху роста data-driven-подходов ключевым фактором становится не объем данных, а их качество.
Именно оно определяет точность аналитики, эффективность ML-моделей и успех внедрения AI.
Мы проанализировали инструменты для тестирования и мониторинга качества данных, встроенные в Arenadata Catalog и DQF, и разобрали несколько практических кейсов их применения.
👉 Все детали в статье
⚡2👍1💯1