Миграция данных Cassandra с помощью Cassandra Data Migrator
Я хочу рассказать, как мы решаем задачи миграции данных кластеров Cassandra с помощью инструмента Cassandra Data Migrator (CDM). Выбор этой темы продиктован продуктовыми задачами по корректной миграции данных между кластерами Cassandra сложной топологии. Статей с обзором этого решения в русскоязычном сегменте я не нашел и решил описать сам, так как оно будет полезно всем администраторам СУБД Cassandra.
Читать: https://habr.com/ru/companies/zyfra/articles/885554/
#ru
@database_design | Другие наши каналы
Я хочу рассказать, как мы решаем задачи миграции данных кластеров Cassandra с помощью инструмента Cassandra Data Migrator (CDM). Выбор этой темы продиктован продуктовыми задачами по корректной миграции данных между кластерами Cassandra сложной топологии. Статей с обзором этого решения в русскоязычном сегменте я не нашел и решил описать сам, так как оно будет полезно всем администраторам СУБД Cassandra.
Читать: https://habr.com/ru/companies/zyfra/articles/885554/
#ru
@database_design | Другие наши каналы
Что будет интересного в pg_probackup 3
pg_probackup 3 — не просто обновление, а полная перезагрузка системы резервного копирования PostgreSQL. Пока сообщество затаило дыхание в ожидании релиза, мы разберем по косточкам все ключевые изменения: от полностью переработанной архитектуры и нового репликационного протокола до революционной возможности восстановления отдельных баз данных и поддержки FUSE. Узнайте, как LibProbackup3 – полноценный SDK – открывает новые горизонты для интеграции в любую инфраструктуру, а улучшенная поддержка лент и S3, наконец, решает наболевшие проблемы.
Читать: https://habr.com/ru/companies/postgrespro/articles/884432/
#ru
@database_design | Другие наши каналы
pg_probackup 3 — не просто обновление, а полная перезагрузка системы резервного копирования PostgreSQL. Пока сообщество затаило дыхание в ожидании релиза, мы разберем по косточкам все ключевые изменения: от полностью переработанной архитектуры и нового репликационного протокола до революционной возможности восстановления отдельных баз данных и поддержки FUSE. Узнайте, как LibProbackup3 – полноценный SDK – открывает новые горизонты для интеграции в любую инфраструктуру, а улучшенная поддержка лент и S3, наконец, решает наболевшие проблемы.
Читать: https://habr.com/ru/companies/postgrespro/articles/884432/
#ru
@database_design | Другие наши каналы
Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse
Привет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества.
Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH), Data Lake и относительно новую концепцию Lakehouse. Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода.
Всплыть
Читать: https://habr.com/ru/companies/arenadata/articles/885722/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества.
Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH), Data Lake и относительно новую концепцию Lakehouse. Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода.
Всплыть
Читать: https://habr.com/ru/companies/arenadata/articles/885722/
#ru
@database_design | Другие наши каналы
Camunda на проде: восемь типичных ошибок
Итак, вы смоделировали все процессы, написали бизнес-логику и задеплоили все на сервер. Запускаем наши процессы на проде! Поехали? – Но дальше разложено множество граблей, на которые обычно наступают все, кто только начинает эксплуатировать BPM, в том числе и на движке Camunda 7. Эта статья сэкономит вам много времени и успокоит нервы – потому что ситуации, описанные ниже, могут изрядно их попортить, если вы будете не готовы.
Читать: https://habr.com/ru/companies/haulmont/articles/886620/
#ru
@database_design | Другие наши каналы
Итак, вы смоделировали все процессы, написали бизнес-логику и задеплоили все на сервер. Запускаем наши процессы на проде! Поехали? – Но дальше разложено множество граблей, на которые обычно наступают все, кто только начинает эксплуатировать BPM, в том числе и на движке Camunda 7. Эта статья сэкономит вам много времени и успокоит нервы – потому что ситуации, описанные ниже, могут изрядно их попортить, если вы будете не готовы.
Читать: https://habr.com/ru/companies/haulmont/articles/886620/
#ru
@database_design | Другие наши каналы
Обновление PostgreSQL с кластером отката
Зачастую, предлагая обновить PostgreSQL, подразумевается условный прыжок веры на более новую версию без варианта быстрого отката на предыдущую версию без потери данных. А что если...
Читать: https://habr.com/ru/articles/884828/
#ru
@database_design | Другие наши каналы
Зачастую, предлагая обновить PostgreSQL, подразумевается условный прыжок веры на более новую версию без варианта быстрого отката на предыдущую версию без потери данных. А что если...
Читать: https://habr.com/ru/articles/884828/
#ru
@database_design | Другие наши каналы
PostgreSQL Connection Pooling: Наш опыт и с чем его едят
Как обеспечить высокую производительность PostgreSQL и эффективно управлять соединениями? В этой статье мы разберёмся, как правильно настроить пул соединений, какие преимущества он даёт и как избежать распространённых ошибок. Делимся нашим опытом перехода с MongoDB на PostgreSQL и работы с пулом в Go с использованием pgx.
Читать: https://habr.com/ru/companies/hikasami/articles/884820/
#ru
@database_design | Другие наши каналы
Как обеспечить высокую производительность PostgreSQL и эффективно управлять соединениями? В этой статье мы разберёмся, как правильно настроить пул соединений, какие преимущества он даёт и как избежать распространённых ошибок. Делимся нашим опытом перехода с MongoDB на PostgreSQL и работы с пулом в Go с использованием pgx.
Читать: https://habr.com/ru/companies/hikasami/articles/884820/
#ru
@database_design | Другие наши каналы
Что нужно знать, чтобы писать быстрые SQL-запросы
Привет, я Марк Шевченко, ведущий разработчик, ИТ‑холдинг Т1. SQL — мощный декларативный язык, который скрывает от программиста большинство технических деталей. Проектировщики языка предполагали, что его простота поможет не‑программистам работать с данными самостоятельно. К сожалению, простота имеет свою цену, и эта цена — производительность. Некоторые несложные запросы работают слишком медленно, что становится неприятным сюрпризом как для программистов, так и для пользователей.
В попытках повысить производительность начинающие программисты зачастую действуют методом перебора, а это не самый быстрый способ обучения. Для того чтобы писать эффективные запросы, требуется понимание принципов работы СУБД.
В этой статье я расскажу о производительности запросов
Читать: https://habr.com/ru/companies/T1Holding/articles/883988/
#ru
@database_design | Другие наши каналы
Привет, я Марк Шевченко, ведущий разработчик, ИТ‑холдинг Т1. SQL — мощный декларативный язык, который скрывает от программиста большинство технических деталей. Проектировщики языка предполагали, что его простота поможет не‑программистам работать с данными самостоятельно. К сожалению, простота имеет свою цену, и эта цена — производительность. Некоторые несложные запросы работают слишком медленно, что становится неприятным сюрпризом как для программистов, так и для пользователей.
В попытках повысить производительность начинающие программисты зачастую действуют методом перебора, а это не самый быстрый способ обучения. Для того чтобы писать эффективные запросы, требуется понимание принципов работы СУБД.
В этой статье я расскажу о производительности запросов
SELECT. Акцент буду делать не на подробности конкретных реализаций, а на фундамент. В то же время буду иллюстрировать общие положения реальными примерами.Читать: https://habr.com/ru/companies/T1Holding/articles/883988/
#ru
@database_design | Другие наши каналы
Знакомство с PPEM 2
Недавно у Postgres Pro вышла новость о релизе Postgres Pro Enterprise Manager 2 (далее просто PPEM). Если коротко, то это админка для управления и мониторинга Postgres. Основная задача инструмента — помогать DBA в ежедневной работе и избавлять от рутины. Давайте в этой статье попробуем установить и запустить PPEM, посмотреть что это такое и какие возможности предоставляет система.
Читать: https://habr.com/ru/companies/postgrespro/articles/885486/
#ru
@database_design | Другие наши каналы
Недавно у Postgres Pro вышла новость о релизе Postgres Pro Enterprise Manager 2 (далее просто PPEM). Если коротко, то это админка для управления и мониторинга Postgres. Основная задача инструмента — помогать DBA в ежедневной работе и избавлять от рутины. Давайте в этой статье попробуем установить и запустить PPEM, посмотреть что это такое и какие возможности предоставляет система.
Читать: https://habr.com/ru/companies/postgrespro/articles/885486/
#ru
@database_design | Другие наши каналы
Новые ресурсные политики MongoDB Atlas: усиление безопасности и упрощение соблюдения стандартов
MongoDB объявила о полномасштабном запуске новых ресурсных политик в Atlas, включая 7 новых политик и графический интерфейс для их управления. Эти изменения дают администраторам возможность автоматизировать безопасность и соблюдение нормативных требований, упрощая управление конфигурациями и снижая риск неправильных настроек. Персонализация с помощью AI: Новая эпоха взаимодействия с клиентами
Текст поста: В новой статье обсуждается инновационный подход к персонализации клиентского опыта с использованием AI и реального времени. Узнайте, как MongoDB и Cognigy помогают создавать динамичные и более значимые взаимодействия, укрепляющие отношения с клиентами.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB объявила о полномасштабном запуске новых ресурсных политик в Atlas, включая 7 новых политик и графический интерфейс для их управления. Эти изменения дают администраторам возможность автоматизировать безопасность и соблюдение нормативных требований, упрощая управление конфигурациями и снижая риск неправильных настроек. Персонализация с помощью AI: Новая эпоха взаимодействия с клиентами
Текст поста: В новой статье обсуждается инновационный подход к персонализации клиентского опыта с использованием AI и реального времени. Узнайте, как MongoDB и Cognigy помогают создавать динамичные и более значимые взаимодействия, укрепляющие отношения с клиентами.
Читать подробнее
#en
@database_design | Другие наши каналы
DWH: История поиска альтернативы PostgreSQL и Snowflake. Часть 2
Выбор облачного хранилища данных — задача не из простых: десятки решений, каждая со своими плюсами и подводными камнями. В этой статье — результаты масштабного практического исследования, в ходе которого команда Agritask сравнила производительность, масштабируемость, стоимость и совместимость SQL ведущих платформ: от ClickHouse и BigQuery до Druid и Firebolt. Без маркетинговых обещаний — только реальные тесты, живые выводы и нюансы, которые неочевидны до момента внедрения.
Читать: https://habr.com/ru/companies/otus/articles/900916/
#ru
@database_design | Другие наши каналы
Выбор облачного хранилища данных — задача не из простых: десятки решений, каждая со своими плюсами и подводными камнями. В этой статье — результаты масштабного практического исследования, в ходе которого команда Agritask сравнила производительность, масштабируемость, стоимость и совместимость SQL ведущих платформ: от ClickHouse и BigQuery до Druid и Firebolt. Без маркетинговых обещаний — только реальные тесты, живые выводы и нюансы, которые неочевидны до момента внедрения.
Читать: https://habr.com/ru/companies/otus/articles/900916/
#ru
@database_design | Другие наши каналы
Визуальное представление структуры btree индекса PostgreSQL
В статье визуализируется структура индекса и показывается, как меняется структура индекса типа btree в PostgreSQL. Это полезно для понимания, как выглядят индексы btree. Также рассматривается FILLFACTOR и пример исследования структуры индекса в целях определения, как перераспределяются индексные записи при включении в структуру индекса новых блоков (страниц). Создадим простую таблицу, индекс, вставим три строки:
Читать: https://habr.com/ru/articles/900440/
#ru
@database_design | Другие наши каналы
В статье визуализируется структура индекса и показывается, как меняется структура индекса типа btree в PostgreSQL. Это полезно для понимания, как выглядят индексы btree. Также рассматривается FILLFACTOR и пример исследования структуры индекса в целях определения, как перераспределяются индексные записи при включении в структуру индекса новых блоков (страниц). Создадим простую таблицу, индекс, вставим три строки:
Читать: https://habr.com/ru/articles/900440/
#ru
@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?
В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.
Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»
#ru
@database_design | Другие наши каналы
В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.
Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»
#ru
@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?
В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.
Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»
#ru
@database_design | Другие наши каналы
В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.
Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»
#ru
@database_design | Другие наши каналы
NVRAM из EEPROM
Дана функция чтения и записи EEPROM dword.
Запись и стирание возможно только по выровненному адресу и пословно.
Надо поверх EEPROM API сделать функцию чтения, записи и стирания для произвольных массивов байт, по произвольному адресу (NVRAM).
Простыми словами надо состыковать Dword API с Byte API.
В этом тексте я представил простой наивный алгоритм решения данной задачи.
Читать: https://habr.com/ru/articles/815639/
#ru
@database_design | Другие наши каналы
Дана функция чтения и записи EEPROM dword.
Запись и стирание возможно только по выровненному адресу и пословно.
Надо поверх EEPROM API сделать функцию чтения, записи и стирания для произвольных массивов байт, по произвольному адресу (NVRAM).
Простыми словами надо состыковать Dword API с Byte API.
В этом тексте я представил простой наивный алгоритм решения данной задачи.
Читать: https://habr.com/ru/articles/815639/
#ru
@database_design | Другие наши каналы
Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным
Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.
В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения!
Читать: https://habr.com/ru/articles/900840/
#ru
@database_design | Другие наши каналы
Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.
В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения!
Читать: https://habr.com/ru/articles/900840/
#ru
@database_design | Другие наши каналы
👍1
«Основы успеха: Знакомимся с Database Digest от MongoDB»
MongoDB запустила новое цифровое издание Database Digest, которое освещает важнейшую роль данных в современных приложениях. Первая статья фокусируется на том, как современная архитектура данных, соединенная с передовыми технологиями, трансформирует бизнес, открывая новые возможности в эпоху искусственного интеллекта. Узнайте больше на сайте MongoDB! Новые политики безопасности в MongoDB Atlas: что изменилось?
Теперь в общем доступе 7 новых ресурсных политик для усиления безопасности в MongoDB Atlas. Эти политики позволяют организациям автоматизировать контроль безопасности и соответствия нормативам, упрощая управление и ускоряя инновации без замедления работы разработчиков.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB запустила новое цифровое издание Database Digest, которое освещает важнейшую роль данных в современных приложениях. Первая статья фокусируется на том, как современная архитектура данных, соединенная с передовыми технологиями, трансформирует бизнес, открывая новые возможности в эпоху искусственного интеллекта. Узнайте больше на сайте MongoDB! Новые политики безопасности в MongoDB Atlas: что изменилось?
Теперь в общем доступе 7 новых ресурсных политик для усиления безопасности в MongoDB Atlas. Эти политики позволяют организациям автоматизировать контроль безопасности и соответствия нормативам, упрощая управление и ускоряя инновации без замедления работы разработчиков.
Читать подробнее
#en
@database_design | Другие наши каналы
В Европе снова заговорили об отказе от американских платформ и суверенном облаке — анализ ситуации
Разбираемся, в чем заключается проблема с точки зрения европейских регуляторов, какие попытки уже были предприняты и что в ЕС планируют делать дальше.
Читать: https://habr.com/ru/companies/vasexperts/articles/901074/
#ru
@database_design | Другие наши каналы
Разбираемся, в чем заключается проблема с точки зрения европейских регуляторов, какие попытки уже были предприняты и что в ЕС планируют делать дальше.
Читать: https://habr.com/ru/companies/vasexperts/articles/901074/
#ru
@database_design | Другие наши каналы
PostgreSQL Antipatterns: создаем JSON из строки
Я уже не раз поднимал в статьях тему [не]эффективной работы с
Читать: https://habr.com/ru/companies/tensor/articles/901216/
#ru
@database_design | Другие наши каналы
Я уже не раз поднимал в статьях тему [не]эффективной работы с
json[b] в PostgreSQL - и как его лучше превращать в выборку, и как можно "транспонировать". Сегодня же рассмотрим некоторые возможности по его генерации на стороне базы.Читать: https://habr.com/ru/companies/tensor/articles/901216/
#ru
@database_design | Другие наши каналы
Асинхронно копируем объекты между регионами S3 с помощью Python
Привет, Хабр! Я Александр Гришин, отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. В своей практике часто сталкиваюсь с разными задачами клиентов. Среди них, например: реализовать репликацию данных между удаленными друг от друга регионами, отработать домен отказа «Регион» и повысить уровень отказоустойчивости своих сервисов, убрав привязку к одному городу и инфраструктуре. Сегодня я расскажу, как легко реализовать асинхронную репликацию данных в инфраструктуре Selectel, используя Python и boto3. Погнали!
Читать: https://habr.com/ru/companies/selectel/articles/901060/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Я Александр Гришин, отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. В своей практике часто сталкиваюсь с разными задачами клиентов. Среди них, например: реализовать репликацию данных между удаленными друг от друга регионами, отработать домен отказа «Регион» и повысить уровень отказоустойчивости своих сервисов, убрав привязку к одному городу и инфраструктуре. Сегодня я расскажу, как легко реализовать асинхронную репликацию данных в инфраструктуре Selectel, используя Python и boto3. Погнали!
Читать: https://habr.com/ru/companies/selectel/articles/901060/
#ru
@database_design | Другие наши каналы
Что такое гиперконвергенция и почему за ней будущее
Гиперконвергенция — современный способ сделать проще, эффективнее и быстрее работу всей IT-инфраструктуры. Рассказываем, что это такое и почему она выгодна бизнесу на примере vStack HCP.
Читать: «Что такое гиперконвергенция и почему за ней будущее»
#ru
@database_design | Другие наши каналы
Гиперконвергенция — современный способ сделать проще, эффективнее и быстрее работу всей IT-инфраструктуры. Рассказываем, что это такое и почему она выгодна бизнесу на примере vStack HCP.
Читать: «Что такое гиперконвергенция и почему за ней будущее»
#ru
@database_design | Другие наши каналы
🚀 BI для современных предприятий: Новый подход от DataGenie и MongoDB
Бизнес-аналитика сталкивается с вызовами обработки больших объемов данных. DataGenie в сочетании с MongoDB предлагает интеллектуальный анализ, упрощая работу с данными. MongoDB значительно ускоряет запросы и снижает затраты, позволяя предприятиям принимать уверенные решения. Эра повсеместного распространения данных: Будущее уже здесь
В статье рассматривается развитие эпохи "вездесущих данных" и роль современных баз данных, таких как MongoDB, в этом процессе. Компании, обновляющие свои системы, не только снижают расходы, но и закладывают основу для инноваций, интеграции ИИ и роста.
Читать подробнее
#en
@database_design | Другие наши каналы
Бизнес-аналитика сталкивается с вызовами обработки больших объемов данных. DataGenie в сочетании с MongoDB предлагает интеллектуальный анализ, упрощая работу с данными. MongoDB значительно ускоряет запросы и снижает затраты, позволяя предприятиям принимать уверенные решения. Эра повсеместного распространения данных: Будущее уже здесь
В статье рассматривается развитие эпохи "вездесущих данных" и роль современных баз данных, таких как MongoDB, в этом процессе. Компании, обновляющие свои системы, не только снижают расходы, но и закладывают основу для инноваций, интеграции ИИ и роста.
Читать подробнее
#en
@database_design | Другие наши каналы