DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
ЦОДы Cloud4Y в МО: что нового на стройплощадках? Часть 6

Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.

<cut
Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров.

Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data.
И главное — новые дата-центры станут частью единой экосистемы Cloud4Y.


Читать: https://habr.com/ru/companies/cloud4y/articles/932482/

#ru

@database_design | Другие наши каналы
Оптимизация MongoDB с AI и автоматизация управления через Kubernetes
Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоматизация MongoDB Atlas с Crossplane упрощает создание и настройку облачной инфраструктуры через Kubernetes, интегрируясь с CI/CD. В статье также рассказывается о применении AI от AppMap для анализа и оптимизации работы приложений на базе MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Практический CQRS и Event Sourcing на Go

Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных.


Читать: https://habr.com/ru/articles/932510/

#ru

@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных


Читать: https://habr.com/ru/articles/932502/

#ru

@database_design | Другие наши каналы
Построение долговечного хранилища данных

Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.

Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.


Читать: https://habr.com/ru/companies/ozontech/articles/926178/

#ru

@database_design | Другие наши каналы
Полгода с S3 — полет нормальный: как мы пронесли объектное хранилище на Ceph от запуска до выхода из беты

Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.

В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.


Читать: https://habr.com/ru/companies/runity/articles/932720/

#ru

@database_design | Другие наши каналы
Ускоренная экстракция данных из SAP-систем в DWH и Lakehouse: наш опыт интеграции

В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP.

На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA.

В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных.


Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/

#ru

@database_design | Другие наши каналы
Shardman и Citus: как масштабировать СУБД Postgres Pro

Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму.


Читать: https://habr.com/ru/companies/postgrespro/articles/932572/

#ru

@database_design | Другие наши каналы
Выжимаем максимум из Postgres на RTABench Q0

Время от времени приходится слышать мнение, что Postgres никуда не годится для решения задач аналитики. При при этом, в качестве аргументации приводятся в пример результаты тестирования на TPC-H или ClickBench. Что ж, когда стоит простая задача перебрать 100 млн строк на диске и посчитать набор агрегатов над ними - формат хранения и распараллеливания действительно сильно ограничивают нас в возможностях оптимизации СУБД. Однако когда запросы высоко селективны, им по факту требуется не так много строк таблицы и фокус внимания смещается на порядок JOINов, кэширование промежуточных результатов и минимизацию операций сортировки. В этом случае Postgres, имеющий весьма широкий выбор различных стратегий выполнения запроса, может получить преимущество ...


Читать: https://habr.com/ru/articles/931410/

#ru

@database_design | Другие наши каналы
Больше, чем аналитика: как Process Mining помогает ритейлу экономить и повышать выручку

Процессная аналитика (Process Mining) — это методология сбора и анализа информации о бизнес-процессах. Она помогает составить реальную схему процессов, разобраться в их работе и найти узкие места, требующие вашего внимания. Также процессная аналитика помогает выявлять «нетипичные» пути прохождения и прогнозировать работу бизнес-процессов.

Мы рассмотрим подробнее эту методологию и особенности её применения. А также на нескольких примерах из практики М.Видео-Эльдорадо и Т1 покажем, чем процессная аналитика может быть полезна в компании.


Читать: https://habr.com/ru/companies/mvideo/articles/933160/

#ru

@database_design | Другие наши каналы
👍3
Как я от нечего делать замедлил Postgres в 42 000 раз

Всех постоянно интересует, как сделать Postgres быстрее, эффективнее и всё такое, но никто не задумывался, как её замедлить. Да, большинству этих людей платят за то, чтобы они повышали скорость, но ко мне это не относится. Недавно я писал более полезное руководство, и мне вдруг пришла мысль, что кто-то должен попробовать создать такую конфигурацию Postgres, которая будет настроена на максимально медленную обработку запросов. Зачем? Сложно сказать, но вот такая возникла мысль.


Читать: https://habr.com/ru/companies/ruvds/articles/932278/

#ru

@database_design | Другие наши каналы
Как я от нечего делать замедлил Postgres в 42 000 раз

Всех постоянно интересует, как сделать Postgres быстрее, эффективнее и всё такое, но никто не задумывался, как её замедлить. Да, большинству этих людей платят за то, чтобы они повышали скорость, но ко мне это не относится. Недавно я писал более полезное руководство, и мне вдруг пришла мысль, что кто-то должен попробовать создать такую конфигурацию Postgres, которая будет настроена на максимально медленную обработку запросов. Зачем? Сложно сказать, но вот такая возникла мысль.


Читать: https://habr.com/ru/companies/ruvds/articles/932278/

#ru

@database_design | Другие наши каналы
Контентный модуль APM на OpenTelemetry — архитектура, метрики, выводы

В статье рассматривается применение трассировок стандарта OpenTelemetry для реализации инструментов мониторинга микросервисов на базе продукта Smart Monitor. Решаются задачи инвентаризации сервисов и ресурсов, анализа трассировок и формирования модели здоровья микросервисных архитектур.


Читать: https://habr.com/ru/articles/933512/

#ru

@database_design | Другие наши каналы
CJON (Compact JSON-like Object Notation) v1.1

1. Назначение

CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы.

2. Области применения

• Дистанционная телеметрия для сельского хозяйства и промышленного оборудования
• Аварийные сообщения и тревоги
• Автоматизация в условиях низкоскоростной или оффлайн-связи
• Мобильные устройства, передающие структурированные данные через SMS или голосовую связь
• Передача данных по DTMF через GSM-сети


Читать: https://habr.com/ru/articles/933632/

#ru

@database_design | Другие наши каналы
CJON (Compact JSON-like Object Notation) v1.1

1. Назначение

CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы.

2. Области применения

• Дистанционная телеметрия для сельского хозяйства и промышленного оборудования
• Аварийные сообщения и тревоги
• Автоматизация в условиях низкоскоростной или оффлайн-связи
• Мобильные устройства, передающие структурированные данные через SMS или голосовую связь
• Передача данных по DTMF через GSM-сети


Читать: https://habr.com/ru/articles/933632/

#ru

@database_design | Другие наши каналы
Выбор стратегии компактизации в ScyllaDB

ScyllaDB — это высокопроизводительная NoSQL база данных, созданная как улучшенная версия Apache Cassandra на C++. Она способна обрабатывать миллионы операций в секунду, что делает ее лидером среди распределенных баз данных. Такая производительность достигается благодаря особой архитектуре хранения данных, в центре которой находится процесс компактизации данных. Правильный выбор стратегии компактизации данных и ее оптимизация - это ключ к высокой производительности и отказоустойчивости распределенной базы данных ScyllaDB.

В этой статье рассмотрены все стратегии компактизации, их преимущества и недостатки, а также приведен детальный алгоритм выбора стратегии компактизации под конкретные use cases.


Читать: https://habr.com/ru/articles/933630/

#ru

@database_design | Другие наши каналы
Большие ресурсы — большие проблемы? Расскажите в опросе, как вы управляете своей инфраструктурой в ЦОДе или облаке

«- Внимание! Нагрузка растёт неравномерно! О нет, ручное управление не помогает…
- Сбой! Повторяю: сбой! Инфраструктура падает!
- Нужно больше ресурсов!»

Звучит как сцена из фантастического фильма-катастрофы, но в компаниях с большим количеством хостов и высокой нагрузкой на них так могут выглядеть и обычные рабочие будни. Хабр и Octopus решили опросить айтишников из компаний с развитой инфраструктурой, чтобы узнать как те справляются со своими IT-ресурсами, какие инструменты для этого задействуют и чего им не хватает для счастья работы без перегрузок и нервов.


Читать: https://habr.com/ru/specials/933228/

#ru

@database_design | Другие наши каналы
Уронили, отключили, обрубили, сломали: четыре сценария отказа метрокластера в прямом эфире

Привет, Хабр!

Когда речь заходит об отказоустойчивости между ЦОДами, метрокластер — почти всегда первое, что приходит в голову. Раньше это был стандарт: один ЦОД падает — второй подхватывает. Все работает, данные не теряются. Вместе с уходом западных вендоров их решения ушли вместе с ними либо появились огромные трудности с их конфигурированием и поддержкой.

С 2024 года у нас на тестовом стенде стоят системы хранения AQ440 от «Аэродиск». Мы их активно «мучаем»: имитируем отказы, нагружаем, меряем задержки, устраиваем испытания на выживание. Наш выбор связан с тем, что это единственное решение (на данный момент), у которого есть поддержка метрокластера. И основной фокус сегодняшнего рассказа — описать сценарии работы этой технологии. Не имитацию, не полумеру, а рабочую схему с реальным переключением между площадками, отказами и всем, что из этого следует.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/933768/

#ru

@database_design | Другие наши каналы
Как мы реализовали георезервирование инфраструктуры для системы видеоконференций: опыт, ошибки, выводы

Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы строили георезервирование для инфраструктуры, что пошло не так и какие выводы сделали. Перед вами — true story, как мы помогаем одному из наших заказчиков сопровождать инфраструктуру большого критичного сервиса.

Привет, Хабр! Это Никита Турцаков и Алексей Кузьмин из К2.

В этой статье расскажем:
— зачем и для чего нужно георезервирование для системы ВКС;
— как мы подошли к выбору архитектуры;
— с чем столкнулись при реализации;
— и что бы сделали по-другому, если бы начинали сейчас.

Готовьтесь: будет много практики и немного боли — потому что как без неё в масштабных и амбициозных задачах.


Читать: https://habr.com/ru/companies/k2tech/articles/932106/

#ru

@database_design | Другие наши каналы
Как современные технологии меняют автомобильную документацию
В автомобильной индустрии растёт спрос на быстрый доступ к технической информации. MongoDB Atlas Search предлагает интеллектуальные решения для поиска и понимания сложных документов, помогая техническим специалистам и клиентам находить нужные данные мгновенно. Как эффективно создавать продукты на основе генеративного ИИ

Для разработки ген ИИ-фич важна быстрая прототипизация и тестирование с реальными пользователями. Важным ресурсом становятся внутренние хакатоны и инструменты вроде Cursor, которые помогают быстро создавать и улучшать идеи, опираясь на честную обратную связь.

Читать подробнее

#en

@database_design | Другие наши каналы