Как работает Sharding в базах данных?

Что такое Sharding. Показываем, как работает шардинг в базах данных. Рассматриваем пошаговую инструкцию и основные нюансы ✔ Tproger

Читать: «Как работает Sharding в базах данных?»

#ru

@database_design | Другие наши каналы

Новая эра грамотности: стартап Ojje с помощью MongoDB создает адаптивную платформу для обучения чтению. Ojje предлагает персонализированные материалы с 15 уровнями сложности и поддержкой нескольких языков, помогая детям преодолеть кризис грамотности и увлечься чтением. MongoDB Atlas теперь интегрирован в Azure как нативный сервис. Это упрощает управление базами данных, объединяет биллинг и ускоряет запуск AI-проектов с помощью Azure. Компаниям становится проще масштабировать и защищать свои данные в облаке.

Читать подробнее

#en

@database_design | Другие наши каналы

Зачем нужен fillfactor в PostgreSQL

Привет, Хабр!

Один параметр PostgreSQL может похоронить вашу производительность, если вы о нём забудете — это fillfactor. Почему однократная настройка числа приводит к неожиданным page split, bloat и мучительному откату запросов? Давайте разбираться.


Читать: https://habr.com/ru/companies/otus/articles/905882/

#ru

@database_design | Другие наши каналы

Почему SCD Type 2 медленно работает в DWH, и как это чинится через Merge + Hash

Привет, Хабр!

В этом статье рассмотрим, почему классическая реализация SCD Type 2 в DWH начинает жутко тормозить на миллионах строк и как с этим бороться при помощи комбинации MERGE + hash-diff.


Читать: https://habr.com/ru/companies/otus/articles/905844/

#ru

@database_design | Другие наши каналы

Как LLM могут помочь аналитикам баз данных в работе с SQL-запросами

В современных компаниях корпоративные хранилища данных (Data Warehouse) играют критически важную роль, обеспечивая централизованное хранение и обработку больших объёмов информации. Данные поступают из разнообразных источников: операционных систем, CRM, ERP, IoT-устройств, веб-аналитики, мобильных приложений и других платформ, отражая все аспекты деятельности организации. На основе этой информации компании формируют разного рода отчётность, отслеживают ключевые показатели эффективности (KPI), оптимизируют бизнес-процессы, прогнозируют рыночные тенденции и принимают стратегические решения.

Эффективная работа с хранилищем невозможна без участия бизнес- и системных аналитиков, которые проектируют структуры данных, очищают и объединяют информацию, адаптируя решения под меняющиеся задачи. С ростом объёмов данных и требований к скорости анализа даже опытные команды сталкиваются с вызовами. Рутинные операции — проектирование схем, поиск таблиц, проверка качества данных — требуют не только технических навыков, но и глубокого понимания бизнес-контекста. Большую часть времени занимает написание и оптимизация SQL-запросов, что становится «узким местом» в условиях динамично меняющихся требований.

Ошибки в SQL-запросах или недостаточное знание структуры данных приводит к потерям времени и снижению точности аналитики. Для решения этих проблем на помощь приходят технологии на основе больших языковых моделей (LLM), таких как GigaChat, GPT, BERT или DeepSeek. Обученные на исторических данных и журналах запросов, они способны автоматизировать подбор таблиц, JOIN-условий и шаблонов SQL.


Читать: https://habr.com/ru/companies/sberbank/articles/909730/

#ru

@database_design | Другие наши каналы

Идеальный NAS на 8 NVME дисков. Обзор Terramaster F8 Pro

У меня как и, наверное, у любого айтишника есть какое-то огромное количество файлов, которое надо бэкапить. И у меня уже есть NAS с обычными HDD дисками для моих бэкапов. Но для себя я решил, что NAS c HDD хорошо подходит для хранения чего-то к чему не очень то и часто обращается. А вот если нужно хранить что-то что иногда нужно скачать или закачать, то значительно приятнее работать с NAS на NVME дисках.

Таких девайсов на самом деле не так уж и много. Есть некоторые модели на 4 диска. А вот на 8 дисков я даже и конкурентов не знаю. Поэтому сегодня будет обзор на уникальную по-своему штуковину - NAS на 8 быстрых NVME дисков. Да еще и с 10 гигабитным ethernet портом.


Читать: https://habr.com/ru/articles/910138/

#ru

@database_design | Другие наши каналы

Внедрение программного обеспечения Экстрактор 1С в компании Level Group: результаты и перспективы

Компания обратилась к нам для решения задачи по сокращению времени получения данных и оптимизации работы команды разработки 1С.

Level Group – один из ведущих застройщиков бизнес-класса в Москве.

За три года компания утроила свои масштабы, достигнув оборота в 100 миллиардов рублей в 2024 году.

Отличительные черты Level Group – это современные и стильные жилые комплексы, продуманные планировки квартир и оригинальные дизайнерские решения.


Читать: https://habr.com/ru/articles/910256/

#ru

@database_design | Другие наши каналы

ИИ в Data Governance: как мы ускорили маркировку персональных данных

Перед нашей командой встала задача сделать продукт управления данными удобнее, добавив алгоритмы искусственного интеллекта. Но какое решение выбрать? Какой процесс нуждался в автоматизации больше всего? С какими ограничениями и сложностями мы столкнулись? Какой бизнес-эффект мы получили в результате? На эти вопросы ответит статья.


Читать: https://habr.com/ru/companies/rostelecom/articles/909976/

#ru

@database_design | Другие наши каналы

Ошибки, которые можно избежать в SQL: грабли начинающего аналитика

Эта статья — ваш чеклист по самым распространённым ошибкам в SQL: с примерами, пояснениями и советами, как не попасть в ловушку из-за забытого WHERE или неправильного JOIN.

Читать: «Ошибки, которые можно избежать в SQL: грабли начинающего аналитика»

#ru

@database_design | Другие наши каналы

Мой адрес — не дом и не улица: как создать нужную бизнесу адресную модель

Приходит заказчик и говорит: «Мы новую систему строим, проконсультируйте нас, пожалуйста. Вы же адресами занимаетесь. Нам нужно сделать универсальную адресную модель. Вот у вас «Единый адрес» есть, какая там модель? Мы примем ее за эталонную и будем в своих системах использовать».

Ребята, я вас сейчас разочарую. В «Едином адресе» не одна адресная модель, а несколько. И ни одну из них копировать просто так не нужно.

Эта статья для архитекторов, аналитиков и разработчиков. В ней я расскажу, в чем подводные камни в работе с адресами и что нужно учитывать при проектировании адресных моделей.


Читать: https://habr.com/ru/companies/hflabs/articles/909750/

#ru

@database_design | Другие наши каналы

Тестируем скорость SSD 1993 года выпуска. На КПК Psion Series 3c, с операционной системой SIBO 16, на языке OPL

В середине 2000 я купил Psion 3c для коллекции. Лет через 10 увидел, что его комплектный диск называется SSD — Solid State Disk. На волне тестирования NVME возникла идея, а не протестировать ли скорость SSD-1993? И спустя 20 лет после покупки на этой машинке была написана первая программка.
Что вышло…

Читать: https://habr.com/ru/companies/beeline_tech/articles/900770/

#ru

@database_design | Другие наши каналы

Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…

Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша задача — делать так, чтобы каждый быстро и удобно получал нужную информацию без лишней суеты и ожиданий.

Поэтому мы стараемся все автоматизировать и оптимизировать. Сегодня расскажу, как решаем эти задачи, а ещё про собственные хранилища аналитиков и bus-фактор.


Читать: https://habr.com/ru/companies/profi_ru/articles/910768/

#ru

@database_design | Другие наши каналы

Как заставить вашу базу данных летать, а не ползать. Часть 1 масштабирование и репликация

Всем привет! Меня зовут Илья Криволапов, тружусь системным аналитиком в SENSE на проекте одного из цветных банков РФ. В профессии я уже пятый год и, несмотря на фамилию, ломал прод всего лишь несколько незначительных раз (надеюсь).

На досуге я преподаю в университете дисциплину «Хранение и обработка больших объемов данных» и за все время у меня накопилось много полезной информации. Непростительно хранить такой клад у себя в столе, поэтому я подготовил для читателей Хабра ультимативный гайд по оптимизации или хорошему такому, грамотному проектированию баз данных с расчетом на масштабирование.

Всего в цикле будет 3 статьи. В первой поговорим о двух разных подходах масштабирования БД и о том, как лучше его делать и как лучше не делать (Никогда. Пожалуйста).

Кому будет полезно? Всем отвечающим за «здоровье» базы данных: DBA, архитекторам, DevOps-инженерам, аналитикам и разработчикам.

Согласны? Узнали? Тогда поехали!


Читать: https://habr.com/ru/companies/it_sense/articles/910632/

#ru

@database_design | Другие наши каналы

Переносите базы данных в облако Oracle с минимальными усилиями. В статье рассказывается о DMS — удобном графическом инструменте, который управляет миграцией и использует проверенные сервисы Oracle для безопасной и без простоев пересадки данных.

Читать подробнее

#en

@database_design | Другие наши каналы

Новый мастер-класс от Oracle LiveLabs предлагает пошаговое руководство по поиску по сходству с использованием Oracle Autonomous Database и открытых данных национальных парков США. Отличный способ познакомиться с возможностями AI Vector Search и применить их на практике.

Читать подробнее

#en

@database_design | Другие наши каналы

Новые горизонты с MongoDB: адаптация и инновации
В свежем обзоре рассказывается, как компании вроде LG U+ и Citizens Bank используют MongoDB для повышения эффективности, реального времени и внедрения ИИ, чтобы оставаться лидерами в быстро меняющемся мире данных и технологий. Ojje создаёт гибкую образовательную платформу с помощью MongoDB, обеспечивая масштабируемость и безопасность данных. Скоро появятся новые STEM-материалы и инструменты для учителей, а также проект Ojje at Home для поддержки чтения в семьях. Будущее образования меняется.

Читать подробнее

#en

@database_design | Другие наши каналы

Чем отличается обработка ПД Интернет-магазином от обработки ПД любым другим сайтом: это нужно знать бизнесу

Что общего между... Нет, не ежиком и молоком или карандашом и ботинком… А между маленьким и крупным Интернет-магазином?

Так как я юрист для бизнеса, а не психиатр, мой вопрос проще. Но если вам интересно, что там с ежиком, молоком, карандашом и ботинком, отвечу здесь, чтобы вы не ушли искать, так как дальше будет крайне важно для тех, кто продает что-либо в Сети
Узнать про молоко, ежиков и обработку ПД

Читать: https://habr.com/ru/articles/910974/

#ru

@database_design | Другие наши каналы

Проблема мягкого удаления (deleted_at) и как её решить

Привет, Хабр!

В этой статье рассмотрим классическую проблему «мягкого удаления» на уровне схемы баз данных и её влияние на аналитику.

Почти в каждой системе встречается требование «не удалять данные окончательно».


Читать: https://habr.com/ru/companies/otus/articles/910882/

#ru

@database_design | Другие наши каналы

Как использовать RBAC в OCI для доступа к ORDS

В статье показано, как применять RBAC-права в JWT от OCI IAM для защиты API Oracle REST Data Services. Первая часть руководства посвящена тестированию и работе с инструментом Insomnia.

Читать подробнее

#en

@database_design | Другие наши каналы

Как использовать RBAC в OCI для защиты API через JWT

Вторая часть инструкции показывает, как с помощью примера на JavaScript протестировать доступ к защищённым ресурсам Oracle REST Data Services, используя RBAC в JSON Web Token от Oracle Cloud Infrastructure.

Читать подробнее

#en

@database_design | Другие наши каналы