Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь

Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь. Почему у нас вырастает 160 таблиц там, где мог быть один jsonb? И как понять, когда денормализация — это костыль, а когда осознанный выбор?

Если при слове ‘нормализация’ у тебя начинается зевота, а менеджер с порога предлагает ‘спроектировать базу’ — этот текст для тебя.


Читать: https://habr.com/ru/articles/948612/

#ru

@database_design | Другие наши каналы

Proxmox VE + ZFS/CEPH для малого продакшена: экономим, но без авантюр

В современном IT-ландшафте малый и средний бизнес (SMB) сталкивается с фундаментальным противоречием: необходимость в инфраструктуре корпоративного уровня надежности при бюджете, который редко можно назвать корпоративным. Требования к аптайму, целостности данных и катастрофоустойчивости сегодня высоки как никогда, но традиционные решения от лидеров рынка становятся все менее доступными. Недавние изменения на рынке виртуализации, в частности, последствия приобретения VMware компанией Broadcom, лишь усилили эту тенденцию, заставив многих искать мощные и экономически эффективные альтернативы.

В этом контексте Proxmox Virtual Environment (VE) выделяется как один из ведущих претендентов на роль стандартной платформы для SMB. Это комплексное решение с открытым исходным кодом, которое объединяет в себе гипервизор KVM, контейнеризацию LXC, программно-определяемые хранилища (SDS) и сети (SDN) в едином управляемом интерфейсе. Proxmox VE предлагает функциональность, ранее доступную только в дорогостоящих коммерческих продуктах, делая ее доступной для широкого круга компаний.

Однако внедрение Proxmox в прод ставит перед системным архитектором ключевой выбор, определяющий всю дальнейшую архитектуру, стоимость и уровень отказоустойчивости системы. Этот выбор — технология хранения данных. Настоящая статья посвящена детальному разбору двух основных путей.
К сути дела

Читать: https://habr.com/ru/articles/948696/

#ru

@database_design | Другие наши каналы

Присоединяйтесь к команде Globally Distributed Database на Oracle AI World 2025. Узнайте о передовых технологиях распределённых баз данных и их влиянии на развитие искусственного интеллекта. Важное событие для профессионалов IT и AI отрасли.

Читать подробнее

#en

@database_design | Другие наши каналы

Oracle AI World 2025 приглашает на сессии Oracle True Cache. Узнайте, как новые технологии кэширования ускоряют работу баз данных и улучшают эффективность бизнес-процессов. Будущее управляемых данных уже здесь — не пропустите важное событие!

Читать подробнее

#en

@database_design | Другие наши каналы

Как я перенёс опыт из PostgreSQL в MongoDB и получил готовый чек-лист

Работаете с PostgreSQL и хотите попробовать MongoDB? Я спроецировал опыт работы с реляционными БД на NoSQL и собрал два чек-листа: проверенные практики для PostgreSQL и их аналоги для MongoDB.

Без воды, только ключевые пункты чтобы быстро стартовать и не наступать на типичные грабли.


Читать: https://habr.com/ru/articles/948942/

#ru

@database_design | Другие наши каналы

Миграция BharatPE с MongoDB Community Edition на Atlas: опыт масштабирования и улучшения безопасности. Переход помог компании повысить производительность на 40%, обеспечить беспрерывную работу и соответствие высоким требованиям финтеха. Подробнее об этом мастер-классе в статье. Оптимизация пакетных задач в MongoDB: как повысить производительность ETL-процессов до 15 раз. Новый фреймворк сокращает задержки, снижает нагрузку и масштабируется без потери стабильности. Решение для современных digital-платформ и больших данных.

Читать подробнее

#en

@database_design | Другие наши каналы

От наскальных рисунков до S3: эволюция хранения данных

Как вы храните данные? Используете файловое хранилище, S3, базы данных, держите файлы прямо на сервере, храните все локально на HDD, SSD или даже флешке — вариантов масса, на любой вкус и цвет. В этой статье я предлагаю вспомнить, как развивалось хранение информации и как мы прошли путь от наскальной живописи до приватного S3. Это поможет разобраться, какую технологию лучше использовать для ваших задач.


Читать: https://habr.com/ru/companies/selectel/articles/949212/

#ru

@database_design | Другие наши каналы

Шашечки или ехать? В бэкапе теперь можно и то, и другое

Привет, Хабр! Я Саша, в Хайстекс отвечаю за B2B-продажи и давно работаю с облаками и бэкапом. В этой статье хочу рассказать о подходе, который, на мой взгляд, помогает закрыть одну из самых болезненных задач в этой области.

При работе с облачными сервисами часто приходится идти на компромисс: либо хранить дешево, но восстанавливать долго, либо платить за скорость. Допустим, у одного eCommerce-сервиса внезапно упал гипервизор, с ним ушли в офлайн несколько ВМ. Все бэкапы хранились в S3-объектном хранилище. Чтобы восстановить ВМ придется разворачивать ее из архива. На все в среднем уходит около 40 минут. Все это время система заказов лежит, а бизнес считает убытки. С Double Storage мы сделали так, что время восстановления сократилось до 6-8 минут. Что это за технология, как она работает и почему с ней действительно проще – разберём под катом. Технические подробности можем разобрать в комментариях, если будет интерес.


Читать: https://habr.com/ru/companies/hstx/articles/949350/

#ru

@database_design | Другие наши каналы

Серверный «сэконд-хенд» 2.0: как экономить в 2025 без потерь в надёжности

Нужно нарастить мощность без лишнего CAPEX? Разбираем, как вторичный рынок серверов превращается из «плана Б» в стандарт: 50–80% экономии, недели вместо месяцев, совместимость с российскими ОС. Плюс: чек-лист приёмки, таблица конфигураций и как провести пилот, чтобы спорить цифрами, а не мнениями.


Читать: https://habr.com/ru/articles/949396/

#ru

@database_design | Другие наши каналы

Оптимизация batch-обработки в MongoDB: как современный фреймворк позволяет выполнять массовые операции в 10-15 раз быстрее старых систем. Новая архитектура снижает задержки и масштабируется под высокие нагрузки, решая главные проблемы миграции с реляционных баз данных. MongoDB Atlas помог fintech-компании BharatPE без простоев мигрировать с Community Edition, повысить производительность на 40% и обеспечить безопасность данных. Гибкая автоматическая масштабируемость и надежность сделали инфраструктуру надежной и готовой к масштабированию.

Читать подробнее

#en

@database_design | Другие наши каналы

Как мы наводим порядок в BI: опыт внедрения процесса ревью отчётов

В 2019 году центральная BI-команда нашей компании столкнулась с типичной задачей: как небольшой командой разработчиков обеспечить качественную аналитику для тысяч сотрудников в условиях быстро растущего бизнеса и высокой самостоятельности подразделений?

Мы сделали ставку на модель self-service BI: инструмент передали бизнес-пользователям, чтобы они могли сами строить отчёты. Идея «демократизации данных» поначалу казалась удачной. Но без чётких правил, стандартов и контроля всё быстро превратилось в BI-хаос: тысячи разрозненных отчётов, низкая производительность, противоречивые метрики и перегруженная инфраструктура на Premium P3. Пользователи жаловались, доверие к BI падало, а управлять этим потоком становилось всё сложнее.

В этой статье мы — Ринат Хабибрахманов, руководитель практики BI в Лемана Тех, и Лариса Фернандес, ведущий разработчик аналитических систем, — делимся опытом нашей команды. Расскажем, как мы шаг за шагом внедряли процесс ревью Power BI-отчётов, чтобы вернуть контроль, улучшить качество аналитики и восстановить доверие пользователей к BI-системе.

Ключевым шагом стало внедрение процесса ревью. Ниже подробно разберём, зачем он понадобился, какие цели мы ставили и как его организовали.


Читать: https://habr.com/ru/articles/948004/

#ru

@database_design | Другие наши каналы

asapBI: импортозамещение SAP Calculation View

Любите ли вы SQL так же, как и я? Недавно, собирая огромный SQL-запрос, я понял, что надо что-то менять.

Логическим блоком в SQL является подзапрос или CTE и вроде бы можно разбивать запрос по блокам и работать с ними отдельно, как строится по кирпичикам любое приложение.

Однако когда весь текст запроса идет сплошняком на многие экраны, сложно и разрабатывать, и  через длительное время понимать алгоритм запроса.

А что, если не надо писать SQL? В SAP мы не писали запросы, мы создавали Calculation View, и работать с ними было на порядок быстрее и приятнее.

Перефразируя диалог из Матрицы:

- Когда я стану избранным, я смогу писать длинный SQL?

- Тебе не надо будет писать SQL.
Как?

Читать: https://habr.com/ru/articles/948888/

#ru

@database_design | Другие наши каналы

Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий.

Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат.

В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.


Читать: https://habr.com/ru/companies/hstx/articles/949622/

#ru

@database_design | Другие наши каналы

Эволюция мулыкальных ретрогаджетов, или как наши деды слушали музыку

Сейчас музыка живет в приложениях и ваших плейлистах. Чтобы послушать великую классику или модный рэп, достаточно сделать пару кликов. И все это онлайн, а если хотите оффлайн-решение, из облака музыка сразу скачивается на телефон. Но всего 100 лет назад каждая проигранная мелодия требовала механики, а в 80-е она только начинала цифровизироваться.

В этой подборке пройдем путь главных устройств, которые меняли не только формат хранения звука, но и саму жизнь. Детали внутри.


Читать: https://habr.com/ru/companies/selectel/articles/949598/

#ru

@database_design | Другие наши каналы

Где я храню фото: облачные хранилища или жесткий диск

Мои хобби и работа связаны с фотографией (чуть меньше — с видео). Я снимаю горы контента, из-за чего память смартфона быстро забивается. Та же ситуация с «нормальной» камерой. Приходится постоянно освобождать карты памяти. Но возникает проблема: куда девать отснятое?

Предлагаю обсудить, где лучше хранить фото и видео в электронном виде. Я кратко рассмотрю особенности двух вариантов и поделюсь своими наблюдениями. Сразу предупреждаю: говорить буду с учетом возможностей и потребностей обычного пользователя. Не ждите откровений в духе: написал тулзу, которая мониторит все изменения и тут же заливает файлы на собственный сервер с автономным питанием и резервными каналами. Но если у вас есть подобный опыт, обязательно поделитесь им в комментариях.


Читать: https://habr.com/ru/articles/949754/

#ru

@database_design | Другие наши каналы

Почему 95% AI-агентов предприятия не доходят до продакшна? Исследование MIT и McKinsey указывает на ключевые ошибки — технологический форсаж без бизнес-цели, разрыв в возможностях, отсутствие лидерства и хаос с данными. Новый подход Canvas Framework помогает строить AI с чёткой стратегией и пользой. Как BharatPE масштабирует финтех с MongoDB Atlas
Финтех-компания BharatPE перешла с MongoDB Community Edition на облачную платформу Atlas. Это позволило упростить управление данными, повысить безопасность и масштабируемость, обеспечивая стабильную работу при росте нагрузки и объёмах данных. MongoDB Atlas и MCP Toolbox: новая эра для AI и данных
Интеграция MongoDB Atlas с открытым MCP Toolbox упрощает работу с данными, позволяя выполнять сложные запросы и CRUD-операции из единых AI-систем. Это открывает возможности для создания масштабируемых AI-приложений и повышения эффективности бизнеса.

Читать подробнее

#en

@database_design | Другие наши каналы

Clickhouse в машинном обучении без использования GPU (Часть 1)

Один из моих коллег сказал когда-то, что "база данных - это хранилище, а не считалище!". Эту фразу я вспоминал регулярно, пока проводил свое маленькое исследование. Целью данной статьи является описание практического опыта эффективного решения одной из задач ML на существующих аппаратных ресурсах, без аренды/покупки дорогостоящих GPU.


Читать: https://habr.com/ru/articles/948318/

#ru

@database_design | Другие наши каналы

Можно ли перейти с Oracle или MS SQL на СУБД из Реестра российского ПО без переписывания всей хранимой логики?

Можно ли перейти с Oracle или MS SQL на СУБД из Реестра российского ПО без переписывания всей хранимой логики?
Один из возможных подходов к решению этой задачи.


Читать: https://habr.com/ru/articles/949980/

#ru

@database_design | Другие наши каналы

Обрабатываем строки в 109 раз быстрее, чем Nvidia на H100

Недавно я выпустил StringZilla v4 — первый релиз с поддержкой CUDA моей библиотеки для обработки строк. нацеленной в первую очередь на SIMD. Это означает, что теперь она стала быстрой не только на CPU, но и на GPU!

• Я хотел добавить ускорение ROCm для GPU AMD

• Я хотел добавить параллельный мультипаттерновый алгоритм поиска

• Я хотел опубликовать всё это ещё в декабре 2024 года

Итак, не всё пошло по плану, но StringZilla 4 CUDA наконец-то здесь, и она добавляет 500 с лишним GigaCUPS вычислений редакторского расстояния; при этом пакет можно установить через pip install. Также в ней есть некоторые другие трюки, предназначенные для крупномасштабных систем извлечения данных, баз данных и озёр данных, а также биоинформационных задач. И всё это под разрешительной опенсорсной лицензией Apache 2.0, позволяющей свободно использовать библиотеку в коммерческих целях. В этом посте я рассмотрю самые интересные части релиза, и в том числе:

• Быструю оценку алгоритмов динамического программирования на GPU,

• Хэширование CRC32, MurMurHash, xxHash, aHash и не только, а также

• Фингерпринтинг биологических последовательностей 52-битными целыми числами


Читать: https://habr.com/ru/articles/949522/

#ru

@database_design | Другие наши каналы

Dell PowerEdge R7715

Серверный рынок постоянно развивается, и Dell не отстаёт от трендов. Недавно компания представила PowerEdge R7715 — 2U-сервер на базе процессоров AMD EPYC 9005, который сразу привлёк внимание специалистов по инфраструктуре. В этой статье мы расскажем, почему этот сервер может стать отличным решением для вашего дата-центра.


Читать: https://habr.com/ru/articles/950062/

#ru

@database_design | Другие наши каналы

Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.


Читать: https://habr.com/ru/articles/948854/

#ru

@database_design | Другие наши каналы