DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Портим данные с удовольствием

Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что, если мы скажем, что иногда правильнее всё делать наоборот: намеренно «портить» данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».


Читать: https://habr.com/ru/companies/postgrespro/articles/909514/

#ru

@database_design | Другие наши каналы
Портим данные с удовольствием

Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что если мы скажем, что иногда правильнее всё делать наоборот: намеренно портить данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».


Читать: https://habr.com/ru/companies/postgrespro/articles/948226/

#ru

@database_design | Другие наши каналы
MongoDB.local.NYC 2025: база данных для эпохи ИИ
На конференции MongoDB.local в Нью-Йорке представили MongoDB 8.2 с новыми AI-возможностями и платформу AMP для ускоренной модернизации систем. MongoDB становится ключевым инструментом для создания масштабируемых и надёжных AI-приложений будущего. Лучшие партнеры MongoDB 2025 года: Accenture, Confluent, BigID, LangChain и другие получили награды за вклад в цифровую трансформацию, AI-разработки и масштабные проекты. Их совместные успехи открывают новые возможности для бизнеса по всему миру.

Читать подробнее

#en

@database_design | Другие наши каналы
Оптимизация пакетных задач в страховании с MongoDB
Переход на Java и MongoDB не снижает производительность пакетных процессов. Новая оптимизационная платформа ускоряет обработку данных в 10–15 раз, устраняя узкие места и поддерживая масштабируемость современных страховых систем. Новые горизонты MongoDB в эпоху ИИ

MongoDB представила мощные обновления и партнерские решения, которые ускоряют разработку интеллектуальных приложений. В центре внимания — гибкая архитектура и инструменты для создания AI-приложений с учетом контекста, памяти и масштабируемости.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоэмбеддинги: поиск на ИИ без лишней мороки

Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги.
Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.


Читать: https://habr.com/ru/articles/947632/

#ru

@database_design | Другие наши каналы
Как онтология помогает представить структуру данных и семантику приложения

В больших проектах, которые объединяют множество компонентов, нередко возникают проблемы унификации подходов и понимания связей между всеми сервисами. В результате долгое время у ИТ-команд существовал запрос на новую модель описания структуры данных и семантики приложения. Она появилась благодаря адаптации онтологии под нужны ИТ.

Меня зовут Алексей Гуляев. Я архитектор решений в команде VK Tech. В этой статье я расскажу об онтологии в ИТ, вариантах ее использования и нашем кейсе применения онтологического подхода для решения внутренней задачи.


Читать: https://habr.com/ru/companies/vktech/articles/948492/

#ru

@database_design | Другие наши каналы
Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь

Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь. Почему у нас вырастает 160 таблиц там, где мог быть один jsonb? И как понять, когда денормализация — это костыль, а когда осознанный выбор?

Если при слове ‘нормализация’ у тебя начинается зевота, а менеджер с порога предлагает ‘спроектировать базу’ — этот текст для тебя.


Читать: https://habr.com/ru/articles/948612/

#ru

@database_design | Другие наши каналы
Proxmox VE + ZFS/CEPH для малого продакшена: экономим, но без авантюр

В современном IT-ландшафте малый и средний бизнес (SMB) сталкивается с фундаментальным противоречием: необходимость в инфраструктуре корпоративного уровня надежности при бюджете, который редко можно назвать корпоративным. Требования к аптайму, целостности данных и катастрофоустойчивости сегодня высоки как никогда, но традиционные решения от лидеров рынка становятся все менее доступными. Недавние изменения на рынке виртуализации, в частности, последствия приобретения VMware компанией Broadcom, лишь усилили эту тенденцию, заставив многих искать мощные и экономически эффективные альтернативы.

В этом контексте Proxmox Virtual Environment (VE) выделяется как один из ведущих претендентов на роль стандартной платформы для SMB. Это комплексное решение с открытым исходным кодом, которое объединяет в себе гипервизор KVM, контейнеризацию LXC, программно-определяемые хранилища (SDS) и сети (SDN) в едином управляемом интерфейсе. Proxmox VE предлагает функциональность, ранее доступную только в дорогостоящих коммерческих продуктах, делая ее доступной для широкого круга компаний.

Однако внедрение Proxmox в прод ставит перед системным архитектором ключевой выбор, определяющий всю дальнейшую архитектуру, стоимость и уровень отказоустойчивости системы. Этот выбор — технология хранения данных. Настоящая статья посвящена детальному разбору двух основных путей.
К сути дела

Читать: https://habr.com/ru/articles/948696/

#ru

@database_design | Другие наши каналы
Присоединяйтесь к команде Globally Distributed Database на Oracle AI World 2025. Узнайте о передовых технологиях распределённых баз данных и их влиянии на развитие искусственного интеллекта. Важное событие для профессионалов IT и AI отрасли.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle AI World 2025 приглашает на сессии Oracle True Cache. Узнайте, как новые технологии кэширования ускоряют работу баз данных и улучшают эффективность бизнес-процессов. Будущее управляемых данных уже здесь — не пропустите важное событие!

Читать подробнее

#en

@database_design | Другие наши каналы
Как я перенёс опыт из PostgreSQL в MongoDB и получил готовый чек-лист

Работаете с PostgreSQL и хотите попробовать MongoDB? Я спроецировал опыт работы с реляционными БД на NoSQL и собрал два чек-листа: проверенные практики для PostgreSQL и их аналоги для MongoDB.

Без воды, только ключевые пункты чтобы быстро стартовать и не наступать на типичные грабли.


Читать: https://habr.com/ru/articles/948942/

#ru

@database_design | Другие наши каналы
Миграция BharatPE с MongoDB Community Edition на Atlas: опыт масштабирования и улучшения безопасности. Переход помог компании повысить производительность на 40%, обеспечить беспрерывную работу и соответствие высоким требованиям финтеха. Подробнее об этом мастер-классе в статье. Оптимизация пакетных задач в MongoDB: как повысить производительность ETL-процессов до 15 раз. Новый фреймворк сокращает задержки, снижает нагрузку и масштабируется без потери стабильности. Решение для современных digital-платформ и больших данных.

Читать подробнее

#en

@database_design | Другие наши каналы
От наскальных рисунков до S3: эволюция хранения данных

Как вы храните данные? Используете файловое хранилище, S3, базы данных, держите файлы прямо на сервере, храните все локально на HDD, SSD или даже флешке — вариантов масса, на любой вкус и цвет. В этой статье я предлагаю вспомнить, как развивалось хранение информации и как мы прошли путь от наскальной живописи до приватного S3. Это поможет разобраться, какую технологию лучше использовать для ваших задач.


Читать: https://habr.com/ru/companies/selectel/articles/949212/

#ru

@database_design | Другие наши каналы
Шашечки или ехать? В бэкапе теперь можно и то, и другое

Привет, Хабр! Я Саша, в Хайстекс отвечаю за B2B-продажи и давно работаю с облаками и бэкапом. В этой статье хочу рассказать о подходе, который, на мой взгляд, помогает закрыть одну из самых болезненных задач в этой области.

При работе с облачными сервисами часто приходится идти на компромисс: либо хранить дешево, но восстанавливать долго, либо платить за скорость. Допустим, у одного eCommerce-сервиса внезапно упал гипервизор, с ним ушли в офлайн несколько ВМ. Все бэкапы хранились в S3-объектном хранилище. Чтобы восстановить ВМ придется разворачивать ее из архива. На все в среднем уходит около 40 минут. Все это время система заказов лежит, а бизнес считает убытки. С Double Storage мы сделали так, что время восстановления сократилось до 6-8 минут. Что это за технология, как она работает и почему с ней действительно проще – разберём под катом. Технические подробности можем разобрать в комментариях, если будет интерес.


Читать: https://habr.com/ru/companies/hstx/articles/949350/

#ru

@database_design | Другие наши каналы
Серверный «сэконд-хенд» 2.0: как экономить в 2025 без потерь в надёжности

Нужно нарастить мощность без лишнего CAPEX? Разбираем, как вторичный рынок серверов превращается из «плана Б» в стандарт: 50–80% экономии, недели вместо месяцев, совместимость с российскими ОС. Плюс: чек-лист приёмки, таблица конфигураций и как провести пилот, чтобы спорить цифрами, а не мнениями.


Читать: https://habr.com/ru/articles/949396/

#ru

@database_design | Другие наши каналы
Оптимизация batch-обработки в MongoDB: как современный фреймворк позволяет выполнять массовые операции в 10-15 раз быстрее старых систем. Новая архитектура снижает задержки и масштабируется под высокие нагрузки, решая главные проблемы миграции с реляционных баз данных. MongoDB Atlas помог fintech-компании BharatPE без простоев мигрировать с Community Edition, повысить производительность на 40% и обеспечить безопасность данных. Гибкая автоматическая масштабируемость и надежность сделали инфраструктуру надежной и готовой к масштабированию.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы наводим порядок в BI: опыт внедрения процесса ревью отчётов

В 2019 году центральная BI-команда нашей компании столкнулась с типичной задачей: как небольшой командой разработчиков обеспечить качественную аналитику для тысяч сотрудников в условиях быстро растущего бизнеса и высокой самостоятельности подразделений?

Мы сделали ставку на модель self-service BI: инструмент передали бизнес-пользователям, чтобы они могли сами строить отчёты. Идея «демократизации данных» поначалу казалась удачной. Но без чётких правил, стандартов и контроля всё быстро превратилось в BI-хаос: тысячи разрозненных отчётов, низкая производительность, противоречивые метрики и перегруженная инфраструктура на Premium P3. Пользователи жаловались, доверие к BI падало, а управлять этим потоком становилось всё сложнее.

В этой статье мы — Ринат Хабибрахманов, руководитель практики BI в Лемана Тех, и Лариса Фернандес, ведущий разработчик аналитических систем, — делимся опытом нашей команды. Расскажем, как мы шаг за шагом внедряли процесс ревью Power BI-отчётов, чтобы вернуть контроль, улучшить качество аналитики и восстановить доверие пользователей к BI-системе.

Ключевым шагом стало внедрение процесса ревью. Ниже подробно разберём, зачем он понадобился, какие цели мы ставили и как его организовали.


Читать: https://habr.com/ru/articles/948004/

#ru

@database_design | Другие наши каналы
asapBI: импортозамещение SAP Calculation View

Любите ли вы SQL так же, как и я? Недавно, собирая огромный SQL-запрос, я понял, что надо что-то менять.

Логическим блоком в SQL является подзапрос или CTE и вроде бы можно разбивать запрос по блокам и работать с ними отдельно, как строится по кирпичикам любое приложение.

Однако когда весь текст запроса идет сплошняком на многие экраны, сложно и разрабатывать, и  через длительное время понимать алгоритм запроса.

А что, если не надо писать SQL? В SAP мы не писали запросы, мы создавали Calculation View, и работать с ними было на порядок быстрее и приятнее.

Перефразируя диалог из Матрицы:

- Когда я стану избранным, я смогу писать длинный SQL?

- Тебе не надо будет писать SQL.
Как?

Читать: https://habr.com/ru/articles/948888/

#ru

@database_design | Другие наши каналы
Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий.

Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат.

В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.


Читать: https://habr.com/ru/companies/hstx/articles/949622/

#ru

@database_design | Другие наши каналы
Эволюция мулыкальных ретрогаджетов, или как наши деды слушали музыку

Сейчас музыка живет в приложениях и ваших плейлистах. Чтобы послушать великую классику или модный рэп, достаточно сделать пару кликов. И все это онлайн, а если хотите оффлайн-решение, из облака музыка сразу скачивается на телефон. Но всего 100 лет назад каждая проигранная мелодия требовала механики, а в 80-е она только начинала цифровизироваться.

В этой подборке пройдем путь главных устройств, которые меняли не только формат хранения звука, но и саму жизнь. Детали внутри.


Читать: https://habr.com/ru/companies/selectel/articles/949598/

#ru

@database_design | Другие наши каналы
Где я храню фото: облачные хранилища или жесткий диск

Мои хобби и работа связаны с фотографией (чуть меньше — с видео). Я снимаю горы контента, из-за чего память смартфона быстро забивается. Та же ситуация с «нормальной» камерой. Приходится постоянно освобождать карты памяти. Но возникает проблема: куда девать отснятое?

Предлагаю обсудить, где лучше хранить фото и видео в электронном виде. Я кратко рассмотрю особенности двух вариантов и поделюсь своими наблюдениями. Сразу предупреждаю: говорить буду с учетом возможностей и потребностей обычного пользователя. Не ждите откровений в духе: написал тулзу, которая мониторит все изменения и тут же заливает файлы на собственный сервер с автономным питанием и резервными каналами. Но если у вас есть подобный опыт, обязательно поделитесь им в комментариях.


Читать: https://habr.com/ru/articles/949754/

#ru

@database_design | Другие наши каналы