DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
pg_dphyp: учим PostgreSQL соединять таблицы по-другому

Большая часть времени планировщика запросов в СУБД тратится на поиск оптимального способа соединения таблиц. В PostgreSQL используется два алгоритма: алгоритм динамического программирования, также называемый DPsize, и генетический — GEQO. В других СУБД реализовано еще множество других алгоритмов. DPhyp — алгоритм соединения на основе гиперграфов — уже используется такими СУБД как MySQL и YDB. Я задался вопросом: можно ли реализовать его в PostgreSQL? Оказывается, можно. Так и зародилось расширение pg_dphyp для PostgreSQL, реализующее альтернативный алгоритм соединения таблиц. В статье я не описываю подробно сам алгоритм, привожу только концептуальное описание его идеи, а рассказываю вот о чем:

-- Какие решения пришлось принять, чтобы добавить алгоритм DPhyp в существующую кодовую базу без изменения ядра;
-- Как GPLv2 помог найти эффективный алгоритм обхода соседей;
-- Как проиндексировали неиндексируемое гиперрёбра;
-- Планирование какого запроса смогли ускорить в 600 раз;
-- Какой изъян в работе существующего планировщика был найден.

Но главный сюжетный поворот — в конце...


Читать: https://habr.com/ru/companies/tantor/articles/929980/

#ru

@database_design | Другие наши каналы
Интервью с ИИ: как бы LLM спроектировала ЦОД

Истина рождается в споре, а инсайты приходят во время общения. Помня об этом, я решил провести интервью с искусственным интеллектом и спросил у модели о том, как бы она спроектировала ЦОД и что нам ждать в ближайшем будущем. Вопросы сформулировал я, а ответы писал ChatGPT–4о. В некоторых местах текст дополнен моими ремарками и обоснованием от чат-бота. Если интересно, приглашаю под кат, а промпт в конце текста.
Узнать мнение ИИ

Читать: https://habr.com/ru/companies/ruvds/articles/929094/

#ru

@database_design | Другие наши каналы
Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени

Семь советов для ускорения работы в терминале Linux. Как быстро обработать файлы, отладить Bash-скрипт и редактировать длинные пути в Линукс.

Читать: «Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени»

#ru

@database_design | Другие наши каналы
Как технологии меняют ритейл: важность единой платформы для консультантов в магазине

В статье рассказывается, как объединение данных и реальное время помогают консультантам быстрее обслуживать клиентов, обеспечивая качественный сервис и повышая продажи в условиях омниканального ритейла. Как MongoDB Atlas меняет ритейл

Пост: MongoDB Atlas создаёт надёжную и гибкую базу данных для единой торговли, обеспечивая быструю разработку, масштабируемость и безопасность. Это помогает улучшить клиентский опыт и поддерживает IT-команды экспертной поддержкой и активным сообществом разработчиков.

Читать подробнее

#en

@database_design | Другие наши каналы
15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик

Визуализация данных — это не просто способ представить информацию, а настоящий инструмент для открытия новых инсайтов и улучшения принятия решений. В этой статье мы собрали 15 библиотек для визуализации данных, которые стали стандартом в своих областях. Здесь вы найдете как решения для быстрых графиков, так и мощные фреймворки, подходящие для сложных и масштабных задач. Каждая библиотека имеет свои особенности, и в статье мы подробно рассмотрим, какие из них лучше всего подойдут для вашего следующего проекта. Если вы хотите поднять свои визуализации на новый уровень — читайте, разберемся, какие инструменты действительно заслуживают внимания.


Читать: https://habr.com/ru/companies/otus/articles/929938/

#ru

@database_design | Другие наши каналы
Qdrant c n8n. Автоматизируем ИИ RAG-приложение

Недавно мы выпустили статью “Всё про Qdrant. Обзор векторной базы данных”, в которой подробно познакомились с данным сервисом. Сегодня мы рассмотрим векторную БД с практической стороны. В статье будет описана инструкция по разработке no-code RAG-приложения на основе n8n с использованием Qdrant и OpenAI.


Читать: https://habr.com/ru/companies/amvera/articles/930250/

#ru

@database_design | Другие наши каналы
S3 изнутри: как работать с объектным хранилищем и не сойти с ума

Привет! Меня зовут Евгения Тарашкевич. Я инженер из группы эксплуатации К2 Cloud, и моя специализация — системы хранения данных. Сегодня хочу поделиться с вами опытом и знаниями о работе с объектным хранилищем S3.

Эта статья будет полезна инженерам, которые только начинают работать с ним, и тем, кто уже использует его в продакшене, но хочет структурировать знания и разобраться в типовых проблемах.


Читать: https://habr.com/ru/companies/k2tech/articles/929906/

#ru

@database_design | Другие наши каналы
Как BiHA уведомляет о событиях в кластере

В прошлом году мы сделали встроенную поддержку отказоустойчивости в Postgres Pro Enterprise — BiHA. Наше решение позволяет разворачивать отказоустойчивый кластер Postgres, в котором в случае сбоя пишущего узла новый пишущий узел (лидер) будет выбран автоматически.

В новой версии BiHA появилась возможность зарегистрировать пользовательские функции, которые будут вызваны при возникновении таких событий в кластере, как смена лидера, добавление/удаление ноды и других. Этот механизм мы назвали пользовательские колбэки. Разработчик программного обеспечения Postgres Professional Наталия Кокунина расскажет, как реализованы колбэки, и обсудит особенности их использования.


Читать: https://habr.com/ru/companies/postgrespro/articles/927040/

#ru

@database_design | Другие наши каналы
Своя система бэкапов: сначала стратегия, потом скрипты

Слишком многие люди преступно пренебрегают резервным копированием. Из-за заблуждений в этой области теряется слишком много данных; это связано и с ошибочными техниками наподобие «бэкапов Шрёдингера» (то есть никогда не тестируемых, а значит, валидных и невалидных одновременно), и с концептуальными заблуждениями о том, что такое бэкапы и как они работают (RAID — это не бэкап!).

Сегодня о резервном копировании зачастую думают по остаточному принципу. Многие полностью полагаются на «облако», не задаваясь даже вопросами о том, каким образом защищаются их данные. Большинство упускает из виду, что даже крупные поставщики облачных услуг работают по модели коллективной ответственности. В условиях пользования они часто подчёркивают, что, несмотря на обеспечение ими безопасности инфраструктуры, в конечном итоге ответственность за защиту и резервное копирование данных лежит на пользователях. Когда хранишь всё «в облаке», в кластерах, которыми владеют другие компании, или в распределённых системах Kubernetes, бэкапы часто кажутся ненужными. Иногда я спрашиваю коллег или разработчиков о том, как они реализуют резервное копирование, и они смотрят на меня так, как будто я говорю на каком-то древнем забытом языке. Они попросту никогда об этом не задумывались. Но данные не эфемерны, их необходимо защищать любыми возможными способами.

Я всегда исповедовал такую философию: данные обязаны быть восстанавливаемыми (и как можно быстрее), целостными и храниться в открытом формате (чтобы для их восстановления или анализа не приходилось покупать что-то). Эти пункты могут показаться очевидными, но на деле это не всегда так.


Читать: https://habr.com/ru/companies/ruvds/articles/929830/

#ru

@database_design | Другие наши каналы
Как создать масштабируемое AI-приложение с MongoDB Atlas и Cohere Command R+

Статья описывает, как объединить возможности MongoDB Atlas для векторного поиска и Cohere Command R+ для генерации ответов, чтобы получить быстродействующие интеллектуальные решения с контекстной точностью и высокой производительностью.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы успешно прошли тест на 30 000 одновременных пользователей в 1C:ERP (и что мы подкрутили в PostgreSQL)

Уже давно стали обыденными внедрения решений на платформе 1С:Предприятие на тысячу одновременных пользователей. Есть внедрения и более масштабные. И масштаб внедрений растёт. Поэтому мы решили убедиться, что платформа выдержит нагрузку нашего самого востребованного на крупных внедрениях решения 1C:ERP на 30 000 одновременно работающих пользователях.

Почему именно 30 000 пользователей, как мы измеряли производительность и как добились желаемой производительности – под катом.


Читать: https://habr.com/ru/companies/1c/articles/930588/

#ru

@database_design | Другие наши каналы
Как мы научили PostgreSQL автоматически создавать партиции: опыт Nexign Nord

Программисты, ежедневно решающие задачи оптимизации запросов и управления большими объемами данных, неизбежно сталкиваются с необходимостью освоения новых методов организации данных. Поэтому сегодня предлагаем поговорить об автоматизации партиционирования как об эффективном варианте решения.


Читать: https://habr.com/ru/companies/nexign/articles/930790/

#ru

@database_design | Другие наши каналы
Как мы научили PostgreSQL автоматически создавать партиции: опыт Nexign Nord

Программисты, ежедневно решающие задачи оптимизации запросов и управления большими объемами данных, неизбежно сталкиваются с необходимостью освоения новых методов организации данных. Поэтому сегодня предлагаем поговорить об автоматизации партиционирования как об эффективном варианте решения.


Читать: https://habr.com/ru/companies/nexign/articles/930790/

#ru

@database_design | Другие наши каналы
Унификация данных в ритейле с MongoDB Atlas

MongoDB Atlas помогает интегрировать разрозненные данные и обеспечить реальное время обновлений. Это позволяет магазинам предоставить сотрудникам доступ к актуальной информации о товарах и клиентах, повышая качество обслуживания и упрощая управление запасами. Unified commerce с MongoDB Atlas: как единая платформа улучшает продажи и обслуживает клиентов. Объединение данных из разных каналов помогает сотрудникам быстро отвечать на запросы, повышая лояльность покупателей и снижая дефицит товаров. Эффективный семантический поиск с MongoDB и Cohere

В статье рассказывается, как с помощью векторных индексов MongoDB Atlas и API Cohere можно создать быстрый и точный поиск на основе смысла запросов. Совместное использование фильтров и повторного ранжирования повышает качество результатов и сокращает время обработки данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Как повысить надежность базы данных с помощью WCAR

MariaDB Enterprise Platform 2025 предлагает технологию Workload Capture and Replay (WCAR), которая помогает анализировать и воспроизводить рабочие нагрузки для оптимизации производительности и полноценного управления изменениями в базе данных. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы
Знакомьтесь: Кибер Хранилище

В этом обзоре мы познакомимся с новым продуктом компании Киберпротект – Кибер Хранилище. Это простая в эксплуатации универсальная, система хранения данных, работающая на базе стандартного серверного оборудования архитектуры x86-64 с установленными дисками HDD, SSD или NVMe.

Кибер Хранилище поддерживает основные протоколы хранения: iSCSI, NFS и S3, интегрировано с системой резервного копирования Кибер Бэкап и сервисом Кибер Бэкап Облачный, поддерживает возможность неограниченного масштабирования и реализации географически распределенных решений.


Читать: https://habr.com/ru/companies/cyberprotect/articles/930938/

#ru

@database_design | Другие наши каналы
BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?

BrOk — графический low-code инструмент для управления популярными брокерами сообщений, такими как Kafka, RabbitMQ, Artemis, NATS и Redis. Узнайте, как упростить работу с очередями, шаблонами, сценариями и REST API без лишнего кода.

Читать: «BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?»

#ru

@database_design | Другие наши каналы
Сегментация клиентов методом K-Means на стороне БД

Привет, Хабр!

Сегодня мы рассмотрим, как заставить PostgreSQL самостоятельно крутить K-Means для сегментации клиентов, не вытаскивая данные наружу. Пройдемся по циклу: нормализуем фичи в materialized view, напишем функцию PL/PythonU, которая дергает scikit-learn, сохраняем cluster_id обратно в таблицу и закрываем гештальт отчётом «доход по кластеру» чистым SQL.


Читать: https://habr.com/ru/companies/otus/articles/930506/

#ru

@database_design | Другие наши каналы
Обновление MariaDB Connector/Node.js 3.4.5 Выпущена новая стабильная версия MariaDB Connector/Node.js 3.4.5 с улучшениями и исправлениями. Подробности и ссылка для загрузки доступны на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Искусственный интеллект меняет геопространственный анализ в Австралии. Компания использует AI для обработки огромных массивов данных, что помогает развивать устойчивые проекты и повышать эффективность бизнеса. Подробности о новых возможностях в сфере больших данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Как работает база данных Firebird, часть 3

В предыдущей части мы начали изучать, как выполняется выборка строки из таблицы базы данных при выполнении запроса. В этой части мы пройдём по цепочке выполняющихся узлов.


Читать: https://habr.com/ru/articles/931218/

#ru

@database_design | Другие наши каналы