DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.


Читать: https://habr.com/ru/companies/postgrespro/articles/965632/

#ru

@database_design | Другие наши каналы
Новый этап в MongoDB — смена CEO
Dev Ittycheria объявила о решении уйти с поста CEO; с 10 ноября 2025 Chirantan «CJ» Desai станет новым CEO. Dev останется в совете и поможет с переходом. Компания готовится к следующему этапу роста. Завтра пройдёт общая встреча для вопросов.

Читать подробнее

#en

@database_design | Другие наши каналы
GFS2 — файловая система для новой виртуализации: наш опыт интеграции в SpaceVM

Рассказываем о своем опыте ее внедрения в нашу платформу виртуализации SpaceVM.

Современные ИТ-инфраструктуры часто строятся вокруг виртуализации и облаков, где несколько серверов одновременно обращаются к одним и тем же данным. В таких системах ключевым становится не просто объем или скорость хранилища, а способ доступа к данным — общий или локальный, файловый или блочный. От того, как именно организовано взаимодействие с хранилищем, зависит архитектура всего решения: от производительности виртуальных машин до отказоустойчивости кластера.

Локальные хранилища привычны для одиночных серверов: диск или массив принадлежит конкретному узлу, который управляет им напрямую. Общие (shared) хранилища, напротив, предоставляют единое пространство данных для нескольких серверов. Именно они лежат в основе высокодоступных кластеров и виртуализационных платформ, где важно, чтобы виртуальные машины могли мигрировать между узлами без потери доступа к своим дискам.

Но общий доступ — это не только вопрос архитектуры, но и способа взаимодействия с данными. Файловые протоколы (NFS, SMB и др.) дают возможность работать с файлами на уровне операционной системы, но вносят дополнительные задержки и ограничения. Блочные протоколы (iSCSI, Fibre Channel) предоставляют более низкоуровневый доступ — сервер видит удаленное устройство как локальный диск. Однако при этом возникает другая проблема: как синхронизировать работу нескольких узлов с одним и тем же блочным устройством, не разрушив файловую систему?

Ответ на этот вызов дают кластерные файловые системы, специально разработанные для совместного блочного доступа. Одна из самых зрелых и функциональных среди них — GFS2 (Global File System 2). В нашем опыте ее интеграция в собственный продукт - платформу виртуализации SpaceVM - позволила приблизиться к созданию устойчивой, масштабируемой и по-настоящему отказоустойчивой среды.


Читать: https://habr.com/ru/companies/spacevm/articles/965388/

#ru

@database_design | Другие наши каналы
Text-to-SQL нового поколения: как мультиагентная система решает задачу

В этой статье хочу рассказать о нашей передовой системе Text-to-SQL, построенной на базе динамической мультиагентной архитектуры. Вместо одной модели — команда из шести специализированных агентов. Каждый отвечает за свой участок работы: один проверяет безопасность на входе, второй понимает намерение пользователя, третий ищет нужные таблицы, четвертый пишет код, пятый проверяет его на уязвимости, шестой безопасно выполняет и логирует результат.

Это универсальная платформа, где данные под полным контролем, а точность запросов на порядок выше. Text-to-SQL — лишь первое применение. Архитектура позволяет решать любые AI-задачи, где критична надежность.


Читать: https://habr.com/ru/companies/gazprombank/articles/965292/

#ru

@database_design | Другие наши каналы
Почему важны семантические слои — и как собрать такой слой на DuckDB

Многие задаются вопросом: «Зачем мне семантический слой? Что это вообще такое?» В этом практическом руководстве мы соберём самый простой семантический слой — всего лишь из файла YAML и Python-скрипта. Цель не в том, чтобы построить слой ради самого слоя, а в том, чтобы понять его ценность. Затем мы выполним запросы к данным о 20 миллионах поездок нью-йоркских такси, используя согласованные бизнес-метрики, при этом запросы выполняются через DuckDB и Ibis. К концу вы точно будете понимать, когда семантический слой действительно решает проблемы, а когда это избыточно.
К семантике данных

Читать: https://habr.com/ru/companies/otus/articles/966196/

#ru

@database_design | Другие наши каналы
JSON? JSONB? BSON? CBOR? MsgPack? А, VaryPackǃ

VaryPack - новый, простой, гибкий, шустрый и компактный формат бинарной сериализации произвольных данных.
Что за модная тема?

Читать: https://habr.com/ru/articles/966270/

#ru

@database_design | Другие наши каналы
JSON? JSONB? BSON? CBOR? MsgPack? А, VaryPackǃ

VaryPack - новый, простой, гибкий, шустрый и компактный формат бинарной сериализации произвольных данных.
Что за модная тема?

Читать: https://habr.com/ru/articles/966270/

#ru

@database_design | Другие наши каналы
Интеграция OpenSearch: от функционального тестирования до проверки интеллекта поиска

Привет, меня зовут Ирина, я тестировщик в продуктовой команде iSpring.

В этой статье я на реальном примере интеграции OpenSearch в LMS iSpring Learn расскажу, как протестировать полнотекстовый поиск, сохранив баланс между качеством и трудозатратами. Мы не только разберём базовые проверки, но и погрузимся в тестирование стемминга, релевантности, работу в распределённой системе и отказоустойчивости. Материал будет полезен тестировщикам и разработчикам, которые хотят понять, что скрывается за фразой «протестировать поиск».

Я поделюсь опытом интеграции OpenSearch с web-продуктом, чтобы другим тестировщикам было проще избежать возможных ошибок и сэкономить время на этапе проверок.


Читать: https://habr.com/ru/companies/ispring/articles/966096/

#ru

@database_design | Другие наши каналы
Как стартовать с Data Lakehouse и перейти на Data Lake

В статье Архитектура высоконагруженной платформы Magnit F&R было рассказано о ключевых архитектурных принципах и решениях.

Сегодня хочу поделиться практическим опытом: как в Magnit Tech изменилась концепция Data Lakehouse, где она блестяще сработала — и где подвела.

Я, Алексей Соболеков, лид архитектуры F&R.

И это история о том, как красивая теория сталкивается с физикой доступа к данным.


Читать: https://habr.com/ru/companies/magnit/articles/966566/

#ru

@database_design | Другие наши каналы
Срочный патч MariaDB 11.8.5 — исправлена критическая ошибка целостности данных
MariaDB выпустила Community Server 11.8.5, корректирующий релиз для серии 11.8, который немедленно устраняет критическую проблему целостности данных, обнаруженную в 11.8.4 (Q4 2025). Рекомендуется обновиться.

Читать подробнее

#en

@database_design | Другие наши каналы
Пятничные заявки и 6 ТБ WAL: будни инженера поддержки Postgres Professional

Техподдержка бывает разная. Где-то это «попробуйте перезагрузить» или «проверьте провод», а где-то — сложные инженерные задачи, которым не жалко посвятить хоть всю жизнь. Какой вариант в поддержке Postgres Professional и кого/чего больше в этой сфере — людей или технологий, — разбираемся со старшим инженером технической поддержки Postgres Professional Камилем Каримовым.


Читать: https://habr.com/ru/companies/postgrespro/articles/966618/

#ru

@database_design | Другие наши каналы
Шардирование сервиса объявлений Авито Доставки. Часть II

Привет, меня зовут Артем, и я работаю в Авито с 2016 года. Это вторая часть истории про шардирование сервиса объявлений Авито Доставки, где мы расскажем о реализации шардирования и полученном результате.


Читать: https://habr.com/ru/companies/avito/articles/956290/

#ru

@database_design | Другие наши каналы
Размещение глобальный констант по фиксированным адресам

В программировании микроконтроллеров порой надо сделать так, чтобы после сборки артефактов в прошивке глобальные константы оказались в строго заданных адресах NOR Flash памяти. Причем при пересборке проекта эти адреса оставались прежними.

Это особенно полезно? если вы решили выделить конфигурационные и калибровочные выделить в отдельный интервал Flash памяти.

Потом это требование международного стандарта программирования ISO-26262.
Делается это для того, чтобы появилась возможность менять значения в этом интервале утилитой TunerPRO перед прошивкой бинаря.

Фиксированные адреса позволят вам всегда иметь один и тот же *.xdf файл для утилиты TunerPRO.


Читать: https://habr.com/ru/articles/966862/

#ru

@database_design | Другие наши каналы
Forwarded from Типичный программист
С кем знакомятся типичные программисты: 2D-тян или живая девушка?

Согласно недавним исследованиям Vantage Point Counseling Services, треть американцев хотя бы раз состояла в романтических отношениях с ИИ. Появилось даже приложение Loverse для виртуальных знакомств, где вместо реальных людей роль партнёров выполняют чат-боты с искусственным интеллектом.

Мы решили провести своё исследование и выяснить где и с кем сегодня знакомятся пользователи стран СНГ. Пожалуйста, пройдите наш небольшой опрос. Это поможет нашему исследованию.

Пройти опрос.
Как работают федеративные системы: рассказываем на примере YDB

YDB — отказоустойчивая геораспределённая СУБД класса Distributed SQL. Она появилась в недрах Яндекса более десяти лет назад и прошла длительный путь от узкоспециализированного хранилища, применявшегося в поисковом движке, до полновесной СУБД общего назначения. Открытие исходного кода YDB в 2022 году стало одной из наиболее ярких опенсорс-инициатив Яндекса.

В центре внимания разработчиков YDB долгое время была обработка транзакционной нагрузки, однако в последние годы активно развивается и аналитическое направление. Одна из востребованных аналитических функций — возможность исполнения федеративных SQL-запросов, адресованных к внешним источникам данных.

Меня зовут Виталий Исаев, я занимаюсь развитием федеративных возможностей базы данных YDB. В этой статье я расскажу об основных проблемах, возникающих при разработке федеративных систем, и о путях их решения в YDB, а также уделю особое внимание слою коннекторов — компонентов системы, организующих её взаимодействие с внешними источниками данных.


Читать: https://habr.com/ru/companies/ydb/articles/962152/

#ru

@database_design | Другие наши каналы
Почему крупные компании строят свои дата-центры, а остальным они не нужны

Еще 3-5 лет назад у многих было полное ощущение, что облака победили. Казалось, что теперь только тарифы, all-in cloud и все такое. Но нет. В какой-то момент некоторые компании вновь начали думать о том, чтобы не выгружать все в облако, а держать у себя под боком и даже возвращать их облака на землю. В результате сложилось два противоположных лагеря, где одни вкладывают миллиарды в строительство ЦОД, а другие продолжают арендовать ресурсы и не парятся. Разница в подходах, понятное дело, не случайна.


Читать: https://habr.com/ru/companies/finops_ru/articles/967166/

#ru

@database_design | Другие наши каналы
Разгоним Unicode в PostgreSQL

Всем привет!

Меня зовут Александр Борисов, я главный эксперт по технологиям в СберТехе. В статье расскажу про свой алгоритм, который позволил повысить скорость Unicode в PostgreSQL 18. На эту тему уже выпущен патч Optimization for lower(), upper(), casefold() functions, принятый сообществом PostgreSQL.

Статья будет интересна разработчикам, которые работают с большими объёмами текстовых данных, а также всем, кто следит за развитием PostgreSQL и интересуется оптимизацией.

Начнём с краткого обзора: что же удалось ускорить в PostgreSQL?
Начнём!

Читать: https://habr.com/ru/companies/sberbank/articles/965494/

#ru

@database_design | Другие наши каналы
База знаний для компании: история о том, как мы (наконец-то) перешли на wiki в Outline

Не все корпоративные базы знаний помогают решать вопросы. Некоторые только создают больше проблем. На своем опыте рассказываю о том, как мы справлялись с одной из них.


Читать: https://habr.com/ru/articles/965196/

#ru

@database_design | Другие наши каналы
Разгоним Unicode в PostgreSQL

Всем привет!

Меня зовут Александр Борисов, я главный эксперт по технологиям в СберТехе. В статье расскажу про свой алгоритм, который позволил повысить скорость Unicode в PostgreSQL 18. На эту тему уже выпущен патч Optimization for lower(), upper(), casefold() functions, принятый сообществом PostgreSQL.

Статья будет интересна разработчикам, которые работают с большими объёмами текстовых данных, а также всем, кто следит за развитием PostgreSQL и интересуется оптимизацией.

Начнём с краткого обзора: что же удалось ускорить в PostgreSQL?
Начнём!

Читать: https://habr.com/ru/companies/sberbank/articles/967202/

#ru

@database_design | Другие наши каналы
Почему ваш бизнес рискует, используя иностранные облачные диски Google Drive, Dropbox, OneDrive, iCloud

Иностранные облачные сервисы — Google Drive, Dropbox, OneDrive, iCloud — удобные и популярные инструменты для хранения файлов и совместной работы. Они завоевали доверие миллионов пользователей благодаря продуманному функционалу и доступности. Однако при использовании их для бизнеса в Беларуси или России возникают нюансы, о которых важно знать.

В статье рассмотрим законодательные требования к использованию иностранных облачных сервисов компаниями в Беларуси и России, какая есть альтернатива и что выгоднее.


Читать: https://habr.com/ru/articles/967250/

#ru

@database_design | Другие наши каналы
Kafka реально быстрая, но я возьму Postgres

Команда Go for Devs подготовила перевод статьи о том, почему большинству проектов не нужна Kafka, «веб-масштабные» очереди и зоопарк из пяти баз данных. Автор на бенчмарках показывает, как далеко можно уехать на одном Postgres — и заодно разбирает, почему карго-культ масштабирования и «инфраструктура ради резюме» только мешают делать работу.


Читать: https://habr.com/ru/articles/967000/

#ru

@database_design | Другие наши каналы