DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как система Документы помогает документообороту в отделе кадров

В предыдущей статье мы рассмотрели, как система Документы способствует выстраиванию процесса управления документацией в административно-хозяйственном отделе (АХО). На этот раз мы рассмотрим отдел кадров.


Читать: https://habr.com/ru/companies/T1Holding/articles/938966/

#ru

@database_design | Другие наши каналы
Оптимизация MongoDB для банков и технологий

В статье рассказывается о многоагентной системе на базе MongoDB и Confluent, которая ускоряет обработку жалоб в банках. Обсуждаются методы оптимизации структуры документов для повышения производительности и расширение команды MongoDB в Торонто.

Читать подробнее

#en

@database_design | Другие наши каналы
Обновления безопасности для Audit Vault и Database Firewall доступны. Рекомендуется установить версию AVDF 20.15, чтобы обеспечить защиту и соответствие систем актуальным требованиям безопасности. Не пропустите важный апдейт для вашего ПО.

Читать подробнее

#en

@database_design | Другие наши каналы
Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST

Привет, Хабр!

Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.


Читать: https://habr.com/ru/companies/otus/articles/941432/

#ru

@database_design | Другие наши каналы
Недооценённые фичи SQL: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные индексы

В большинстве материалов по SQL обсуждаются знакомые всем конструкции — SELECT, JOIN, WHERE, группировки, простые индексы. Но когда вы обрабатываете сложные данные, оптимизируете производительность или строите аналитические отчёты, ограничиваться только базовыми операторами — значит добровольно усложнять себе жизнь. В SQL есть мощные, но редко упоминаемые функции, которые помогают решить задачи элегантно и эффективно.

В этой статье, основанной на личных экспериментах и наблюдениях, мы рассмотрим три таких инструмента: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные (filtered) индексы.


Читать: https://habr.com/ru/companies/otus/articles/942044/

#ru

@database_design | Другие наши каналы
«Архитектура бэкенда», или как я написал мою первую техническую книгу

Привет, Хабр!
За время своего развития, люди научились передавать информацию различными способами. Сначала это могла быть устная речь, далее были письменные источники, а в современном мире многообразие способов обучения действительно поражает: это и множество видеокурсов, интерактивных платформ, блогов и так далее. Однако на фоне всего этого особняком стоят книги. Нередко изучение книги может быть долгим и может казаться не таким эффективным, поскольку похожие знания можно получить быстрее, используя более динамичные и наглядные инструменты. Плюс, сами знания имеют свойство устаревать, и описанные истины могут не поспевать за техническим прогрессом. Однако, на мой взгляд, книга имеет и свои преимущества - при помощи нее можно исчерпывающе описывать те или иные темы, не срезая углы, подробно и конкретно описывая идеи, которые могло быть сложно выразить как то иначе.


Читать: https://habr.com/ru/articles/944130/

#ru

@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.


Читать: https://habr.com/ru/articles/944284/

#ru

@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.


Читать: https://habr.com/ru/articles/944284/

#ru

@database_design | Другие наши каналы
Выручка есть, а денег нет

Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании.

Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры.

В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность.


Читать: https://habr.com/ru/articles/944270/

#ru

@database_design | Другие наши каналы
Цифровой профиль в ВТБ: как графы и эмбеддинги помогают банку понимать клиентов

Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе.


Читать: https://habr.com/ru/companies/vtb/articles/944338/

#ru

@database_design | Другие наши каналы
Почему в 2025-м мы всё ещё слышим ‎«‌‎бип»‎ HDD

Кажется, что эра жёстких дисков уже позади. SSD вроде и не снесли их с рынка полностью, но конкуренция серьёзно качнула позиции HDD — и понятно почему: когда у тебя в руках решение быстрее, тише и прогрессивнее, старичку сложно тягаться. Если говорить просто: жёсткие диски большие, тряску не любят, ноутбуки почти их не используют. И да, скорость у них уступает SSD, поэтому для запуска ОС или тяжёлых задач они не вариант.

Но, сюрприз — HDD до сих пор живы, их покупают, особенно там, где важна ёмкость и цена. Так что же удерживает их на плаву и как развивались технологии хранения — узнаете под катом.


Читать: https://habr.com/ru/companies/ruvds/articles/943668/

#ru

@database_design | Другие наши каналы
Влияние RDMA на производительность СХД

Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?


Читать: https://habr.com/ru/companies/skilline/articles/943770/

#ru

@database_design | Другие наши каналы
«Я не вижу эту кнопку!» — «Потому что ты не избранный, Нео»

Привет, Хабр! Писать статьи — дело приятное, но только если нет на плечах релиза. Релиз оказался марафоном на месяцы, где каждый день мы жили задачами и доработками. Мы делились на три фронта: кто-то закрывал критические баги («баг-фиксеры»), кто-то добивал бизнес-логику («бизнес-логеры»), а кто-то всерьез отрабатывал план «Б» — ставил свечи за успешный релиз («молитвенники за прод»). Играли мы на разных уровнях, но финальный босс у всех был один: система, которую мы героически толкали в ПРОД, как кота в переноску: и он не хочет, и нам страшно.

Но как бы там ни было, сегодня на ПРОДе живет большая система. Прям такая, что, если бы она была организмом, у нее были бы печень, почки и амбулаторная карта в Сфере Знания.

Пользователи — сотни сотрудников. Система — новая, кнопки — непонятные, интерфейс — как квартира после переезда: ты вроде дома, но даже чайник включить страшно.

И вот представьте: в этой «квартире» все двери распахнуты настежь. Любой может зайти куда угодно, нажать любую кнопку, открыть любой экран. Кнопки, которые лучше не трогать, экраны, куда и разработчик-то без инструктажа не сунется… Получился цифровой «чулан Моники» — хаос, который мы срочно должны были привести в порядок.

Решение было очевидным: нужна ролевая модель.

По плану ролевую модель — разграничение видимости интерфейсов и данных на стороне БД — мы должны были выкатить через пару недель после запуска. Но в мире, где перечень техдолгов меняется быстрее, чем погода в Калининграде, пришлось действовать иначе. В итоге, бочком-бочком, мы затолкали ее в боевой релиз буквально на финишной прямой.


Читать: https://habr.com/ru/articles/944870/

#ru

@database_design | Другие наши каналы
Обновление безопасности AVDF 20.15 уже доступно. Рекомендуется оперативно установить его, чтобы защитить систему Audit Vault and Database Firewall и обеспечить максимальную безопасность данных. Не упустите шанс повысить защиту ваших баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые обновления MariaDB Enterprise Server 11.4.8-5 и 10.6.23-19 вышли с улучшенными функциями и повышенной стабильностью. Эти версии предлагают расширенную поддержку и повышенную безопасность для предприятий. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы
Как сеньоры документируют проекты: протокол архитектурных решений

Как сеньоры документируют архитектуру без боли. Обзор подхода ADR: шаблоны, примеры из практики и комментарии экспертов. Ускорьте онбординг и перестаньте объяснять одно и то же.

Читать: «Как сеньоры документируют проекты: протокол архитектурных решений»

#ru

@database_design | Другие наши каналы
Как я спустя 15 лет решил проблему распределённых очередей

Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк.

Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями:


Читать: https://habr.com/ru/articles/945390/

#ru

@database_design | Другие наши каналы
Как я спустя 15 лет решил проблему распределённых очередей

Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк.

Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями:


Читать: https://habr.com/ru/articles/945390/

#ru

@database_design | Другие наши каналы
Как MongoDB помогает брендам выигрывать в эпоху ИИ
Мир e-commerce меняется: теперь покупку принимает не человек, а ИИ-агент. Чтобы быть заметным для таких агентов, брендам нужно обеспечивать доступность данных в удобном для машин формате. MongoDB с её гибким хранилищем данных — ключ к успеху в новом агентском коммерсе. Автоматизация клиентской поддержки в банковской сфере выходит на новый уровень. Благодаря интеграции MongoDB и Confluent создаётся система с множеством AI-агентов, которая быстро распознаёт, анализирует и решает типовые жалобы клиентов, снижая нагрузку на операторов и повышая качество сервиса. Автоматизация решений в службе поддержки с помощью AI и событийных систем становится реальностью. Использование MongoDB и Confluent Cloud позволяет быстро обрабатывать запросы, снижать затраты и обеспечивать точный аудит. Современные архитектуры меняют подход к обслуживанию клиентов.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые rerank-2.5 и rerank-2.5-lite значительно повышают точность поиска и впервые поддерживают управление релевантностью через инструкции на естественном языке. Модели обрабатывают в 8 раз больше контекста и превосходят конкурентов по большинству задач. Доступны через Voyage AI. Почему цены на акции различаются на сайтах? Причина — сложность и дороговизна сбора и обработки данных. Разные источники используют разные методы и объёмы информации, что приводит к небольшим расхождениям. Крупные компании, как Bloomberg, обеспечивают наиболее точные и полные данные. Новый уровень торговли с AI: почему MongoDB Atlas важен для ритейла. Статья рассказывает, как удалённый MCP-сервер с MongoDB Atlas помогает магазинам безопасно и быстро предоставлять актуальные данные продуктового каталога AI-агентам, обеспечивая скорость, масштабируемость и защиту.

Читать подробнее

#en

@database_design | Другие наши каналы
Реальное обновление данных в MongoDB без затратных join-запросов становится реальностью с MongoDB Atlas Stream Processing. Новый подход позволяет создавать актуальные, оптимизированные для чтения представления, повышая производительность и снижая нагрузку на базу. Многоагентные системы на базе MongoDB и Confluent меняют подход к сервису поддержки. Разделение задач между специализированными AI-агентами повышает точность и скорость обработки запросов, снижая издержки и улучшая клиентский опыт. Новая эра онлайн-торговли: AI-агенты меняют правила игры

Покупатели всё чаще доверяют выбор искусственному интеллекту, что меняет традиционные стратегии продаж. Чтобы бренд оставался заметным, требуется организовать данные так, чтобы AI мог их быстро и точно обработать. MongoDB помогает подготовиться к этому будущему уже сейчас.

Читать подробнее

#en

@database_design | Другие наши каналы