DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новый инструмент MongoDB — Chatbot Demo Builder — позволяет без кода создать чатбота на основе PDF. Пример — интерактивный гид по Манхэттену с рекомендациями и прозрачной работой в браузере. Идеально для быстрого прототипирования и экспериментов с ИИ. MongoDB и Hope AI: новая эра разработки приложений

Текст: Партнёрство MongoDB и Hope AI ускоряет создание приложений за счёт AI-планирования архитектуры и генерации кода, сохраняя полный контроль разработчиков. Совместная работа и безопасность кода выходят на новый уровень, открывая перспективы для быстрого и гибкого развития проектов.

Читать подробнее

#en

@database_design | Другие наши каналы
Как оптимизация полей в MongoDB повышает скорость работы приложений. В статье раскрывают, как сокращение названий и замена пустых строк на null уменьшают размер документов, что улучшает кеширование и производительность баз данных без потери данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Реализация Outbox паттерна в разных языках программирования

Привет, Хабр!

Сегодня мы рассмотрим реализацию Outbox паттерна в разных ЯП. Цель простая: одним атомарным действием обновлять бизнес-данные и фиксировать факт события, а затем надежно доставлять его в брокер. Разберем общую схему, конкуренцию воркеров, ретраи, дедупликацию, метрики и покажу, как это собрать на C#, Java, Go, Python и Node.js.


Читать: https://habr.com/ru/companies/otus/articles/942122/

#ru

@database_design | Другие наши каналы
Глобальные индексы для секций в Postgres Pro: глобальная уникальность без костылей

Когда фильтра по ключу секционирования нет, локальные индексы превращаются в марафон по секциям. Новый gbtree держит единый каталог ключей и прыгает к строке по PK; покажем алгоритм, реальные цифры и ограничения (PK обязателен, ON CONFLICT не работает) — и где это решает боль в CRM/биллинге.


Читать: https://habr.com/ru/companies/postgrespro/articles/941008/

#ru

@database_design | Другие наши каналы
SQL для всех: от новичка до профи. Полный гид по тренажерам, курсам и песочницам

Привет, Хабр! Часто ли вам приходилось часами смотреть на сложный JOIN, пытаясь понять, почему он работает не так, как надо? Или, может, вы только начинаете свой путь в IT и слышите со всех сторон, что без SQL никуда? Вы правы, так и есть. SQL – это не просто строчки кода, это ваш ключ к данным, настоящий швейцарский нож для любого тестировщика, аналитика или разработчика.

Все мы знаем, что можно прочитать тонну теории, но без реальной практики она быстро выветривается из головы. Именно поэтому я решил поделиться своей коллекцией проверенных тренажеров и ресурсов. Здесь есть все, чтобы вы могли уверенно «заговорить» на языке данных: от уютных песочниц для новичков до хардкорных задачек с реальных собеседований в ведущих IT-компаниях. Так что устраивайтесь поудобнее, добавляйте в закладки и поехали тренироваться!


Читать: https://habr.com/ru/articles/943924/

#ru

@database_design | Другие наши каналы
MongoDB расширяет центр разработок в Торонто, создавая команды для инновационных проектов. Исследование показало, что оптимизация структуры документов — отказ от пустых строк и короткие имена полей — значительно повышает производительность базы данных.

Читать подробнее

#en

@database_design | Другие наши каналы
1
Как система Документы помогает документообороту в отделе кадров

В предыдущей статье мы рассмотрели, как система Документы способствует выстраиванию процесса управления документацией в административно-хозяйственном отделе (АХО). На этот раз мы рассмотрим отдел кадров.


Читать: https://habr.com/ru/companies/T1Holding/articles/938966/

#ru

@database_design | Другие наши каналы
Оптимизация MongoDB для банков и технологий

В статье рассказывается о многоагентной системе на базе MongoDB и Confluent, которая ускоряет обработку жалоб в банках. Обсуждаются методы оптимизации структуры документов для повышения производительности и расширение команды MongoDB в Торонто.

Читать подробнее

#en

@database_design | Другие наши каналы
Обновления безопасности для Audit Vault и Database Firewall доступны. Рекомендуется установить версию AVDF 20.15, чтобы обеспечить защиту и соответствие систем актуальным требованиям безопасности. Не пропустите важный апдейт для вашего ПО.

Читать подробнее

#en

@database_design | Другие наши каналы
Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST

Привет, Хабр!

Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.


Читать: https://habr.com/ru/companies/otus/articles/941432/

#ru

@database_design | Другие наши каналы
Недооценённые фичи SQL: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные индексы

В большинстве материалов по SQL обсуждаются знакомые всем конструкции — SELECT, JOIN, WHERE, группировки, простые индексы. Но когда вы обрабатываете сложные данные, оптимизируете производительность или строите аналитические отчёты, ограничиваться только базовыми операторами — значит добровольно усложнять себе жизнь. В SQL есть мощные, но редко упоминаемые функции, которые помогают решить задачи элегантно и эффективно.

В этой статье, основанной на личных экспериментах и наблюдениях, мы рассмотрим три таких инструмента: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные (filtered) индексы.


Читать: https://habr.com/ru/companies/otus/articles/942044/

#ru

@database_design | Другие наши каналы
«Архитектура бэкенда», или как я написал мою первую техническую книгу

Привет, Хабр!
За время своего развития, люди научились передавать информацию различными способами. Сначала это могла быть устная речь, далее были письменные источники, а в современном мире многообразие способов обучения действительно поражает: это и множество видеокурсов, интерактивных платформ, блогов и так далее. Однако на фоне всего этого особняком стоят книги. Нередко изучение книги может быть долгим и может казаться не таким эффективным, поскольку похожие знания можно получить быстрее, используя более динамичные и наглядные инструменты. Плюс, сами знания имеют свойство устаревать, и описанные истины могут не поспевать за техническим прогрессом. Однако, на мой взгляд, книга имеет и свои преимущества - при помощи нее можно исчерпывающе описывать те или иные темы, не срезая углы, подробно и конкретно описывая идеи, которые могло быть сложно выразить как то иначе.


Читать: https://habr.com/ru/articles/944130/

#ru

@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.


Читать: https://habr.com/ru/articles/944284/

#ru

@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.


Читать: https://habr.com/ru/articles/944284/

#ru

@database_design | Другие наши каналы
Выручка есть, а денег нет

Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании.

Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры.

В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность.


Читать: https://habr.com/ru/articles/944270/

#ru

@database_design | Другие наши каналы
Цифровой профиль в ВТБ: как графы и эмбеддинги помогают банку понимать клиентов

Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе.


Читать: https://habr.com/ru/companies/vtb/articles/944338/

#ru

@database_design | Другие наши каналы
Почему в 2025-м мы всё ещё слышим ‎«‌‎бип»‎ HDD

Кажется, что эра жёстких дисков уже позади. SSD вроде и не снесли их с рынка полностью, но конкуренция серьёзно качнула позиции HDD — и понятно почему: когда у тебя в руках решение быстрее, тише и прогрессивнее, старичку сложно тягаться. Если говорить просто: жёсткие диски большие, тряску не любят, ноутбуки почти их не используют. И да, скорость у них уступает SSD, поэтому для запуска ОС или тяжёлых задач они не вариант.

Но, сюрприз — HDD до сих пор живы, их покупают, особенно там, где важна ёмкость и цена. Так что же удерживает их на плаву и как развивались технологии хранения — узнаете под катом.


Читать: https://habr.com/ru/companies/ruvds/articles/943668/

#ru

@database_design | Другие наши каналы
Влияние RDMA на производительность СХД

Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?


Читать: https://habr.com/ru/companies/skilline/articles/943770/

#ru

@database_design | Другие наши каналы
«Я не вижу эту кнопку!» — «Потому что ты не избранный, Нео»

Привет, Хабр! Писать статьи — дело приятное, но только если нет на плечах релиза. Релиз оказался марафоном на месяцы, где каждый день мы жили задачами и доработками. Мы делились на три фронта: кто-то закрывал критические баги («баг-фиксеры»), кто-то добивал бизнес-логику («бизнес-логеры»), а кто-то всерьез отрабатывал план «Б» — ставил свечи за успешный релиз («молитвенники за прод»). Играли мы на разных уровнях, но финальный босс у всех был один: система, которую мы героически толкали в ПРОД, как кота в переноску: и он не хочет, и нам страшно.

Но как бы там ни было, сегодня на ПРОДе живет большая система. Прям такая, что, если бы она была организмом, у нее были бы печень, почки и амбулаторная карта в Сфере Знания.

Пользователи — сотни сотрудников. Система — новая, кнопки — непонятные, интерфейс — как квартира после переезда: ты вроде дома, но даже чайник включить страшно.

И вот представьте: в этой «квартире» все двери распахнуты настежь. Любой может зайти куда угодно, нажать любую кнопку, открыть любой экран. Кнопки, которые лучше не трогать, экраны, куда и разработчик-то без инструктажа не сунется… Получился цифровой «чулан Моники» — хаос, который мы срочно должны были привести в порядок.

Решение было очевидным: нужна ролевая модель.

По плану ролевую модель — разграничение видимости интерфейсов и данных на стороне БД — мы должны были выкатить через пару недель после запуска. Но в мире, где перечень техдолгов меняется быстрее, чем погода в Калининграде, пришлось действовать иначе. В итоге, бочком-бочком, мы затолкали ее в боевой релиз буквально на финишной прямой.


Читать: https://habr.com/ru/articles/944870/

#ru

@database_design | Другие наши каналы
Обновление безопасности AVDF 20.15 уже доступно. Рекомендуется оперативно установить его, чтобы защитить систему Audit Vault and Database Firewall и обеспечить максимальную безопасность данных. Не упустите шанс повысить защиту ваших баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые обновления MariaDB Enterprise Server 11.4.8-5 и 10.6.23-19 вышли с улучшенными функциями и повышенной стабильностью. Эти версии предлагают расширенную поддержку и повышенную безопасность для предприятий. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы