DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Build resilient applications with Amazon DynamoDB global tables: Part 3

Read: https://aws.amazon.com/blogs/database/part-3-build-resilient-applications-with-amazon-dynamodb-global-tables/
Build resilient applications with Amazon DynamoDB global tables: Part 4

Read: https://aws.amazon.com/blogs/database/part-4-build-resilient-applications-with-amazon-dynamodb-global-tables/
Introducing Pay-As-You-Go MongoDB Atlas on Azure Marketplace

Read: https://www.mongodb.com/blog/post/introducing-pay-as-you-go-atlas-azure-marketplace
How to Model Data in Document Databases for Read and Write Performance

Read: https://www.mongodb.com/blog/post/how-model-data-document-databases-read-write-performance
Как мы используем Greenplum в платформе данных Тинькофф

Меня зовут Дмитрий Немчин, я руковожу отделом, который отвечает за движки хранения и обработки данных в платформе данных Тинькофф. Несколько лет назад мы поняли, что продукты, на которых работало хранилище, перестали нас устраивать. Объемы росли, понадобилось масштабируемое решение. В этом тексте я расскажу, как мы пришли к Greenplum в качестве ядра хранилища данных и как используем его.


Читать: https://habr.com/ru/post/694652/
Собираем мобильный и энергоэффективный NAS

Есть идея построить NAS. Основную функцию которого можно описать как "черный ящик" - собрать все свои данные, собранные годами и разместить в относительно компактном устройстве. Предлагаю ознакомиться с идеей, которая, возможно найдёт отклик у сообщества.


Читать: https://habr.com/ru/post/694684/
Как мы делали МЦОД для самого холодного региона России

Привет, Хабр! Меня зовут Федор Клименко, я СЕО компании GreenMDC – мы занимаемся разработкой и производством модульных дата-центров. И иногда доставляем и собираем наши МЦОДы в экзотических регионах. Например, в марте запустили МЦОД в Якутске, где зимой столбик термометра опускается до -60 градусов. Сегодня расскажу о том, как мы везли дата-центр за 9 000 км и собирали его при -30, сколько слоев одежды было на монтажниках, как мы нашли работающий при такой погоде кран и избежали пайки фреонопроводов на морозе.

Предыстория

Для начала скажу, что хоть и являюсь гендиром компании, но в душе остаюсь инженером и люблю путешествовать. А потому часто работаю «в полях» и лично принимаю участие в монтаже и запуске МЦОДов, особенно, если проект интересный – такой как в Якутске.

Этот модульный ЦОД мы разработали по заказу «Республиканского центра информационных технологий» Республики Саха (Якутия) и сделали это в рамках проекта по цифровизации региональных госуслуг. Соответственно, МЦОД хранит и обрабатывает информацию, которая касается таких сфер жизни, как здравоохранение, образование, служба МЧС, банковские услуги, сельское хозяйство и др. Здесь, например, разместился портал госуслуг, мониторинг обстановки при ЧС, в том числе лесных пожаров, колл-центр 122, интеллектуальная транспортная система региона и единая система электронного документооборота.


Читать: https://habr.com/ru/post/694694/
👍1
Как оценить размер данных: краткий гайд

Оценка размера данных — это относительно простой навык, который одновременно: а) легко никогда не освоить; б) весьма полезен после того, как вы им овладели. Он может пригодиться при проектировании систем, в отладке сложной проблемы распределенной системы и, разумеется, при обсуждении архитектурных задач на собеседовании.

Автор Уилл Ларсон*, технический директор компании Calm, в своей статье признается, что никогда не был особенно хорош в «оценке». Поэтому он решил потратить несколько часов на развитие этого навыка, что со временем вылилось в текстовые заметки на эту тему. Под катом автор делится полезными правилами для оценки требуемого дискового пространства, а затем собирает фрагмент кода на SQLite3, чтобы продемонстрировать, как можно проверить результаты вашей «оценки».

*Обращаем ваше внимание, что позиция автора не всегда может совпадать с мнением МойОфис.


Читать: https://habr.com/ru/post/694728/
Импорт данных с MSSQL на PostgreSQL

В наличии была база данных MSSQL (с которой забираем данные), а также PostgreSQL Pro Enterprise 10.3, развернутая на CentOS 7 (на которую импортируем). Ну и полное отсутствие интернета.


Читать: https://habr.com/ru/post/694766/
MongoDB Supports Cutting-Edge Startups with NVIDIA Inception

Read: https://www.mongodb.com/blog/post/mongodb-supports-cutting-edge-startups-nvidia-inception
Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур EDW

Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений.

Наш мозг может и обрабатывать, и хранить информацию, а компаниям для работы с данными требуется множество разных инструментов. И одним из самых важных является корпоративное хранилище данных (enterprise data warehouse, EDW).

В этой статье мы расскажем о том, что же такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Мы объясним, как корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают. В первую очередь мы хотим дать вам информацию о ценности для бизнеса каждого архитектурного и концептуального подхода к построению хранилища.


Читать: https://habr.com/ru/post/693360/
По существу: чем графовая база данных отличается от реляционной?

Конечно, вы и сами можете легко нагуглить ответы на этот вопрос, однако, как я обнаружил, большинство ответов, которые вы найдете, раскрывают эту тему чересчур поверхностно.

В сегодняшнем вечно занятом мире новые данные, теперь представляющие из себя фундаментальные активы большинства предприятий, создаются без остановки. Системы доступны 24/7, генерируя данные каждую секунду каждого дня. И даже больше, эти сложные композиции систем генерации и обработки данных непрерывно взаимодействуют друг с другом для предоставления услуг конечному пользователю. В последнее время я все чаще натыкаюсь на один вопрос, который заключается в следующем: как обстоят дела с графовыми базами данных и чем они выделяются на фоне реляционных? И в итоге я решил как следует разобраться в этой теме. Найти множество ответов на этот вопрос не представляет особого труда, достаточно просто немного погуглить. Однако, как я обнаружил, большинство ответов перечисляют преимущества очень поверхностно.

Именно поэтому я решил поделиться с вами в этой статье кратким разбором того, в чем по моему мнению заключается их истинная ценность — независимо от маркетинговых презентаций крупных компаний и технологических инфлюенсеров.


Читать: https://habr.com/ru/post/695180/
Modernizing Banking Technology Architecture with MongoDB and Gravity9

Read: https://www.mongodb.com/blog/post/modernizing-banking-technology-architecture-mongodb-gravity9
Тайм-капсула. Архив со сжатием файловой системы

Тайм-капсула — слепок файловой системы (ФС), желательно с максимальным сжатием, на заданную дату/время. Используется для долговременного хранения в архиве, резервного копирования и восстановления в случае сбоя/потери данных. Нас интересует, как делать такие слепки самостоятельно и какие файлы получаются при этом.

Кто-то привык к обычному tar cvzf output.tar.gz /source/pathдля клонирования дисков, но есть более универсальный инструмент FSArchiver, который сохраняет файловые атрибуты, несколько файловых систем в одном архиве и контрольные суммы файлов с хорошим уровнем сжатия.


Читать: https://habr.com/ru/post/694486/
Built With MongoDB: ChargeHub Simplifies the Electric Charging Experience

Read: https://www.mongodb.com/blog/post/built-mongodb-charge-hub-simplifies-electric-charging-experience
Как и зачем разрабатывать информационное обеспечение автоматизированных систем

Существующие подходы и технологии, используемые при разработке информационного и лингвистического обеспечения автоматизированных систем, отстают от требований времени. Необходимо глубокое переосмысление методов и способов формирования и предоставления информации с учетом современного уровня развития информационных технологий.


Читать: https://habr.com/ru/post/695718/
The quickest ways to try MariaDB Xpand

Read: https://mariadb.com/?p=33726
MongoDB & IIoT: Turning Data into Business Intelligence

Read: https://www.mongodb.com/blog/post/mongodb-iiot-turning-data-into-business-intelligence
Atlas Charts Adds Support for Serverless and Online Archive Data Sources

Read: https://www.mongodb.com/blog/post/atlas-charts-adds-support-serverless-online-archive-data-sources
MariaDB Node.js Connector 3.0.2 now available

Read: https://mariadb.com/?p=33738