DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.3K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Start on your journey to operationalize AI-enhanced real-time applications with MongoDB and Databricks

Read: https://www.mongodb.com/blog/post/start-your-journey-operationalize-ai-enhanced-real-time-applications-mongodb-databricks
Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 1 — Введение

Прим. переводчика: автор статьи рассказывает о причинах, побудивших их попробовать провести обновление кластера Elasticsearch размером более 3 петабайт, и приводит результаты замеров работоспособности нового кластера в сравнении со старым.

Еще в 2018 году, то есть пять лет назад, в нашем блоге был опубликован пост с описанием нашего кластера Elasticsearch на 400+ узлов. Тогда была затронута важная тема:

Мы решили не обновлять кластер. Хотелось бы, но пока есть более срочные задачи. Да и как именно будет происходить обновление, пока не решено. Один из вариантов — создать новый кластер, а не обновлять старый.

Что ж, долгожданный день обновления, наконец, наступил.


Читать: https://habr.com/ru/post/700628/
🔥1
ETL и ELT: ключевые различия, о которых должен знать каждый

ETL и ELT — самые широко используемые способы доставки данных из одного или нескольких источников в централизованную систему для удобства доступа и анализа. Обе этих методики состоят из этапов extract (извлечения), transform (преобразования) и load (загрузки). Разница заключается в последовательности действий. Хотя можно подумать, что небольшое изменение в порядке этапов никак не влияет, на самом деле для потока интеграции это меняет всё.

В этом посте мы подробно рассмотрим процессы ETL и ELT, а также сравним их по важным критериям, чтобы вы могли понять, какой лучше подходит для вашего конвейера данных.


Читать: https://habr.com/ru/post/695546/
Зачем компаниям и разработчикам базы данных в облаке: инструкция по применению

Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).

В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.

Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.



Читать: https://habr.com/ru/post/700908/
Зачем компаниям и разработчикам базы данных в облаке: инструкция по применению

Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).

В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.

Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.



Читать: https://habr.com/ru/post/700908/
Optimizing Your MongoDB Deployment with Performance Advisor

Read: https://www.mongodb.com/blog/post/optimizing-mongodb-deployment-performance-advisor
Manage and Store Data Where You Want with MongoDB

Read: https://www.mongodb.com/blog/post/manage-store-data-where-you-want-mongodb
MongoDB and AWS: Simplifying OSDU Metadata Management

Read: https://www.mongodb.com/blog/post/mongodb-aws-simplifying-osdu-metadata-management
👍1
ClickHouse: как обрабатывать big data в 800 раз быстрее

Рассказываем о ClickHouse — инструменте, который позволяет в 800 раз быстрее оценивать big data в метрике сайтов.

Читать: «ClickHouse: как обрабатывать big data в 800 раз быстрее»
MongoDB Joins Auth0 to Help Startups Combat Security Risks

Read: https://www.mongodb.com/blog/post/mongodb-joins-auth0-help-startups-combat-security-risks
Modernize your GraphQL APIs with MongoDB Atlas and AWS AppSync

Read: https://www.mongodb.com/blog/post/modernize-graphql-api-mongodb-atlas-aws-app-sync
Наша новая удачная попытка бесшовной замены Redis на KeyDB

Мы уже как-то рассказывали о базе данных KeyDB — форке Redis, разработка которого началась в 2019 году. Проект распространяется под свободной лицензией BSD, и у него уже почти 6k звезд на GitHub. Авторы в свое время столкнулись с проблемами производительности оригинала и пошли хардкорным путём: взяли всё в свои руки и привнесли много нового как в части многопоточности, так и в других областях.

В статье мы рассказываем еще об одном положительном опыте замены Redis на KeyDB.


Читать: https://habr.com/ru/post/700294/
Как избежать распространенных ошибок при работе с СУБД

В этом материале мы поговорим о практиках и ошибках при работе с разными СУБД, а также поделимся чек-листом от менеджера PaaS-продуктов Selectel Андрея Андронова.

Мы начнем с планов на проект и серверных комплектующих, пройдем через правила проектирования баз данных и доберемся до уровня доступности.


Читать: https://habr.com/ru/post/701370/
Что может тормозить внедрение IPFS

Протоколу давно пророчат светлое будущее в качестве замены HTTP. Об этом мы говорили в одном из прошлых материалов. И сегодня решили взглянуть, как обстоят дела с внедрением IPFS и какие факторы замедляют распространение.


Читать: https://habr.com/ru/post/701600/
Это база: как я превращаю копилку личного опыта в социальные технологии, которые работают

Рефлексия по поводу собирательства знаний + подборки такого собирательства в Notion. В комплекте - несколько лайфхаков, скриншотов, ну и само содержание: собранные за многие месяцы базы знаний.
Посмотреть и потрогать:

Читать: https://habr.com/ru/post/702002/
10 years of MongoDB customers at AWS re:Invent

Read: https://www.mongodb.com/blog/post/ten-years-mongodb-customers-aws-reinvent
👎1
Родители и дети. Связываем документы в Elasticsearch

Как-то раз, мне попалась интересная задача: выделить общую часть информации из нескольких документов, находящегося в Elasticsearch, в отдельный «фрагмент» с целью ее независимого и частого обновления по типу отношения «один ко многим». В данной статье я расскажу вам про join field type.


Читать: https://habr.com/ru/post/702134/
Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 2 — Два последовательных кластера

Прим. переводчика: автор статьи рассказывает о процессе обновления кластера Elasticsearch размером более 3 петабайт методом последовательного включения двух кластеров, а также о том, как решались проблемы согласованности индексирования и миграции данных.

Это вторая часть из серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей. Как упоминалось в первой части, необходимо было обеспечить плавный переход между двумя версиями системы, при этом сохраняя возможность отката.


Читать: https://habr.com/ru/post/702028/
MongoDB Named as a Leader in The Forrester Wave: Translytical Data Platforms, Q4 2022

Read: https://www.mongodb.com/blog/post/mongodb-named-leader-forrester-wave-translytical-data-platforms-q4-2022