DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Руководство по парольной политике. Часть 2

Продолжение. С первой частью можно ознакомиться здесь.

Вторая часть универсального руководства, переведенного экспертами Origin Security специально для наших читателей. Ознакомившись с этим документом, вы узнаете буквально все о создании надежных паролей


Читать: https://habr.com/ru/post/689114/
Scale modern serverless applications with Amazon RDS Proxy for SQL Server

Read: https://aws.amazon.com/blogs/database/scale-modern-serverless-applications-with-amazon-rds-proxy-for-sql-server/
Firestore batched writes and transactions

At Bobsled, the start-up I work for, we use Firestore. There are places where we use batched writes and transactions. Before I joined Bobsled though, I didn't know about transactions, and only knew about batched writes.
In this article, I want to cle...

Read: https://tigerabrodi.blog/firestore-batched-writes-and-transactions
[recovery mode] Структурируй это: как в ДОМ.РФ выстроена работа над крупными проектами

Плюсы, минусы, подводные камни спецификаций - на примере Единой информационной системы жилищного строительства (ЕИСЖС).


Читать: https://habr.com/ru/post/689160/
Могут ли интернет-провайдеры продавать обезличенные ПД

Регуляторы разных стран дают собственный ответ на этот вопрос. Свою точку зрения имеют даже отдельные штаты. Обсудим, как обстоят дела в США и Европе.


Читать: https://habr.com/ru/post/689040/
Как научиться учиться с помощью второго мозга. 4 инструмента, 3 апгрейда и 3 ошибки

Новички которые слышат про методику Zettelkasten более чем в половине случаев считают что могут прокачать свой процесс обучения с ее помощью. Обычно речь идет про программирование.

В этой статье я не буду давать распространенные советы по тому как научиться учиться вроде "нужно заниматься спортом", "нужно достаточно спать", и т. д. Вместо этого разберем как цеттелькасен усиливает или тормозит процесс самообразования. А также как его можно усилить для повышения эффективности.


Читать: https://habr.com/ru/post/689294/
MariaDB Java Connector 3.0.8 now available

Read: https://mariadb.com/?p=33195
How to Leverage Enriched Queries with MongoDB 6.0

Read: https://www.mongodb.com/blog/post/leverage-enriched-queries-mongodb-six-point-zero
👍1
Building a Portable Database Server

Read: https://mariadb.com/?p=33068
How Informatica® Cloud Data Governance and Catalog uses Amazon Neptune for knowledge graphs

Read: https://aws.amazon.com/blogs/database/how-informatica-cloud-data-governance-and-catalog-uses-amazon-neptune-for-knowledge-graphs/
Set up scheduled backups for Amazon DynamoDB using AWS Backup – Part 2

Read: https://aws.amazon.com/blogs/database/part-2-set-up-scheduled-backups-for-amazon-dynamodb-using-aws-backup/
That's DBT? WOW!

If You're data enthusiast, it's definitely worth trying.
DBT (data build tool) is really fresh (v. 1.0.x) and open-source tool that perfectly fills the gap in data engineering stack. It's dedicated for data engineers that love to code and hate to dra...

Read: https://wasimara.hashnode.dev/thats-dbt-wow
Apache Kafka в цепочке поставок в пищепроме и ритейле

Цепочка поставок в пищевой промышленности и ритейле — это сложная, медленная и ненадёжная система. В этой статье мы рассмотрим развёртывание Apache Kafka для обработки данных в реальном времени в таких сферах, как производство, логистика, розничная торговля, доставка, рестораны и другие части бизнеса. Это будут примеры из настоящих компаний: Walmart, Albertsons, Instacart, Domino’s Pizza, Migros и т. д.
Читать дальше

Читать: https://habr.com/ru/post/689460/
What’s New in Atlas Charts: Streamlined Data Sources

Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-streamlined-data-sources
Call for Presentations Is Open – MariaDB OpenWorks 2023

Read: https://mariadb.com/?p=33198
SurrealDB, Database from the Future?

WHAT IS SURREALDB!?
SurrealDB is a multi-model database, its engine is powered by Rust, and it delivers a massive amount of features, it's fast, lightweight, schemaless, schemafull, relational, ACID, on-memory, in-disk, embedded and the feature list ...

Read: https://tareqrafed.hashnode.dev/surrealdb-database-from-the-future
Advanced Mongoose Data Modelling

Mongoose/Mongo Advance Concepts

Relationship types
Referencing/Normalization vs Embedding/Denormalization
Embedding or Referencing Documents
Types of referencing
Parent Referencing
Child Referencing
Two-Way Referencing



Relationship Types:
1:1
In ...

Read: https://imranzaheer.hashnode.dev/advanced-mongoose-data-modelling
Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много.

ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных.

Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл.


Читать: https://habr.com/ru/post/689224/
Как бизнесу выбрать базу данных под свой проект

Бизнес любого направления деятельности сопровождается сбором, обработкой и анализом большого объема информации. Он начинается с интернет-продаж, где необходимо повышение конверсии, и платежных сервисов с обработкой транзакций и заканчивается крупными производственными концернами, где прогнозируется простой техники, загруженность маршрутов транспорта и выполняется масса других задач, деятельность связана с хранением и структурированием профильных данных.

Создание базы данных для предприятия – ключевая задача уже на начальном этапе работы. По мере развития бизнеса количество задач, связанных с обработкой информации, возрастает. Если фирма планирует создать надежную, стабильно работающую IT-инфраструктуру, удовлетворяющую все профильные потребности, приходится выбирать один из двух способов решения задачи:


Читать: https://habr.com/ru/post/689656/
Build NFT metadata access control with Ethereum signatures and AWS Lambda authorizers

Read: https://aws.amazon.com/blogs/database/build-nft-metadata-access-control-with-ethereum-signatures-and-aws-lambda-authorizers/