How Informatica® Cloud Data Governance and Catalog uses Amazon Neptune for knowledge graphs
Read: https://aws.amazon.com/blogs/database/how-informatica-cloud-data-governance-and-catalog-uses-amazon-neptune-for-knowledge-graphs/
Read: https://aws.amazon.com/blogs/database/how-informatica-cloud-data-governance-and-catalog-uses-amazon-neptune-for-knowledge-graphs/
Set up scheduled backups for Amazon DynamoDB using AWS Backup – Part 2
Read: https://aws.amazon.com/blogs/database/part-2-set-up-scheduled-backups-for-amazon-dynamodb-using-aws-backup/
Read: https://aws.amazon.com/blogs/database/part-2-set-up-scheduled-backups-for-amazon-dynamodb-using-aws-backup/
That's DBT? WOW!
If You're data enthusiast, it's definitely worth trying.
DBT (data build tool) is really fresh (v. 1.0.x) and open-source tool that perfectly fills the gap in data engineering stack. It's dedicated for data engineers that love to code and hate to dra...
Read: https://wasimara.hashnode.dev/thats-dbt-wow
If You're data enthusiast, it's definitely worth trying.
DBT (data build tool) is really fresh (v. 1.0.x) and open-source tool that perfectly fills the gap in data engineering stack. It's dedicated for data engineers that love to code and hate to dra...
Read: https://wasimara.hashnode.dev/thats-dbt-wow
Apache Kafka в цепочке поставок в пищепроме и ритейле
Цепочка поставок в пищевой промышленности и ритейле — это сложная, медленная и ненадёжная система. В этой статье мы рассмотрим развёртывание Apache Kafka для обработки данных в реальном времени в таких сферах, как производство, логистика, розничная торговля, доставка, рестораны и другие части бизнеса. Это будут примеры из настоящих компаний: Walmart, Albertsons, Instacart, Domino’s Pizza, Migros и т. д.
Читать дальше
Читать: https://habr.com/ru/post/689460/
Цепочка поставок в пищевой промышленности и ритейле — это сложная, медленная и ненадёжная система. В этой статье мы рассмотрим развёртывание Apache Kafka для обработки данных в реальном времени в таких сферах, как производство, логистика, розничная торговля, доставка, рестораны и другие части бизнеса. Это будут примеры из настоящих компаний: Walmart, Albertsons, Instacart, Domino’s Pizza, Migros и т. д.
Читать дальше
Читать: https://habr.com/ru/post/689460/
What’s New in Atlas Charts: Streamlined Data Sources
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-streamlined-data-sources
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-streamlined-data-sources
SurrealDB, Database from the Future?
WHAT IS SURREALDB!?
SurrealDB is a multi-model database, its engine is powered by Rust, and it delivers a massive amount of features, it's fast, lightweight, schemaless, schemafull, relational, ACID, on-memory, in-disk, embedded and the feature list ...
Read: https://tareqrafed.hashnode.dev/surrealdb-database-from-the-future
WHAT IS SURREALDB!?
SurrealDB is a multi-model database, its engine is powered by Rust, and it delivers a massive amount of features, it's fast, lightweight, schemaless, schemafull, relational, ACID, on-memory, in-disk, embedded and the feature list ...
Read: https://tareqrafed.hashnode.dev/surrealdb-database-from-the-future
Advanced Mongoose Data Modelling
Mongoose/Mongo Advance Concepts
Relationship types
Referencing/Normalization vs Embedding/Denormalization
Embedding or Referencing Documents
Types of referencing
Parent Referencing
Child Referencing
Two-Way Referencing
Relationship Types:
1:1
In ...
Read: https://imranzaheer.hashnode.dev/advanced-mongoose-data-modelling
Mongoose/Mongo Advance Concepts
Relationship types
Referencing/Normalization vs Embedding/Denormalization
Embedding or Referencing Documents
Types of referencing
Parent Referencing
Child Referencing
Two-Way Referencing
Relationship Types:
1:1
In ...
Read: https://imranzaheer.hashnode.dev/advanced-mongoose-data-modelling
Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных
Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много.
ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных.
Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл.
Читать: https://habr.com/ru/post/689224/
Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много.
ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных.
Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл.
Читать: https://habr.com/ru/post/689224/
Как бизнесу выбрать базу данных под свой проект
Бизнес любого направления деятельности сопровождается сбором, обработкой и анализом большого объема информации. Он начинается с интернет-продаж, где необходимо повышение конверсии, и платежных сервисов с обработкой транзакций и заканчивается крупными производственными концернами, где прогнозируется простой техники, загруженность маршрутов транспорта и выполняется масса других задач, деятельность связана с хранением и структурированием профильных данных.
Создание базы данных для предприятия – ключевая задача уже на начальном этапе работы. По мере развития бизнеса количество задач, связанных с обработкой информации, возрастает. Если фирма планирует создать надежную, стабильно работающую IT-инфраструктуру, удовлетворяющую все профильные потребности, приходится выбирать один из двух способов решения задачи:
Читать: https://habr.com/ru/post/689656/
Бизнес любого направления деятельности сопровождается сбором, обработкой и анализом большого объема информации. Он начинается с интернет-продаж, где необходимо повышение конверсии, и платежных сервисов с обработкой транзакций и заканчивается крупными производственными концернами, где прогнозируется простой техники, загруженность маршрутов транспорта и выполняется масса других задач, деятельность связана с хранением и структурированием профильных данных.
Создание базы данных для предприятия – ключевая задача уже на начальном этапе работы. По мере развития бизнеса количество задач, связанных с обработкой информации, возрастает. Если фирма планирует создать надежную, стабильно работающую IT-инфраструктуру, удовлетворяющую все профильные потребности, приходится выбирать один из двух способов решения задачи:
Читать: https://habr.com/ru/post/689656/
Build NFT metadata access control with Ethereum signatures and AWS Lambda authorizers
Read: https://aws.amazon.com/blogs/database/build-nft-metadata-access-control-with-ethereum-signatures-and-aws-lambda-authorizers/
Read: https://aws.amazon.com/blogs/database/build-nft-metadata-access-control-with-ethereum-signatures-and-aws-lambda-authorizers/
How a Data Mesh Facilitates Open Banking
Read: https://www.mongodb.com/blog/post/how-data-mesh-facilitates-open-banking
Read: https://www.mongodb.com/blog/post/how-data-mesh-facilitates-open-banking
MACH Aligned for Retail: Cloud-Native SaaS
Read: https://www.mongodb.com/blog/post/mach-aligned-retail-cloud-native-saas
Read: https://www.mongodb.com/blog/post/mach-aligned-retail-cloud-native-saas
[recovery mode] 7 шагов успешного создания хранилища данных(DWH)
Проектирование и построение хранилища данных (data warehouse) – задача масштабная и длительная. Необходимо учесть много факторов и нюансов, рассчитать бюджет и только на последнем этапе создавать DWH.
Рассмотрим создание хранилища данных поэтапно, рассказав о каждом шаге и возможных подводных камнях.
Читать: https://habr.com/ru/post/689840/
Проектирование и построение хранилища данных (data warehouse) – задача масштабная и длительная. Необходимо учесть много факторов и нюансов, рассчитать бюджет и только на последнем этапе создавать DWH.
Рассмотрим создание хранилища данных поэтапно, рассказав о каждом шаге и возможных подводных камнях.
Читать: https://habr.com/ru/post/689840/
Securely assess database schema migrations using AWS SCT, Amazon RDS for Oracle, and AWS Secrets Manager
Read: https://aws.amazon.com/blogs/database/securely-assess-database-schema-migrations-using-aws-sct-amazon-rds-for-oracle-and-aws-secrets-manager/
Read: https://aws.amazon.com/blogs/database/securely-assess-database-schema-migrations-using-aws-sct-amazon-rds-for-oracle-and-aws-secrets-manager/
Migrate from Oracle RAC to AWS: Alternatives on AWS
Read: https://aws.amazon.com/blogs/database/migrate-from-oracle-rac-to-aws-alternatives-on-aws/
Read: https://aws.amazon.com/blogs/database/migrate-from-oracle-rac-to-aws-alternatives-on-aws/
Access Bitcoin and Ethereum open datasets for cross-chain analytics
Read: https://aws.amazon.com/blogs/database/access-bitcoin-and-ethereum-open-datasets-for-cross-chain-analytics/
Read: https://aws.amazon.com/blogs/database/access-bitcoin-and-ethereum-open-datasets-for-cross-chain-analytics/
Чего ждать от «Управления данными 2022»?
Привет, Хабр! Буквально на днях, уже на следующей неделе стартует конференция “Управление данными 2022”. Издательство "Открытые Системы" проводит мероприятие седьмой год подряд, но в 2022 году форум обещает быть особенно интересным. Почему мы решили принять в нем участие, и какие доклады я сам бы хотел послушать, читайте под катом.
Узнать больше
Читать: https://habr.com/ru/post/690026/
Привет, Хабр! Буквально на днях, уже на следующей неделе стартует конференция “Управление данными 2022”. Издательство "Открытые Системы" проводит мероприятие седьмой год подряд, но в 2022 году форум обещает быть особенно интересным. Почему мы решили принять в нем участие, и какие доклады я сам бы хотел послушать, читайте под катом.
Узнать больше
Читать: https://habr.com/ru/post/690026/
Relational to NoSQL at Enterprise Scale: Lessons from Amazon
Read: https://www.mongodb.com/blog/post/relational-nosql-enterprise-scale-lessons-amazon
Read: https://www.mongodb.com/blog/post/relational-nosql-enterprise-scale-lessons-amazon
Women’s Advocacy Summit Recap: The Value of Inclusive Cultures
Read: https://www.mongodb.com/blog/post/womens-advocacy-summit-2022
Read: https://www.mongodb.com/blog/post/womens-advocacy-summit-2022
4 Ways to Create a Zero Trust Environment in Financial Services
Read: https://www.mongodb.com/blog/post/four-ways-create-zero-trust-environment-financial-services
Read: https://www.mongodb.com/blog/post/four-ways-create-zero-trust-environment-financial-services