Альтернатива MapReduce при поиске в распределенной БД
Привет, меня зовут Сатбек, я работаю в команде Tarantool. Расскажу, как реализовать в шардированном кластере поиск, скорость которого не зависит от количества мастеров и объёма хранимых данных. Условно назову этот способ индексным слоем:
- Опишу общую схему построения поиска.
- Приведу пример реализации.
- Дам рекомендации по разработке.
В статье я последовательно реализую простой CRUD-сервис с шардированным хранилищем, а также поиск по данным. Это поможет вам лучше понять, когда возникают проблемы с поиском по распределённым данным и как их решает индексный слой.
Использовать будем БД Tarantool (версия ≥ 1.10), а также фреймворк для построения кластеров Tarantool-Cartridge (версия 2.7.0).
Для лучшего понимания желательно познакомиться с фреймворком Tarantool-Cartidge, модулем vshard, а также языком Lua, так как пример написан на нём.
Читать: https://habr.com/ru/post/657789/
Привет, меня зовут Сатбек, я работаю в команде Tarantool. Расскажу, как реализовать в шардированном кластере поиск, скорость которого не зависит от количества мастеров и объёма хранимых данных. Условно назову этот способ индексным слоем:
- Опишу общую схему построения поиска.
- Приведу пример реализации.
- Дам рекомендации по разработке.
В статье я последовательно реализую простой CRUD-сервис с шардированным хранилищем, а также поиск по данным. Это поможет вам лучше понять, когда возникают проблемы с поиском по распределённым данным и как их решает индексный слой.
Использовать будем БД Tarantool (версия ≥ 1.10), а также фреймворк для построения кластеров Tarantool-Cartridge (версия 2.7.0).
Для лучшего понимания желательно познакомиться с фреймворком Tarantool-Cartidge, модулем vshard, а также языком Lua, так как пример написан на нём.
Читать: https://habr.com/ru/post/657789/
Pgbackrest Installation
In today’s article, I will tell you about Pgbackrest Installation on PostgreSQL Community 13. If you have not installed PostgreSQL Community before, you can install it by following the link below. [crayon-6242f25c19248094516208/] Briefly, pgBackrest is a backup tool for PostgreSQL. You can get full backup, incremental backup, differantial backup with this tool. You can restore …
Read: Pgbackrest Installation.
In today’s article, I will tell you about Pgbackrest Installation on PostgreSQL Community 13. If you have not installed PostgreSQL Community before, you can install it by following the link below. [crayon-6242f25c19248094516208/] Briefly, pgBackrest is a backup tool for PostgreSQL. You can get full backup, incremental backup, differantial backup with this tool. You can restore …
Read: Pgbackrest Installation.
👍1
10. Batch Processing
Broadly data systems can be grouped into two categories
Systems of Record : Act as source of truth. In case of conflict, data in this system is considered as correct.
Derived System: Derived from Systems of record and generally modeled based on cons...
Read: https://rparthas.hashnode.dev/10-batch-processing-cl1c740xh00pczanv2lry1u1k
Broadly data systems can be grouped into two categories
Systems of Record : Act as source of truth. In case of conflict, data in this system is considered as correct.
Derived System: Derived from Systems of record and generally modeled based on cons...
Read: https://rparthas.hashnode.dev/10-batch-processing-cl1c740xh00pczanv2lry1u1k
История жестких дисков, часть IV — до наших дней
Жесткие диски знакомы всем пользователям, без них сложно представить современный компьютер. Конечно, SSD вытеснили жесткие диски в сценариях, где требуется максимальная производительность, например, для загрузочного раздела ОС. Но если нужна максимальная емкость, то без HDD не обойтись.
Сегодня жесткие диски достигли емкости 20 Тбайт, а скоро выйдут и более емкие модели, в том числе и благодаря технологии термомагнитной записи (HAMR). 3,5" форм-фактор жестких дисков сегодня утвердился, однако они не всегда были такими. В нашем цикле статей мы проведем небольшой экскурс в историю жестких дисков.
В первой части мы начали с 50-х годов прошлого века, во второй части мы перешли к эпохе миникомпьютеров, которые появились в 1980-е годы. В третьей части мы рассмотрели тему миниатюризации и поговорили о том, почему прогнозы не оправдались. Четвертая часть описывает наиболее значимые события индустрии жестких дисков до наших дней.
Читать: https://habr.com/ru/post/658023/
Жесткие диски знакомы всем пользователям, без них сложно представить современный компьютер. Конечно, SSD вытеснили жесткие диски в сценариях, где требуется максимальная производительность, например, для загрузочного раздела ОС. Но если нужна максимальная емкость, то без HDD не обойтись.
Сегодня жесткие диски достигли емкости 20 Тбайт, а скоро выйдут и более емкие модели, в том числе и благодаря технологии термомагнитной записи (HAMR). 3,5" форм-фактор жестких дисков сегодня утвердился, однако они не всегда были такими. В нашем цикле статей мы проведем небольшой экскурс в историю жестких дисков.
В первой части мы начали с 50-х годов прошлого века, во второй части мы перешли к эпохе миникомпьютеров, которые появились в 1980-е годы. В третьей части мы рассмотрели тему миниатюризации и поговорили о том, почему прогнозы не оправдались. Четвертая часть описывает наиболее значимые события индустрии жестких дисков до наших дней.
Читать: https://habr.com/ru/post/658023/
👍1
Automate Ethereum node validator deployment on Amazon EC2 using AWS CDK
Read: https://aws.amazon.com/blogs/database/automate-ethereum-node-validator-deployment-on-amazon-ec2-using-aws-cdk/
Read: https://aws.amazon.com/blogs/database/automate-ethereum-node-validator-deployment-on-amazon-ec2-using-aws-cdk/
Set Oracle diagnostics system events on Amazon RDS for Oracle
Read: https://aws.amazon.com/blogs/database/set-oracle-diagnostics-system-events-on-amazon-rds-for-oracle/
Read: https://aws.amazon.com/blogs/database/set-oracle-diagnostics-system-events-on-amazon-rds-for-oracle/
Day 9/100
Scylla Operations Course - [Part 2: Scylla Monitoring]
Scylla Monitoring stack looks something like this
Scylla Node components
Scylla task categories
Foreground
Read/ write
Background
Read/ write
memtable flushing
commitlog
compaction
Stream...
Read: https://rawdatareaders.hashnode.dev/day-9100
Scylla Operations Course - [Part 2: Scylla Monitoring]
Scylla Monitoring stack looks something like this
Scylla Node components
Scylla task categories
Foreground
Read/ write
Background
Read/ write
memtable flushing
commitlog
compaction
Stream...
Read: https://rawdatareaders.hashnode.dev/day-9100
Data Migration - How to Perform Huge Data Loads
Hello, folks today we are going to discuss one of the Major, technical challenge, that every data engineer Will face while performing Huge data loads.
Le Every Data Engineer:
Part - 1
Data Transfer is Not Simple:
Setting Up Data Pipelines is not...
Read: https://naveenvadlamudi.hashnode.dev/data-migration-how-to-perform-huge-data-loads
Hello, folks today we are going to discuss one of the Major, technical challenge, that every data engineer Will face while performing Huge data loads.
Le Every Data Engineer:
Part - 1
Data Transfer is Not Simple:
Setting Up Data Pipelines is not...
Read: https://naveenvadlamudi.hashnode.dev/data-migration-how-to-perform-huge-data-loads
How to Perform Huge Data Loads
Hello, folks today we are going to discuss one of the Major, technical challenge, that every data engineer Will face while performing Huge data loads.
Le Every Data Engineer:
Part - 1
Data Transfer is Not Simple:
Setting Up Data Pipelines is not...
Read: https://naveenvadlamudi.hashnode.dev/how-to-perform-huge-data-loads
Hello, folks today we are going to discuss one of the Major, technical challenge, that every data engineer Will face while performing Huge data loads.
Le Every Data Engineer:
Part - 1
Data Transfer is Not Simple:
Setting Up Data Pipelines is not...
Read: https://naveenvadlamudi.hashnode.dev/how-to-perform-huge-data-loads
Enhanced Infrastructure Maintenance Controls for Oracle Exadata Database Service on Cloud@Customer
Enhanced infrastructure maintenance controls for Oracle Exadata Database Service on Cloud@Customer.
Read: https://blogs.oracle.com/database/post/enhanced-infrastructure-maintenance-controls-for-oracle-exadata-database-service-on-cc
Enhanced infrastructure maintenance controls for Oracle Exadata Database Service on Cloud@Customer.
Read: https://blogs.oracle.com/database/post/enhanced-infrastructure-maintenance-controls-for-oracle-exadata-database-service-on-cc
Oracle
Enhanced Infrastructure Maintenance Controls for Oracle Exadata Database Service on Cloud@Customer
Enhanced infrastructure maintenance controls for Oracle Exadata Database Service on Cloud@Customer.
In-Database Machine Learning with MySQL HeatWave
Read: https://blogs.oracle.com/mysql/post/in-database-machine-learning-with-mysql-heatwave
Read: https://blogs.oracle.com/mysql/post/in-database-machine-learning-with-mysql-heatwave
Oracle
In-Database Machine Learning with MySQL HeatWave
New features and capabilities being introduced with MySQL HeatWave ML.
Leading Industry Analysts Praise the New MySQL HeatWave Innovations
Read: https://blogs.oracle.com/mysql/post/mysql-heatwave-ml-analyst-praises
Read: https://blogs.oracle.com/mysql/post/mysql-heatwave-ml-analyst-praises
TypeORM viewEntity
We had a brief first-look at TypeORM, an excellent ORM system for managing your database.
I wrote about this first as I was transitioning to Prisma, this is not finished, but I found some fantastic elements of TypeORM I wanted to showcase in the mean...
Read: https://h.daily-dev-tips.com/typeorm-viewentity
We had a brief first-look at TypeORM, an excellent ORM system for managing your database.
I wrote about this first as I was transitioning to Prisma, this is not finished, but I found some fantastic elements of TypeORM I wanted to showcase in the mean...
Read: https://h.daily-dev-tips.com/typeorm-viewentity
Импорт и экспорт данных в PostgreSQL, гайд для начинающих
В процессе обучения аналитике данных у человека неизбежно возникает вопрос о миграции данных из одной среды в другую. Поскольку одним из необходимых навыков для аналитика данных является знание SQL, а одной из наиболее популярных СУБД является PostgreSQL, предлагаю рассмотреть импорт и экспорт данных на примере этой СУБД.
В своё время, столкнувшись с импортом и экспортом данных, обнаружилось, что какой-то более-менее структурированной инфы мало: этот момент обходят на всяких там курсах по аналитике, подразумевая, что это очень простые моменты, которым не следует уделять внимание.
В данной статье приведены примеры импорта в PostgreSQL непосредственно самой базы данных в формате sql, а также импорта и экспорта данных в наиболее простом и распространенном формате .csv, в котором в настоящее время хранятся множество существующих датасетов. Формат .json хоть и является также очень распространенным, рассмотрен не будет, поскольку, по моему скромному мнению, с ним все-таки лучше работать на Python, чем в SQL.
1. Импорт базы данных в формате в PostgreSQL
Скачиваем (получаем из внутреннего корпоративного источника) файл с базой данных в выбранную папку. В данном случае путь:
C:\Users\User-N\Desktop\БД
Имя файла: demo-big-20170815
Далее понадобиться командная строка windows или SQL shell (psql). Для примера воспользуемся cmd. Переходим в каталог, где находится скачанная БД, командой cd C:\Users\User-N\Desktop\БД :
Читать: https://habr.com/ru/post/658153/
В процессе обучения аналитике данных у человека неизбежно возникает вопрос о миграции данных из одной среды в другую. Поскольку одним из необходимых навыков для аналитика данных является знание SQL, а одной из наиболее популярных СУБД является PostgreSQL, предлагаю рассмотреть импорт и экспорт данных на примере этой СУБД.
В своё время, столкнувшись с импортом и экспортом данных, обнаружилось, что какой-то более-менее структурированной инфы мало: этот момент обходят на всяких там курсах по аналитике, подразумевая, что это очень простые моменты, которым не следует уделять внимание.
В данной статье приведены примеры импорта в PostgreSQL непосредственно самой базы данных в формате sql, а также импорта и экспорта данных в наиболее простом и распространенном формате .csv, в котором в настоящее время хранятся множество существующих датасетов. Формат .json хоть и является также очень распространенным, рассмотрен не будет, поскольку, по моему скромному мнению, с ним все-таки лучше работать на Python, чем в SQL.
1. Импорт базы данных в формате в PostgreSQL
Скачиваем (получаем из внутреннего корпоративного источника) файл с базой данных в выбранную папку. В данном случае путь:
C:\Users\User-N\Desktop\БД
Имя файла: demo-big-20170815
Далее понадобиться командная строка windows или SQL shell (psql). Для примера воспользуемся cmd. Переходим в каталог, где находится скачанная БД, командой cd C:\Users\User-N\Desktop\БД :
Читать: https://habr.com/ru/post/658153/
👍1
Что нового в плане мониторинга в PostgreSQL (Алексей Лесовский)
Доклад Алексея Лесовского про то, что нового есть в PostgreSQL в плане мониторинга.
Охватывать Алексей будет 13 и 14 версии. Далее от его лица.
Читать: https://habr.com/ru/post/658137/
Доклад Алексея Лесовского про то, что нового есть в PostgreSQL в плане мониторинга.
Охватывать Алексей будет 13 и 14 версии. Далее от его лица.
Читать: https://habr.com/ru/post/658137/
Demystifying Storage Engines
Database storage engines are one of the most important concepts to know when developing a relational database management system (RDBMS), they determine how well the tables in your database can relate data between each other.
A database storage engine...
Read: https://developwithkansol.hashnode.dev/demystifying-storage-engines
Database storage engines are one of the most important concepts to know when developing a relational database management system (RDBMS), they determine how well the tables in your database can relate data between each other.
A database storage engine...
Read: https://developwithkansol.hashnode.dev/demystifying-storage-engines
👍1