DATABASE DESIGN — канал, где собираются лучшие материалы по работе с хранилищами данных. А значит и на русском языке, и на английском.

SQL и NoSQL базы данных, файловые системы, распределённые хранилища данных — об этом читайте в канале: @database_design

The evolution of DBMS popularity in the DB-Engines Ranking, 2013-2022

We show how the most popular DMBS in the DB-Engines Ranking evolved in the last 10 years in form of a bar chart race.

Read: https://db-engines.com/en/blog_post/96

Archive data from Amazon DynamoDB to Amazon S3 using TTL and Amazon Kinesis integration

In this post, we share how you can use Amazon Kinesis integration and the Amazon DynamoDB Time to Live (TTL) feature to design data archiving. Archiving old data helps reduce costs and meet regulatory requirements governing data retention or deletion policies. Amazon Kinesis Data Streams for DynamoDB captures item-level modifications in a DynamoDB table and […]

Read: https://aws.amazon.com/blogs/database/archive-data-from-amazon-dynamodb-to-amazon-s3-using-ttl-and-amazon-kinesis-integration/

Introducing Oracle Autonomous JSON Database for application developers

Oracle announced the availability of Autonomous JSON Database—a new cloud service built for JSON-centric developers.

Read: https://blogs.oracle.com/database/post/introducing-oracle-autonomous-json-database-for-application-developers

Remotely Connect PostgreSQL Running on Azure Linux VM

In today’s article, I will explain the topic of Remotely Connect PostgreSQL Running on Azure Linux VM. In order to do this, we need to edit the pg_hba.conf and postgresql.conf files. These files are located in /etc/postgresql/version_info/main. The version information here varies according to the installed PostgreSQL version information. On our server, the access method …

Read: Remotely Connect PostgreSQL Running on Azure Linux VM.

How Kubernetes and Database Operators Drive the Data Revolution

Originally published at The New Stack
These are challenging days for IT. The amount of data our systems need to process grows exponentially. This challenge is further amplified by the growing complexity of data. Information is useless without its con...

Read: https://hashnode.com/post/how-kubernetes-and-database-operators-drive-the-data-revolution-cl0sn28tz02fz5anvbnr6cll4

Install Tez UI in HDP3 Unsecure

Tez UI Installation

Download tez-ui-0.9.1.war

Extract tez-ui-0.9.1.war di /var/www/html/tez-ui
# mkdir /var/www/html/tez-ui
# unzip tez-ui-0.9.1.war -d /var/www/html/tez-ui

Edit file /var/www/html/tez-ui/config/configs.env

timeline must be set to...

Read: https://kholis.hashnode.dev/install-tez-ui-in-hdp3-unsecure

The Xpand Difference

Read: https://mariadb.com/?p=30437

Introducing dynamic lineage extraction from Azure SQL Databases in Azure Purview

Data citizens including both technical and business users rely on data lineage for root cause analysis, impact analysis, data quality tracing, and other data governance applications. In the current data landscape, where data is fluidly moving across locations and across data platforms and applications, it is increasingly important to map the lineage of data. Today, we are announcing the preview release of dynamic lineage extraction from Azure SQL Databases in Azure Purview.

Read: https://azure.microsoft.com/blog/introducing-dynamic-lineage-extraction-from-azure-sql-databases-in-azure-purview/

Introducing MongoDB’s Prometheus Monitoring Integration

Read: https://www.mongodb.com/blog/post/introducing-mongodb-prometheus-integration

Основные команды SQL, которые должен знать каждый программист

Рассмотрим основные команды SQL, включая агрегатные функции и вложенные подзапросы, на примере работы с MySQL.

Читать: «Основные команды SQL, которые должен знать каждый программист»

5 Developer/Programming Newsletters You Should Be Reading – Substack Repost

Read: https://joshuaotwell.com/?p=35815

Hubert 'depesz' Lubaczewski: PGDayPL postponed…

Just got information that PGDay.PL is postponed till 4th quarter of 2022. This is due to situation in Ukraine. Figured I'll let you know, given that I previously wrote about it.

Read: https://postgr.es/p/5hv

Чем Linux HugePages важны для серверов баз данных?

Часто пользователи рассказывают о сбое базы данных по вине Out Of Memory Killer. Он завершает процессы PostgreSQL и остается причиной большинства отказов этой БД. Память на хост-компьютере может закончиться по нескольким причинам. Наиболее распространены из них четыре. Во-первых, может быть плохо настроена память на хост-компьютере. Во-вторых, могут быть ограничения глобальной переменной work_mem. Например, если у вас 32Гб RAM и work_mem=1Гб, то больше 32 соединений вы никогда не запустите. Каждое соединение PostgreSQL будет выделять этот размер памяти.

Третьей причиной будет большое количество подключений. Даже неактивное соединение может занимать значительный объем памяти. И наконец, другие программы тоже потребляют ресурсы, потому что для каждой из них этот компьютер является хостом.

Представляем вам перевод статьи от Jobin Augustine, который работает в Percona старшим инженером службы поддержки. Более 20-лет он был консультантом, архитектором, администратором и инструктором по PostgreSQL, Oracle и другим технологиям баз данных. Сегодня поговорим о том, как можно защититься от OOM с помощью HugePages и разберем насколько они важны и почему нужны.


Читать: https://habr.com/ru/post/655887/?utm_campaign=655887

Телеграм как инструмент для оценки стоимости предметов

Телеграм снова стал очень популярен. Наше дело маленькое - получить от этого мессенджера максимум личной выгоды с учетом фактора времени. Я не буду уделять большого внимания библиотекам или деталям реализации, а предложу только общую концепцию довольно комплексной системы, которая кому-то может оказаться полезной.

Раньше я уже писал про использование телеграм бота для мониторинга состояния своих ресурсов, сейчас я бы хотел уделить особое внимание механике внедрения UI телеграм бота в процессе оценки предметов. Так как проект ориентирован на предметы старины, которые несут историческую информационную нагрузку, оценивать мы будем именно их.

Пример работы этого бота можно увидеть здесь.


Читать: https://habr.com/ru/post/656209/?utm_campaign=656209

Мой новый домашний сервер, часть 4: использование unraid

Для тех, кому лень читать предыдущие части — я переходил с HP Microserver Gen8/Windows Server на самосборный сервер с Unraid в качестве базовой ОС. Unraid — это коммерческая ОС для NAS/домашнего сервера на базе ядра Linux. Основные возможности — гибкое управление массивом дисков, удобная установка докер-контейнеров из своего каталога и возможность запуска виртуальных машин. Почему выбрал именно unraid — написано во второй части.

Я не буду здесь расписывать установку и настройку unraid. Это делается элементарно — просто закидываются файлы на флэшку, флэшка вставляется в сервер — можно пользоваться. Всё понятно расписано у них на сайте, плюс много полезной информации есть на youtube-канале Spaceinvader One. Какие-то ранние вещи там уже устарели, потому, если видите несколько видео на одну тему, выбирайте более свежее. Ещё понятные доки на эту тему у ibracorp, есть и youtube-канал, если буквы не любите.
А я лучше просто опишу, как выглядят теперь перечисленные во второй части сервисы.
* Мой новый домашний сервер, часть 3: немного о сборке
* Мой новый домашний сервер, часть 2: выбор софта
* Мой новый домашний сервер, часть 1: выбор железа


Читать: https://habr.com/ru/post/649903/

MariaDB Xpand Crunches Cockroach with Sysbench

Read: https://mariadb.com/?p=30579

Keep an eye on these Next-Gen databases

Introduction
While I'm a sucker for a good Postgres instance, I do like to keep my finger on the pulse of new technologies to see what is out there. In this article, I'll play a little bit of a devils advocate against standard SQL databases while exp...

Read: https://pythondev.hashnode.dev/keep-an-eye-on-these-next-gen-databases

Как спроектировать базу данных, чтобы в будущем не пришлось её переписывать — базовые советы

Если вы работаете с базами данных, мало просто выучить SQL — нужно ещё и правильно спроектировать БД. Рассказываем о базовых правилах и возможных ошибках.

Читать: «Как спроектировать базу данных, чтобы в будущем не пришлось её переписывать — базовые советы»