The Developer Data Platform: Highlights from MongoDB World 2022 Keynotes
Read: https://www.mongodb.com/blog/post/developer-data-platform-highlights-mongodb-world-2022-keynotes
Read: https://www.mongodb.com/blog/post/developer-data-platform-highlights-mongodb-world-2022-keynotes
Highlights from MongoDB World 2022, Day 1
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-1
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-1
Validate database objects after migrating from IBM Db2 LUW to Amazon RDS for MySQL, Amazon RDS for MariaDB, or Amazon Aurora MySQL
Read: https://aws.amazon.com/blogs/database/validate-database-objects-after-migrating-from-ibm-db2-luw-to-amazon-rds-for-mysql-amazon-rds-for-mariadb-or-amazon-aurora-mysql/
Read: https://aws.amazon.com/blogs/database/validate-database-objects-after-migrating-from-ibm-db2-luw-to-amazon-rds-for-mysql-amazon-rds-for-mariadb-or-amazon-aurora-mysql/
Облегчаем жизнь PostgreSQL таблице под нагрузкой
У любого современного продукта — если он успешен — есть тот момент жизни, когда он из гадкого стартапа вдруг становится вполне себе прекрасным “энтерпрайз монолит платформ систем легаси”. Без тестов, без мониторинга, с highload и, конечно же, уймой родовых травм, вызванных быстрым развитием.
На критическую бизнес логику тесты будут написаны сами, без них никуда. Мониторинг и хайлоад — это курица и яйцо. После того, как у вас появится кто-то один из этой пары, на горизонте появится и второй. А вот все те, казалось бы, “удачные” и “быстрые” решения, заложенные при рождении, придётся исправлять. И если кодовую базу можно спокойно переписать (ну или хотя бы закидать костылями), то вот база данных — это одна сплошная горячая точка. Запросы и миграции, которые легко проходили на момент становления вашего продукта, легко могут сейчас положить прод, потому что ваша база теперь под постоянной нагрузкой, а ещё она неприлично раздулась.
Привет! Меня зовут Константин, и в Каруне я работаю backend-разработчиком. Данная статья — компиляция ряда сложностей, с которыми мы столкнулись, и методик для их решения. Вся проблема громоздких таблиц в том, что они, как визит к стоматологу — неожиданно, дорого, больно и ужасно вариативно.
Читать: https://habr.com/ru/post/670388/
У любого современного продукта — если он успешен — есть тот момент жизни, когда он из гадкого стартапа вдруг становится вполне себе прекрасным “энтерпрайз монолит платформ систем легаси”. Без тестов, без мониторинга, с highload и, конечно же, уймой родовых травм, вызванных быстрым развитием.
На критическую бизнес логику тесты будут написаны сами, без них никуда. Мониторинг и хайлоад — это курица и яйцо. После того, как у вас появится кто-то один из этой пары, на горизонте появится и второй. А вот все те, казалось бы, “удачные” и “быстрые” решения, заложенные при рождении, придётся исправлять. И если кодовую базу можно спокойно переписать (ну или хотя бы закидать костылями), то вот база данных — это одна сплошная горячая точка. Запросы и миграции, которые легко проходили на момент становления вашего продукта, легко могут сейчас положить прод, потому что ваша база теперь под постоянной нагрузкой, а ещё она неприлично раздулась.
Привет! Меня зовут Константин, и в Каруне я работаю backend-разработчиком. Данная статья — компиляция ряда сложностей, с которыми мы столкнулись, и методик для их решения. Вся проблема громоздких таблиц в том, что они, как визит к стоматологу — неожиданно, дорого, больно и ужасно вариативно.
Читать: https://habr.com/ru/post/670388/
[recovery mode] Осваиваем китайский BI. Как построить дашборд в FineBI всего за 1 час
За последние несколько месяцев многие из нас вынужденно расширили представления об азиатской ИТ-отрасли. Оказалось, что, к примеру, в Китае выпускают не только смартфоны, умные роботы-пылесосы и телевизоры, но и разнообразные программные продукты, которых нам после ухода европейских и американских вендоров не хватает. Открытием стало и то, что многие ИТ-решения вполне конкурентоспособны, их интерфейс более чем дружелюбен. К тому же для работы в них знания иероглифов не нужно – вполне достаточно английского.
Наша компания специализируется на бизнес-аналитике, поэтому мы изучили то, что предлагает Китай в этом сегменте и остановили свой выбор (по крайней мере пока) на платформе для self service BI-анализа – FineBI.
Чтобы показать, как работает этот инструмент, расскажу, как построить с его помощью дэшборд. Для этого понадобится всего лишь час времени – даже если раньше с этим решением никогда не сталкивались.
Подключение к данным
Начинаем с главного – подключение и обработка данных. Для старта необходимо открыть вкладку Data Preparation. Она содержит ряд папок, в которых (организованных по аналогии с каталогами Windows) можно создать подключения, предварительно разделив их на смысловые блоки.
Нажав Add a group, можно сгруппировать данные. Например, можно выделить данные для презентации, продуктивные и тестовые данные и т.д. Соответственно, выбрав определенную папку, можно изучить данные, находящиеся в ней – ничего нестандартного. В моем случае в каталоге Superstore – 3 загруженных файла Excel. И датасет, который получим после обработки данных.
Читать: https://habr.com/ru/post/670528/
За последние несколько месяцев многие из нас вынужденно расширили представления об азиатской ИТ-отрасли. Оказалось, что, к примеру, в Китае выпускают не только смартфоны, умные роботы-пылесосы и телевизоры, но и разнообразные программные продукты, которых нам после ухода европейских и американских вендоров не хватает. Открытием стало и то, что многие ИТ-решения вполне конкурентоспособны, их интерфейс более чем дружелюбен. К тому же для работы в них знания иероглифов не нужно – вполне достаточно английского.
Наша компания специализируется на бизнес-аналитике, поэтому мы изучили то, что предлагает Китай в этом сегменте и остановили свой выбор (по крайней мере пока) на платформе для self service BI-анализа – FineBI.
Чтобы показать, как работает этот инструмент, расскажу, как построить с его помощью дэшборд. Для этого понадобится всего лишь час времени – даже если раньше с этим решением никогда не сталкивались.
Подключение к данным
Начинаем с главного – подключение и обработка данных. Для старта необходимо открыть вкладку Data Preparation. Она содержит ряд папок, в которых (организованных по аналогии с каталогами Windows) можно создать подключения, предварительно разделив их на смысловые блоки.
Нажав Add a group, можно сгруппировать данные. Например, можно выделить данные для презентации, продуктивные и тестовые данные и т.д. Соответственно, выбрав определенную папку, можно изучить данные, находящиеся в ней – ничего нестандартного. В моем случае в каталоге Superstore – 3 загруженных файла Excel. И датасет, который получим после обработки данных.
Читать: https://habr.com/ru/post/670528/
Highlights From MongoDB World 2022, Day 2
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-2
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-2
Как эффективно оптимизировать нагрузку на кластер ClickHouse без сложных решений. Опыт исследовательской компании
Данными Mediascope ежедневно пользуется большинство участников медиарекламного рынка и каждый день наши клиенты совершают множество запросов как к самим данным, так и к нашим сервисам расчета и анализа медиапоказателей. Поэтому нам нередко приходится решать самые разные задачи, связанные с оптимизацией нагрузки на инфраструктуру. В этой статье вы найдете интересный кейс управления нагрузкой на кластер ClickHouse (CH), который решили внутри Mediascope. Команда нашего отдела разработки систем расчета и доставки прошла большой путь: от неуместного применения МL до простого, но рабочего решения.
Читать: https://habr.com/ru/post/670560/
Данными Mediascope ежедневно пользуется большинство участников медиарекламного рынка и каждый день наши клиенты совершают множество запросов как к самим данным, так и к нашим сервисам расчета и анализа медиапоказателей. Поэтому нам нередко приходится решать самые разные задачи, связанные с оптимизацией нагрузки на инфраструктуру. В этой статье вы найдете интересный кейс управления нагрузкой на кластер ClickHouse (CH), который решили внутри Mediascope. Команда нашего отдела разработки систем расчета и доставки прошла большой путь: от неуместного применения МL до простого, но рабочего решения.
Читать: https://habr.com/ru/post/670560/
MySQL: BIG COUNTRIES
SQL Schema
Table: World
+-------------+---------+
| Column Name | Type |
+-------------+---------+
| name | varchar |
| continent | varchar |
| area | int |
| population | int |
| gdp | int |
+-------------+---...
Read: https://satyampundi.hashnode.dev/mysql-big-countries
SQL Schema
Table: World
+-------------+---------+
| Column Name | Type |
+-------------+---------+
| name | varchar |
| continent | varchar |
| area | int |
| population | int |
| gdp | int |
+-------------+---...
Read: https://satyampundi.hashnode.dev/mysql-big-countries
Docker: Initialize custom users and databases in MongoDb
Purpose
There are situations, when you need quick and re-deployable database that doesn't need to be installed on your main OS or at external host in pre-production state, having all pre-production databases, users and tables or schema ready for deve...
Read: https://mlog.hashnode.dev/docker-initialize-custom-users-and-databases-in-mongodb
Purpose
There are situations, when you need quick and re-deployable database that doesn't need to be installed on your main OS or at external host in pre-production state, having all pre-production databases, users and tables or schema ready for deve...
Read: https://mlog.hashnode.dev/docker-initialize-custom-users-and-databases-in-mongodb
Реальные примеры применения Kafka в автопроме
Apache Kafka широко используется в самых разных сферах автопрома. В этой статье мы рассмотрим реальные примеры развёртывания в разных контекстах, включая подключенные транспортные средства, умное производство и инновационные услуги перевозок, и в разных компаниях, включая автопроизводителей, вроде Audi, BMW, Porsche и Tesla, и провайдеров сервисов мобильности — Uber, Lyft и Here Technologies.
Читать: https://habr.com/ru/post/670652/
Apache Kafka широко используется в самых разных сферах автопрома. В этой статье мы рассмотрим реальные примеры развёртывания в разных контекстах, включая подключенные транспортные средства, умное производство и инновационные услуги перевозок, и в разных компаниях, включая автопроизводителей, вроде Audi, BMW, Porsche и Tesla, и провайдеров сервисов мобильности — Uber, Lyft и Here Technologies.
Читать: https://habr.com/ru/post/670652/
20+ Best HarperDB Tutorials
HarperDB is quickly becoming the database of choice for developers and enterprise organizations alike. HarperDB is a data and application platform that is independent of hardware and network providers, completely agnostic of where it resides, and pee...
Read: https://margomccabe.hashnode.dev/20-best-harperdb-tutorials
HarperDB is quickly becoming the database of choice for developers and enterprise organizations alike. HarperDB is a data and application platform that is independent of hardware and network providers, completely agnostic of where it resides, and pee...
Read: https://margomccabe.hashnode.dev/20-best-harperdb-tutorials
Horizontal vs. Vertical Scaling – How to Scale a Database
Data Scalability
Data scalability is the ability of a database to manipulate changing demands by adding and removing data. It is a means by which a database grows at the same pace as the software. The database can expand or contrast the capacity of t...
Read: https://sophyia.me/horizontal-vs-vertical-scaling-how-to-scale-a-database
Data Scalability
Data scalability is the ability of a database to manipulate changing demands by adding and removing data. It is a means by which a database grows at the same pace as the software. The database can expand or contrast the capacity of t...
Read: https://sophyia.me/horizontal-vs-vertical-scaling-how-to-scale-a-database
Setting Up MongoDB For Production
MongoDB is a source-available cross-platform document-oriented database program. Classified as a NoSQL database program, MongoDB uses JSON-like documents with optional schemas.
It works well with a Mongoose ODM to perform simple and complex queries.
...
Read: https://ayeolataiwo.hashnode.dev/setting-up-mongodb-for-production
MongoDB is a source-available cross-platform document-oriented database program. Classified as a NoSQL database program, MongoDB uses JSON-like documents with optional schemas.
It works well with a Mongoose ODM to perform simple and complex queries.
...
Read: https://ayeolataiwo.hashnode.dev/setting-up-mongodb-for-production
Highlights From MongoDB World 2022, Day 3
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-3
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-3
Shared Database between Services? in Microservices
Is a shared database a good or bad idea when working in a large system that's decomposed of many different services? Or should every service have its own database? My answer is yes and no, but it's all about data ownership. Let me explain all kinds o...
Read: https://blog.mdsami.xyz/shared-database-between-services-in-microservices-cl48za6up01qrr3nv9uphapc6
Is a shared database a good or bad idea when working in a large system that's decomposed of many different services? Or should every service have its own database? My answer is yes and no, but it's all about data ownership. Let me explain all kinds o...
Read: https://blog.mdsami.xyz/shared-database-between-services-in-microservices-cl48za6up01qrr3nv9uphapc6
👎1
Autonomous Database on Dedicated Infrastructure and Cloud@Customer – OCI Events to identify and proactively take steps to maintain a highly available system
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Read: https://blogs.oracle.com/database/post/adbcriticalandwarningevents
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Read: https://blogs.oracle.com/database/post/adbcriticalandwarningevents
Oracle
Autonomous Database on Dedicated Infrastructure and Cloud@Customer – OCI Events to identify and proactively take steps to maintain…
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Get Started with Prisma and Nextjs with Supabase (Postgress Database)
Welcome 👋 brothers and sisters to this amazing blog post where you will learn how to get started with Prisma setup in nextjs.
Things which we will need:
Prisma Client
Nextjs Project
Supabase or Any other database
😁Enjoyment
Step1: Make a Nex...
Read: https://nextdev1111.hashnode.dev/get-started-with-prisma-and-nextjs-with-supabase-postgress-database
Welcome 👋 brothers and sisters to this amazing blog post where you will learn how to get started with Prisma setup in nextjs.
Things which we will need:
Prisma Client
Nextjs Project
Supabase or Any other database
😁Enjoyment
Step1: Make a Nex...
Read: https://nextdev1111.hashnode.dev/get-started-with-prisma-and-nextjs-with-supabase-postgress-database
Анализ степени наслоения (одновременности) процессов
Полезная программка ведь не обязана быть большой, правда? Пусть у нас есть процессы, для которых известны времена их начала и завершения. Таких в любой системе пруд пруди. Тот же ExecutionLogStorage в MS SQL Reporting Server, SQL server Profiler Trace, плюс куча кастомных метрик, которые есть у каждого.
Как выполняются эти процессы? Спокойно, один за другим, их хотят маршировать все в ногу? Какова средняя и максимальная степень параллелизма выполнения этих процессов? Хотелось бы получить что-то такое (процессы показаны черточками вверху):
Читать: https://habr.com/ru/post/670892/
Полезная программка ведь не обязана быть большой, правда? Пусть у нас есть процессы, для которых известны времена их начала и завершения. Таких в любой системе пруд пруди. Тот же ExecutionLogStorage в MS SQL Reporting Server, SQL server Profiler Trace, плюс куча кастомных метрик, которые есть у каждого.
Как выполняются эти процессы? Спокойно, один за другим, их хотят маршировать все в ногу? Какова средняя и максимальная степень параллелизма выполнения этих процессов? Хотелось бы получить что-то такое (процессы показаны черточками вверху):
Читать: https://habr.com/ru/post/670892/
Oracle Database API for MongoDB with Oracle Autonomous Database opens up an entirely new set of use cases for MongoDB applications
Oracle Database API for MongoDB helps developers connect applications, drivers and tools built for MongoDB to Oracle Autonomous Databases. Developers can leverage Oracle's converged database and Autonomous Database capabilities over their MongoDB collections, opening an entirely new set of use cases for their applications.
Read: https://blogs.oracle.com/database/post/introducing-oracle-database-api-for-mongodb
Oracle Database API for MongoDB helps developers connect applications, drivers and tools built for MongoDB to Oracle Autonomous Databases. Developers can leverage Oracle's converged database and Autonomous Database capabilities over their MongoDB collections, opening an entirely new set of use cases for their applications.
Read: https://blogs.oracle.com/database/post/introducing-oracle-database-api-for-mongodb
Oracle
Oracle Database API for MongoDB
Now you can access Autonomous Database (for JSON and Transaction processing workloads) using MongoDB programs and drivers. This allows you to use the Autonomous Database as a JSON Document Store, but allows full SQL capabilities over that same data, including…
How to map Consumer Group to specific User in Autonomous Database-Shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database services, HIGH, MEDIUM, LOW, TP and TPURGENT....
Read: https://blogs.oracle.com/database/post/how-to-map-consumer-group-to-specific-user-in-autonomous-database-shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database services, HIGH, MEDIUM, LOW, TP and TPURGENT....
Read: https://blogs.oracle.com/database/post/how-to-map-consumer-group-to-specific-user-in-autonomous-database-shared
Oracle
How to map Consumer Group to specific User in Autonomous Database-Shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database…
Java ENUM Mapping in postgres using Spring Data JPA and Hibernate.
In this article, you are going to learn how to map Java enum in the Postgres database using ORM implementation such as Hibernate with Spring Data JPA.
If you don't know how to set up Postgres using docker in local, please see the below video.
Postgr...
Read: https://techwasti.com/java-enum-mapping-in-postgres-using-spring-data-jpa-and-hibernate
In this article, you are going to learn how to map Java enum in the Postgres database using ORM implementation such as Hibernate with Spring Data JPA.
If you don't know how to set up Postgres using docker in local, please see the below video.
Postgr...
Read: https://techwasti.com/java-enum-mapping-in-postgres-using-spring-data-jpa-and-hibernate