[recovery mode] Осваиваем китайский BI. Как построить дашборд в FineBI всего за 1 час
За последние несколько месяцев многие из нас вынужденно расширили представления об азиатской ИТ-отрасли. Оказалось, что, к примеру, в Китае выпускают не только смартфоны, умные роботы-пылесосы и телевизоры, но и разнообразные программные продукты, которых нам после ухода европейских и американских вендоров не хватает. Открытием стало и то, что многие ИТ-решения вполне конкурентоспособны, их интерфейс более чем дружелюбен. К тому же для работы в них знания иероглифов не нужно – вполне достаточно английского.
Наша компания специализируется на бизнес-аналитике, поэтому мы изучили то, что предлагает Китай в этом сегменте и остановили свой выбор (по крайней мере пока) на платформе для self service BI-анализа – FineBI.
Чтобы показать, как работает этот инструмент, расскажу, как построить с его помощью дэшборд. Для этого понадобится всего лишь час времени – даже если раньше с этим решением никогда не сталкивались.
Подключение к данным
Начинаем с главного – подключение и обработка данных. Для старта необходимо открыть вкладку Data Preparation. Она содержит ряд папок, в которых (организованных по аналогии с каталогами Windows) можно создать подключения, предварительно разделив их на смысловые блоки.
Нажав Add a group, можно сгруппировать данные. Например, можно выделить данные для презентации, продуктивные и тестовые данные и т.д. Соответственно, выбрав определенную папку, можно изучить данные, находящиеся в ней – ничего нестандартного. В моем случае в каталоге Superstore – 3 загруженных файла Excel. И датасет, который получим после обработки данных.
Читать: https://habr.com/ru/post/670528/
За последние несколько месяцев многие из нас вынужденно расширили представления об азиатской ИТ-отрасли. Оказалось, что, к примеру, в Китае выпускают не только смартфоны, умные роботы-пылесосы и телевизоры, но и разнообразные программные продукты, которых нам после ухода европейских и американских вендоров не хватает. Открытием стало и то, что многие ИТ-решения вполне конкурентоспособны, их интерфейс более чем дружелюбен. К тому же для работы в них знания иероглифов не нужно – вполне достаточно английского.
Наша компания специализируется на бизнес-аналитике, поэтому мы изучили то, что предлагает Китай в этом сегменте и остановили свой выбор (по крайней мере пока) на платформе для self service BI-анализа – FineBI.
Чтобы показать, как работает этот инструмент, расскажу, как построить с его помощью дэшборд. Для этого понадобится всего лишь час времени – даже если раньше с этим решением никогда не сталкивались.
Подключение к данным
Начинаем с главного – подключение и обработка данных. Для старта необходимо открыть вкладку Data Preparation. Она содержит ряд папок, в которых (организованных по аналогии с каталогами Windows) можно создать подключения, предварительно разделив их на смысловые блоки.
Нажав Add a group, можно сгруппировать данные. Например, можно выделить данные для презентации, продуктивные и тестовые данные и т.д. Соответственно, выбрав определенную папку, можно изучить данные, находящиеся в ней – ничего нестандартного. В моем случае в каталоге Superstore – 3 загруженных файла Excel. И датасет, который получим после обработки данных.
Читать: https://habr.com/ru/post/670528/
Highlights From MongoDB World 2022, Day 2
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-2
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-2
Как эффективно оптимизировать нагрузку на кластер ClickHouse без сложных решений. Опыт исследовательской компании
Данными Mediascope ежедневно пользуется большинство участников медиарекламного рынка и каждый день наши клиенты совершают множество запросов как к самим данным, так и к нашим сервисам расчета и анализа медиапоказателей. Поэтому нам нередко приходится решать самые разные задачи, связанные с оптимизацией нагрузки на инфраструктуру. В этой статье вы найдете интересный кейс управления нагрузкой на кластер ClickHouse (CH), который решили внутри Mediascope. Команда нашего отдела разработки систем расчета и доставки прошла большой путь: от неуместного применения МL до простого, но рабочего решения.
Читать: https://habr.com/ru/post/670560/
Данными Mediascope ежедневно пользуется большинство участников медиарекламного рынка и каждый день наши клиенты совершают множество запросов как к самим данным, так и к нашим сервисам расчета и анализа медиапоказателей. Поэтому нам нередко приходится решать самые разные задачи, связанные с оптимизацией нагрузки на инфраструктуру. В этой статье вы найдете интересный кейс управления нагрузкой на кластер ClickHouse (CH), который решили внутри Mediascope. Команда нашего отдела разработки систем расчета и доставки прошла большой путь: от неуместного применения МL до простого, но рабочего решения.
Читать: https://habr.com/ru/post/670560/
MySQL: BIG COUNTRIES
SQL Schema
Table: World
+-------------+---------+
| Column Name | Type |
+-------------+---------+
| name | varchar |
| continent | varchar |
| area | int |
| population | int |
| gdp | int |
+-------------+---...
Read: https://satyampundi.hashnode.dev/mysql-big-countries
SQL Schema
Table: World
+-------------+---------+
| Column Name | Type |
+-------------+---------+
| name | varchar |
| continent | varchar |
| area | int |
| population | int |
| gdp | int |
+-------------+---...
Read: https://satyampundi.hashnode.dev/mysql-big-countries
Docker: Initialize custom users and databases in MongoDb
Purpose
There are situations, when you need quick and re-deployable database that doesn't need to be installed on your main OS or at external host in pre-production state, having all pre-production databases, users and tables or schema ready for deve...
Read: https://mlog.hashnode.dev/docker-initialize-custom-users-and-databases-in-mongodb
Purpose
There are situations, when you need quick and re-deployable database that doesn't need to be installed on your main OS or at external host in pre-production state, having all pre-production databases, users and tables or schema ready for deve...
Read: https://mlog.hashnode.dev/docker-initialize-custom-users-and-databases-in-mongodb
Реальные примеры применения Kafka в автопроме
Apache Kafka широко используется в самых разных сферах автопрома. В этой статье мы рассмотрим реальные примеры развёртывания в разных контекстах, включая подключенные транспортные средства, умное производство и инновационные услуги перевозок, и в разных компаниях, включая автопроизводителей, вроде Audi, BMW, Porsche и Tesla, и провайдеров сервисов мобильности — Uber, Lyft и Here Technologies.
Читать: https://habr.com/ru/post/670652/
Apache Kafka широко используется в самых разных сферах автопрома. В этой статье мы рассмотрим реальные примеры развёртывания в разных контекстах, включая подключенные транспортные средства, умное производство и инновационные услуги перевозок, и в разных компаниях, включая автопроизводителей, вроде Audi, BMW, Porsche и Tesla, и провайдеров сервисов мобильности — Uber, Lyft и Here Technologies.
Читать: https://habr.com/ru/post/670652/
20+ Best HarperDB Tutorials
HarperDB is quickly becoming the database of choice for developers and enterprise organizations alike. HarperDB is a data and application platform that is independent of hardware and network providers, completely agnostic of where it resides, and pee...
Read: https://margomccabe.hashnode.dev/20-best-harperdb-tutorials
HarperDB is quickly becoming the database of choice for developers and enterprise organizations alike. HarperDB is a data and application platform that is independent of hardware and network providers, completely agnostic of where it resides, and pee...
Read: https://margomccabe.hashnode.dev/20-best-harperdb-tutorials
Horizontal vs. Vertical Scaling – How to Scale a Database
Data Scalability
Data scalability is the ability of a database to manipulate changing demands by adding and removing data. It is a means by which a database grows at the same pace as the software. The database can expand or contrast the capacity of t...
Read: https://sophyia.me/horizontal-vs-vertical-scaling-how-to-scale-a-database
Data Scalability
Data scalability is the ability of a database to manipulate changing demands by adding and removing data. It is a means by which a database grows at the same pace as the software. The database can expand or contrast the capacity of t...
Read: https://sophyia.me/horizontal-vs-vertical-scaling-how-to-scale-a-database
Setting Up MongoDB For Production
MongoDB is a source-available cross-platform document-oriented database program. Classified as a NoSQL database program, MongoDB uses JSON-like documents with optional schemas.
It works well with a Mongoose ODM to perform simple and complex queries.
...
Read: https://ayeolataiwo.hashnode.dev/setting-up-mongodb-for-production
MongoDB is a source-available cross-platform document-oriented database program. Classified as a NoSQL database program, MongoDB uses JSON-like documents with optional schemas.
It works well with a Mongoose ODM to perform simple and complex queries.
...
Read: https://ayeolataiwo.hashnode.dev/setting-up-mongodb-for-production
Highlights From MongoDB World 2022, Day 3
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-3
Read: https://www.mongodb.com/blog/post/highlights-mongodb-world-2022-day-3
Shared Database between Services? in Microservices
Is a shared database a good or bad idea when working in a large system that's decomposed of many different services? Or should every service have its own database? My answer is yes and no, but it's all about data ownership. Let me explain all kinds o...
Read: https://blog.mdsami.xyz/shared-database-between-services-in-microservices-cl48za6up01qrr3nv9uphapc6
Is a shared database a good or bad idea when working in a large system that's decomposed of many different services? Or should every service have its own database? My answer is yes and no, but it's all about data ownership. Let me explain all kinds o...
Read: https://blog.mdsami.xyz/shared-database-between-services-in-microservices-cl48za6up01qrr3nv9uphapc6
👎1
Autonomous Database on Dedicated Infrastructure and Cloud@Customer – OCI Events to identify and proactively take steps to maintain a highly available system
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Read: https://blogs.oracle.com/database/post/adbcriticalandwarningevents
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Read: https://blogs.oracle.com/database/post/adbcriticalandwarningevents
Oracle
Autonomous Database on Dedicated Infrastructure and Cloud@Customer – OCI Events to identify and proactively take steps to maintain…
Blog highlights the important OCI events customer should subscribe to manage their Autonomous Databases.
Get Started with Prisma and Nextjs with Supabase (Postgress Database)
Welcome 👋 brothers and sisters to this amazing blog post where you will learn how to get started with Prisma setup in nextjs.
Things which we will need:
Prisma Client
Nextjs Project
Supabase or Any other database
😁Enjoyment
Step1: Make a Nex...
Read: https://nextdev1111.hashnode.dev/get-started-with-prisma-and-nextjs-with-supabase-postgress-database
Welcome 👋 brothers and sisters to this amazing blog post where you will learn how to get started with Prisma setup in nextjs.
Things which we will need:
Prisma Client
Nextjs Project
Supabase or Any other database
😁Enjoyment
Step1: Make a Nex...
Read: https://nextdev1111.hashnode.dev/get-started-with-prisma-and-nextjs-with-supabase-postgress-database
Анализ степени наслоения (одновременности) процессов
Полезная программка ведь не обязана быть большой, правда? Пусть у нас есть процессы, для которых известны времена их начала и завершения. Таких в любой системе пруд пруди. Тот же ExecutionLogStorage в MS SQL Reporting Server, SQL server Profiler Trace, плюс куча кастомных метрик, которые есть у каждого.
Как выполняются эти процессы? Спокойно, один за другим, их хотят маршировать все в ногу? Какова средняя и максимальная степень параллелизма выполнения этих процессов? Хотелось бы получить что-то такое (процессы показаны черточками вверху):
Читать: https://habr.com/ru/post/670892/
Полезная программка ведь не обязана быть большой, правда? Пусть у нас есть процессы, для которых известны времена их начала и завершения. Таких в любой системе пруд пруди. Тот же ExecutionLogStorage в MS SQL Reporting Server, SQL server Profiler Trace, плюс куча кастомных метрик, которые есть у каждого.
Как выполняются эти процессы? Спокойно, один за другим, их хотят маршировать все в ногу? Какова средняя и максимальная степень параллелизма выполнения этих процессов? Хотелось бы получить что-то такое (процессы показаны черточками вверху):
Читать: https://habr.com/ru/post/670892/
Oracle Database API for MongoDB with Oracle Autonomous Database opens up an entirely new set of use cases for MongoDB applications
Oracle Database API for MongoDB helps developers connect applications, drivers and tools built for MongoDB to Oracle Autonomous Databases. Developers can leverage Oracle's converged database and Autonomous Database capabilities over their MongoDB collections, opening an entirely new set of use cases for their applications.
Read: https://blogs.oracle.com/database/post/introducing-oracle-database-api-for-mongodb
Oracle Database API for MongoDB helps developers connect applications, drivers and tools built for MongoDB to Oracle Autonomous Databases. Developers can leverage Oracle's converged database and Autonomous Database capabilities over their MongoDB collections, opening an entirely new set of use cases for their applications.
Read: https://blogs.oracle.com/database/post/introducing-oracle-database-api-for-mongodb
Oracle
Oracle Database API for MongoDB
Now you can access Autonomous Database (for JSON and Transaction processing workloads) using MongoDB programs and drivers. This allows you to use the Autonomous Database as a JSON Document Store, but allows full SQL capabilities over that same data, including…
How to map Consumer Group to specific User in Autonomous Database-Shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database services, HIGH, MEDIUM, LOW, TP and TPURGENT....
Read: https://blogs.oracle.com/database/post/how-to-map-consumer-group-to-specific-user-in-autonomous-database-shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database services, HIGH, MEDIUM, LOW, TP and TPURGENT....
Read: https://blogs.oracle.com/database/post/how-to-map-consumer-group-to-specific-user-in-autonomous-database-shared
Oracle
How to map Consumer Group to specific User in Autonomous Database-Shared
Overview: Resource Managers or Consumer Groups or Service names are the integral part of Autonomous Databases as they manage the workload based on the performance characteristics of the Application. Autonomous Database comes with 5 preconfigured database…
Java ENUM Mapping in postgres using Spring Data JPA and Hibernate.
In this article, you are going to learn how to map Java enum in the Postgres database using ORM implementation such as Hibernate with Spring Data JPA.
If you don't know how to set up Postgres using docker in local, please see the below video.
Postgr...
Read: https://techwasti.com/java-enum-mapping-in-postgres-using-spring-data-jpa-and-hibernate
In this article, you are going to learn how to map Java enum in the Postgres database using ORM implementation such as Hibernate with Spring Data JPA.
If you don't know how to set up Postgres using docker in local, please see the below video.
Postgr...
Read: https://techwasti.com/java-enum-mapping-in-postgres-using-spring-data-jpa-and-hibernate
Пятилетний бэкдор и вечная борьба со сквозным шифрованием — темы, которые не обсудили в СМИ
Продолжаю рассказывать о том, что осталось за бортом российских технологических площадок. Сегодня все в контексте ИБ и работы с персональными данными.
Читать: https://habr.com/ru/post/670872/
Продолжаю рассказывать о том, что осталось за бортом российских технологических площадок. Сегодня все в контексте ИБ и работы с персональными данными.
Читать: https://habr.com/ru/post/670872/
Understand PostgreSQL Enum type!
In this article, you are going to understand the PostgreSQL enum and try to get the answer below question,
What does an enum?
why use an enum?
How to use an enum?
Introduction:
PostgreSQL supports the boolean type of binary data type, where you can...
Read: https://techwasti.com/understand-postgresql-enum-type
In this article, you are going to understand the PostgreSQL enum and try to get the answer below question,
What does an enum?
why use an enum?
How to use an enum?
Introduction:
PostgreSQL supports the boolean type of binary data type, where you can...
Read: https://techwasti.com/understand-postgresql-enum-type
Почему миграция критически важных бизнес-систем в облако неизбежна
Поскольку глобальные объёмы данных теперь измеряются в зеттабайтах и быстро растут, вопрос о миграции в облако в 2022 году звучит не «зачем?», а «когда и как?», и отказ от переноса критически важных приложений в облако часто уже невозможен. Любой компании, чтобы быть успешной необходимо иметь программы или программное обеспечение, которые работают непрерывно. И если одно из таких критически важных приложений перестанет работать, это может иметь серьёзные негативные последствия для бизнеса. Сбой этих приложений может привести к финансовым потерям, снижению производительности и нанести ущерб репутации компании. Примеры критически важных приложений варьируются от отрасли к отрасли.
Общим для критически важных сервисов является то, что они необходимы для работы и должны быть постоянно подключены. Критически важные системы и приложения переносятся в облако для создания интеллектуальных систем с безопасными данными и обеспечения непрерывной работы. Миграция этих приложений в облако имеет много преимуществ, поскольку обеспечивает высокий уровень масштабируемости и гибкости. Это позволяет компаниям использовать больше ресурсов при меньших затратах.
Читать: https://habr.com/ru/post/666994/
Поскольку глобальные объёмы данных теперь измеряются в зеттабайтах и быстро растут, вопрос о миграции в облако в 2022 году звучит не «зачем?», а «когда и как?», и отказ от переноса критически важных приложений в облако часто уже невозможен. Любой компании, чтобы быть успешной необходимо иметь программы или программное обеспечение, которые работают непрерывно. И если одно из таких критически важных приложений перестанет работать, это может иметь серьёзные негативные последствия для бизнеса. Сбой этих приложений может привести к финансовым потерям, снижению производительности и нанести ущерб репутации компании. Примеры критически важных приложений варьируются от отрасли к отрасли.
Общим для критически важных сервисов является то, что они необходимы для работы и должны быть постоянно подключены. Критически важные системы и приложения переносятся в облако для создания интеллектуальных систем с безопасными данными и обеспечения непрерывной работы. Миграция этих приложений в облако имеет много преимуществ, поскольку обеспечивает высокий уровень масштабируемости и гибкости. Это позволяет компаниям использовать больше ресурсов при меньших затратах.
Читать: https://habr.com/ru/post/666994/
Building a Modern App Stack with Apollo GraphQL and MongoDB Atlas
Read: https://www.mongodb.com/blog/post/building-modern-app-stack-apollo-graph-ql-atlas
Read: https://www.mongodb.com/blog/post/building-modern-app-stack-apollo-graph-ql-atlas