Переходим на Greenplum быстро

В условиях отсутствия возможности лицензирования и поддержки иностранных вендорских решений по хранилищам данных, встал вопрос о замене этих решений на отечественное программное обеспечение, с вендорской поддержкой, находящееся в реестре российского ПО и которое не уступает по производительности и объемам хранения зарубежным аналогам, таким как Teradata, Oracle, SAP HANA. Как показал анализ, таким требованиям отвечает лишь решения, основанные на MPP СУБД на базе Greenplum, в частности Arenadata DB (ADB). Но как быстро и безболезненно начать миграцию с привычных хранилищ на open-source? Постараюсь в статье рассказать и показать, что удалось придумать в этом направлении


Читать: https://habr.com/ru/companies/sapiens_solutions/articles/759828/

Сам себе BI-аналитик или как навести порядок в отчётности компании

Привет, Хабр! На связи аналитики Кошелька. Наша команда состоит из 13 дата-аналитиков, 5 DE-инженеров, 2 ML-инженеров и ровно 0 BI-аналитиков. Что мы любим делать? Определять метрики и рисовать дашборды. Что нужно заказчику? Метрики и дашборды (а еще достижение целей и выручка, но не будем сейчас об этом).

В этой статье мы собрали инструкцию, как можно навести порядок в отчётности без отдельных BI-аналитиков, и с какими проблемами вы можете столкнуться в процессе.


Читать: https://habr.com/ru/companies/koshelek/articles/761350/

Производительность блочного хранилища на основе софт рейдов (mdadm, LVM и ZFS) при использовании iSER и NVMe-oF

Смысл данной статьи показать максимальную производительность, когда вопрос сохранности данных решается репликами или бэкапами.

Цель - протестировать производительность трёх систем объединения физических устройств в одно логическое систем при использовании iSER и NVMe-oF.

И сравниваться будет три системы, которые показали самые высокие показатели по результатам тестов из первой части статьи.


Читать: https://habr.com/ru/articles/763040/

Сжать и не пожалеть: как работает сжатие без потерь

Более 9 миллиардов гигабайт информации ежедневно путешествуют по интернету, заставляя постоянно искать все новые и новые методы упаковки данных. Самые эффективные решения используют подходы, которые позволяют достичь большей плотности за счет "потерь" информации в процессе сжатия. В то же время очень мало внимания уделяется сжатию без потерь. Почему? Ответ прост - методы сжатия без потерь уже невероятно эффективны. С их помощью работает буквально всё, от формата PNG до утилиты PKZip. И это все благодаря студенту, что захотел пропустить экзамен.


Читать: https://habr.com/ru/articles/763248/

InfStones and Autonomous JSON Database

Case study: How InfStones built a low-latency query service over billions of JSON documents using Oracle Autonomous JSON Database

Read: https://blogs.oracle.com/database/post/infstones-and-autonomous-json-database

Getting Started on Oracle Database Service for Microsoft Azure with Exadata Database Service

Larry Ellison and Satya Nadella recently announced the general availability of Oracle Database Service for Microsoft Azure (ODSA) which enables customers to easily provision and use Oracle Database services in Oracle Cloud Infrastructure (OCI) with a familiar Azure-like experience. In this blog post, let’s take a look at how you provision Exadata Database Service on Dedicated Infrastructure with ODSA.

Read: https://blogs.oracle.com/database/post/getting-started-on-odsa-with-exadata-database-service

Introducing Oracle Database 23c Free

Oracle Database 23c Free, a free offering of the industry-leading Oracle Database that enterprises rely on every day, is now generally available.

Read: https://blogs.oracle.com/database/post/database-23c-free-ga

Latest Autonomous Database Innovation Announcements at Oracle CloudWorld

Autonomous Database continues to simplify customer innovations and reduce operational costs with several new feature announcements: 1) with Select AI, Autonomous Database now speaks “human”, letting you query your data using natural language, 2) developers have a new free and offline app dev option with Autonomous Database Free Container Image and 3) organizations save operational costs by consolidating compute resources in Elastic Resource Pools.

Read: https://blogs.oracle.com/datawarehousing/post/latest-autonomous-database-innovation-announcements-at-oracle-cloudworld

Hot Off the Press: MongoDB Launches Two New Books at MongoDB.local London

MongoDB has launched two new books, "Mastering MongoDB 7.0" and "Practical MongoDB Aggregations," as part of their MongoDB Press educational book series. The books cover technical and strategic topics and aim to provide accessible resources for developers. "Practical MongoDB Aggregations" focuses on building aggregation pipelines, while "Mastering MongoDB 7.0" delves into the latest features of MongoDB. Attendees at MongoDB.local London 2023 can get signed copies of the books.
Additionally, the blog discusses the integration of MongoDB and Databricks to deliver AI-augmented search capabilities for e-commerce applications. By combining the two platforms, retailers can streamline the search process, infuse AI and advanced search functionalities, and personalize search results in real-time. The blog also highlights the importance of a solid data model, the centralization of heterogeneous data, and the addition of AI-generated relevance to search engine results pages. Furthermore, MongoDB employees Ashley Naranjo and Martin Bajana share their career journeys and offer advice for building careers in tech for the Latinx community. They discuss challenges they've faced, how MongoDB has supported their career growth, and provide advice for aspiring tech professionals. This text encourages professionals in the tech industry to network with other professionals, learn from their experiences, and seek guidance. It also suggests participating in hackathons and other tech events to explore new technologies and ideas. The text emphasizes the importance of not being afraid to make mistakes and not giving up. Finally, it invites individuals to join MongoDB and transform the way developers work with data for their tech career, starting on September 20, 2023.

Read: https://www.mongodb.com/blog/post/hot-off-press-mongodb-launches-two-new-books-local-london

Autonomous Database speaks “human”

Meet Autonomous Database Select AI – the simplified way for your users to get answers about your business. They can use their natural language to query data and gain insights, without the need to understand where and how your data is stored. It’s that simple. Discover how Select AI simplifies the use of natural language to query your data.

Read: https://blogs.oracle.com/datawarehousing/post/autonomous-database-speaks-human

Introducing Autonomous Database Free Container Image

Learn how to take advantage of Autonomous Database free container image for your development and test use cases.

Read: https://blogs.oracle.com/datawarehousing/post/autonomous-database-free-container-image

How to Achieve up to 87% Compute Cost Savings with Elastic Resource Pools on Autonomous Database

Learn how you can achieve up to 87% compute cost savings with the elastic resource pools on Autonomous Database.

Read: https://blogs.oracle.com/datawarehousing/post/elastic-resource-pools-autonomous-database

Unlocking the Power of Oracle Database: Top 3 Database Options to Consider

Explore the world of Oracle databases and discover the top three options that can transform the way your business handles data. From enhancing security with Oracle's Advanced Security Option (ASO) to achieving high availability and scalability with Real Application Clusters (RAC), and simplifying management through Multitenant architecture, this blog dives into the key features and competitive advantages of each option.

Read: https://blogs.oracle.com/database/post/unlocking-the-power-of-oracle-database

Introducing Atlas for the Edge

MongoDB has introduced a new solution called Atlas for the Edge, which aims to simplify the management of data generated at the edge, including devices, on-premises data centers, and the cloud. Edge computing brings data processing closer to end-users but presents challenges such as complex networking, data volume management, and security concerns. Atlas for the Edge streamlines these tasks by allowing MongoDB to run on different edge infrastructure and ensuring data synchronization with minimal latency. The solution also enables organizations to run applications in locations with intermittent network connectivity, build and deploy AI-powered applications at the edge, store and process real-time and batch data from IoT devices, and secure edge applications for data privacy and compliance. The article also mentions two new books launched by MongoDB Press and the rebranding of Realm to MongoDB Atlas Device SDKs.

Read: https://www.mongodb.com/blog/post/introducing-atlas-for-the-edge

Realm is Now Atlas Device SDKs



Read: https://www.mongodb.com/blog/post/realm-now-part-atlas-platform

Что использовать для распределённого хранения данных Zabbix, и почему мы остановились на нетипичном решении?

На одном крупном проекте мы, инженеры компании «Инфосистемы Джет», столкнулись с типичной проблемой стандартных инсталляций Zabbix на больших объемах - производительностью и низкой отказоустойчивостью базы данных. Конфигурация Zabbix была следующей:

- один Zabbix-сервер;

- множество прокси;

- сервер БД PostgreSQL с расширением TimescaleDB;

- сервер Grafana для визуализации данных.

При обычной нагрузке (12000 NVPS) система работала стабильно, но стоило произойти массовой аварии на инфраструктуре или перезагрузке сервера/прокси, как производительности БД не хватало. В такие моменты очень быстро накапливались очереди обработки данных, заканчивались кэши – система фактически прекращала работу. Непростую ситуацию ухудшали еще ложные срабатывания (данные не всегда могли попасть в БД) и рассылка уведомлений ответственным администраторам, проверявшим состояние систем в WEB-интерфейсе. Для восстановления работы приходилось перезапускать компоненты друг за другом, контролируя нагрузку на БД.

Проблему оперативно решили при помощи снижения количества чанков для хранения трендов. Причина происходящего крылась в некорректном партиционировании трендовых данных. Детально о проблеме и методах решения можно почитать в баг-репорте производителя (ZBX-16347). Он помог нам в устранении аварии, но ограничиваться только им не стали – одного репорта, на наш взгляд, было недостаточно. Мы стали смотреть шире и задумались над альтернативными решениями.

А какие варианты есть?

Начнём с того, что наибольшая нагрузка на БД в Zabbix создается на операциях с историческими данными и происходящими в мониторинге событиями. Это таблицы: history, history_uint, history_text, history_str, history_log, events, problems. Производитель предлагает использовать следующие БД: MySQL, PostgreSQL и Oracle DB. Кроме того, исторические данные можно отправлять и в Elasticsearch.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/763514/

Introducing a Local Experience for Atlas, Atlas Search, and Atlas Vector Search with the Atlas CLI

MongoDB has introduced new features for building software locally with MongoDB Atlas, including Atlas Search and Atlas Vector Search. Developers can now use the Atlas CLI to develop locally and automate common management tasks. They can create and manage Atlas Search indexes and Vector Search indexes regardless of their development environment. The Atlas CLI can be installed using various package managers, and developers can create a local Atlas deployment with default settings using interactive mode. For Atlas Search, developers can use the MongoDB Shell to create search indexes and run queries. For Vector Search, MongoDB Shell can be used to create vector search indexes. The Atlas CLI also provides interactive commands for managing search indexes. MongoDB is also renaming Realm to MongoDB Atlas Device SDKs, and developers are free to use the open-source project with or without MongoDB Atlas. MongoDB has also introduced new intelligent experiences in tools like MongoDB Compass, Atlas Charts, Relational Migrator, and MongoDB Documentation that simplify and accelerate application development processes. These experiences include natural language queries in Compass, SQL query conversion in Relational Migrator, natural language support in Atlas Charts, and an intelligent chatbot for MongoDB Documentation. These improvements aim to simplify and accelerate application development, while also maintaining data privacy and security.

Read: https://www.mongodb.com/blog/post/introducing-local-development-experience-atlas-search-vector-search-atlas-cli

New Intelligent Developer Experiences for Compass, Atlas Charts, and Relational Migrator

MongoDB has announced new intelligent developer experiences for several of its tools, including MongoDB Compass, Atlas Charts, Relational Migrator, and MongoDB Documentation. These new experiences provide guided and intelligent assistance for developers in various development processes. For example, in MongoDB Compass, developers can use natural language to compose queries and aggregations. In Relational Migrator, developers can convert SQL queries to MongoDB Query API syntax. In Atlas Charts, developers can use natural language to generate data visualizations. And in MongoDB Documentation, developers can ask questions to an intelligent chatbot for quick information discovery and troubleshooting. These new features aim to simplify and accelerate the development of modern applications.

Read: https://www.mongodb.com/blog/post/new-intelligent-developer-experiences-compass-atlas-charts-relational-migrator

Recap of Product Announcements at MongoDB.local London 2023

MongoDB recently held a conference in London where they announced several product enhancements and new capabilities. They are focused on improving developer experiences by making development with MongoDB Atlas more efficient and easier. They introduced the Atlas CLI, which allows developers to manage local development environments with the same experience as Atlas clusters in the cloud. They also integrated Atlas Search and Atlas Vector Search into the CLI for search index and query management. MongoDB has also used generative AI technology to create intelligent developer experiences, allowing developers to ask questions in plain English and have the corresponding query generated. They have also introduced a SQL query conversion feature in Relational Migrator, making it easier for customers to migrate from using relational databases to using MongoDB. Additionally, MongoDB announced Atlas for the Edge, which brings data processing and storage capabilities closer to where data is generated. They have also seen interest in their Atlas Vector Search for building AI-powered applications and have added new resources, such as books and a solutions library, to empower developers. MongoDB has also introduced new features in familiar tools like MongoDB Compass and Atlas Charts, providing guided and intelligent assistance for query building and data visualization. The text discusses the introduction of language support for building charts and an intelligent chatbot for MongoDB. The chatbot uses natural language to provide information and assistance to developers. It is built with MongoDB Atlas and Atlas Vector Search and offers reference articles, code examples, and other relevant information. MongoDB also plans to open-source and provide educational materials on how the chatbot was built. Data privacy and security are emphasized, and customers are assured that their data is accessed and used transparently. The text concludes by inviting developers to take advantage of the features and provide feedback through the user feedback portal.

Read: https://www.mongodb.com/blog/post/recap-product-announcements-mongodb-local-london-2023

MongoDB Atlas Vector Search Makes Real-Time AI a Reality with Confluent



Read: https://www.mongodb.com/blog/post/mongodb-atlas-vector-search-makes-real-time-ai-reality-confluent

PostgreSQL и временные таблицы

Мы много лет уже используем в качестве основной базы данных PostgreSQL. За это время он зарекомендовал себя быстрой и надежной СУБД. Однако, есть в PostgreSQL одна проблема, с которой приходится сталкиваться достаточно часто. К сожалению, реализация логики временных таблиц в нем имеет ряд недостатков, которые отрицательно сказываются на производительности системы.

Одним из свидетельств наличия проблемы является то, что для временных таблиц в Postgres Pro была добавлена специальная функция fasttrun, а в Postgres Pro Enterprise существенно доработана работа с ними (см. пункт 4).

Наиболее активно временные таблицы используют платформы, в которых разработчик не работает напрямую с базой данных, а таблицы и запросы генерируются непосредственно самой платформой. В частности, к ним относится платформа 1С или ее открытый и бесплатный аналог - платформа lsFusion.

В этой статье я опишу почему приходится использовать временные таблицы, в чем суть проблемы, и как улучшить производительность путем настроек операционной системы и PostgreSQL.


Читать: https://habr.com/ru/articles/754476/