Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов

Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.

Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»

Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1

Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.

Читать: «Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1»

Empowering Automotive Developers for the Road Ahead



Read: https://www.mongodb.com/blog/post/empowering-automotive-developers-road-ahead

Наполняем до краев: влияние порядка столбцов в таблицах на размеры баз данных PostgresQL

При оценке требований базы данных к оборудованию требуется учет многих факторов. И здесь у Postgres есть одна интересная особенность, которая почти всегда ускользает от внимания разработчиков, потому что она искусно спрятана между столбцами таблиц.
И что же там прячется?

Читать: https://habr.com/ru/articles/756074/

How to Enhance Inventory Management with Real-Time Data Strategies

Summary:

This text discusses the importance of real-time data strategies in enhancing inventory management in the retail industry. The article highlights the challenges faced by retailers in terms of unsold stock and the need to have a single view of inventory for effective competition. It emphasizes that modern retail consumers expect seamless omnichannel experiences and that retailers need to prioritize convenience and speed. The article also explains how MongoDB's document data model can be used to track inventory in real-time, improve visibility and consistency across multiple channels, and enable real-time analytics and AI in stock management. Additionally, the text discusses the use of event-driven architectures to boost workforce efficiency and automate inventory operations. It concludes by discussing MongoDB's new features and capabilities specifically designed for the automotive industry, such as real-time data insights, rapid responses to critical events, vector search for unstructured data, and the migration from relational databases to MongoDB. The text is about the industry sharing scenarios, experiences, and effectiveness of using MongoDB products. MongoDB is a database vendor that has a distributed infrastructure suitable for internet applications, with a focus on AI in recent product business strategies. The Beijing and Shenzhen user conferences are important events in MongoDB's global series. Previously, at the MongoDB user conference in New York, MongoDB introduced a series of new products and plans, including new features for MongoDB Atlas, MongoDB Relational Migrator, and an AI plan in collaboration with Google Cloud. MongoDB also released the MongoDB Atlas Industry Plan and launched a solution for the financial industry. Each major technological innovation in the IT industry takes applications to a new level, and AI brings unlimited possibilities to the application field. For AI applications, MongoDB's product advantage is storing data close together, greatly reducing development complexity. MongoDB allows AI-driven applications to run where the data is, bringing the application closer to the data instead of bringing the data closer to the application. The text ends by inviting readers to attend the technical and industry events in Beijing and Shenzhen to innovate and win together in the AI era.

Read: https://www.mongodb.com/blog/post/how-enhance-inventory-management-real-time-data-strategies

August edition of newsletter for Autonomous Database Serverless

We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following...

Read: https://blogs.oracle.com/datawarehousing/post/august-edition-of-newsletter-for-autonomous-database-serverless

Database In-Memory now supported on Autonomous Database on Dedicated Exadata Infrastructure!

Blog on Database In-Memory support on Autonomous Database on Exadata Cloud@Customer and Dedicated Infrastructure

Read: https://blogs.oracle.com/database/post/database-inmemory-now-supported-on-autonomous-database-on-dedicated-exadata-infrastructure

Отличия MySQL от PostgreSQL. Выбираем что лучше, PostgreSQL или MySQL

PostgreSQL и MySQL являются самыми популярными Open Source реляционными базами данных. И часто возникает вопрос - чем отличается PostgreSQL от MySQL? Ответ на этот вопрос позволит понять, какая из баз данных лучше подойдет вашему проекту.

В данной статье мы сравним PostgreSQL и MySQL по различным параметрам и запишем их в сравнительную таблицу.


Читать: https://habr.com/ru/companies/amvera/articles/756592/

Change Data Capture (CDC) в Yandex Data Transfer: гид по технологии с примерами

В современных микросервисных архитектурах регулярно встречаются потребности в кешах, индексах полнотекстового поиска, репликах, а также в реактивном взаимодействии компонентов. Решать все эти задачи по отдельности — тот ещё вызов, но оказывается все эти задачи могут быть решены одним механизмом, и имя ему: Change Data Capture.

Меня зовут Тимофей Брунько, я разработчик Yandex Cloud. В этой статье я расскажу о том, как в теории и на практике работает CDC — Change Data Capture, или буквально «захват изменения данных», — и как наш сервис Yandex Data Transfer с поддержкой формата Debezium помогает пользователям решать задачи поставки данных, связанные с CDC. В конце статьи покажу реальные кейсы. Поехали.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/754802/

Point-in-time Recovery. Как уменьшить RPO для базы данных

Падение любой информационной системы — это по умолчанию больно и неприятно. На Хабре вы найдете много статей о том, как этого избежать. Но что делать, если все-таки случилась одна из тех историй, которыми пугают джунов? Уборщица разлила ведро воды в ЦОДе или злосчастный экскаватор перерубил оптоволокно?

Меня зовут Андрей Белый, я старший разработчик VK Cloud в команде DBaaS. В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO (Recovery point objective).

Материал подготовлен по мотивам моего выступления на VK Databases Meetup «Point-in-time Recovery. Как уменьшить RPO для базы данных».

Читать: https://habr.com/ru/companies/vk/articles/755922/

Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером

Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.

В статье сначала опишем паттерны построения распределённых хранилищ, чтобы понимать, через какие процессы проходят данные. А после поговорим о задачах специалистов по работе с данными и необходимых для каждой позиции навыках.


Читать: https://habr.com/ru/companies/southbridge/articles/756652/

Powerful Generative AI Innovation Accelerates Discovery of New Molecules



Read: https://www.mongodb.com/blog/post/mongodb-investing-in-the-future-of-generative-ai-google-cloud

Improving the Node.js Driver’s SCRAM-SHA-256 Support



Read: https://www.mongodb.com/blog/post/improving-nodejs-drivers-scram-sha-256-support

Boosting Performance and Insights with MongoDB Atlas and New Relic



Read: https://www.mongodb.com/blog/post/boosting-performance-insights-mongodb-atlas-new-relic

Опыт PT: BI на страже кибербезопасности

Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.
Узнать больше про этот кейс

Читать: https://habr.com/ru/articles/756758/

Ещё один рецепт отказоустойчивого файлового сервера средствами PaceMaker

В конце прошлого года нам поступила задача по реализации отказоустойчивого хранилища для разрабатываемого сервиса.

Ранее для этих целей предложили бы готовое решение в виде СХД с поддержкой сетевых протоколов вроде Hitachi NAS Platform (HNAS). Но текущая ситуация и особенности контракта обязывали проработать решение на мощностях заказчика.

В итоге выбрали и реализовали решение с использованием ОС на ядре Linux и кластере PaceMaker — с общим диском, поддержкой кворума, демона SDB и протокола NFS. Кому интересны особенности реализации, прошу под кат.


Читать: https://habr.com/ru/companies/rtlabs/articles/756488/

LogDoc: логи здорового человека

Привет, Хабр

Однажды команда LogDoc, которая тогда ещё была просто дружеской компанией суровых разработчиков, после бурного обсуждения очередного напряжённого рабочего дня вынесла однозначный вердикт – в мире нет и не предвидится нормального, человеческого продукта для работы в распределённой среде с логами, трейсами, сигналами и прочим подобным. Нас это опечалило (по очевидным причинам) и воодушевило – мы увидели возможность создать полезный продукт. Подумали, собрались с духом и выложились полностью в попытке реализовать задуманное. Именно результат наших усилий мы представляем вам в этой вводной статье.


Читать: https://habr.com/ru/articles/756890/

WWDC 2023. Новый фреймворк SwiftData для управления данными. Эксперименты

Одним из заметных событий WWDC 2023 для разработчиков, программируемых на языке Swift, стало появление фреймворка SwiftData. В этой статье показано, как создать Схему данных в SwiftData, как выполнить CRUD операции (Create - Создать, Read - прочитать, Update - модифицировать, Delete - удалить), как выполнять запросы Queryк данным с помощью предиката Predicate, как использовать "живой" запрос @Queryв SwiftUI и как его динамически настроить. Вы узнаете, как эффективно "закачивать" JSONданные в SwiftDataхранилище без блокировки пользовательского интерфейса (UI).


Читать: https://habr.com/ru/articles/740720/

Oracle Graph Server REST API

The Oracle Graph offering includes the Graph Server REST API, a gateway to utilize the capabilities of Oracle Graph from any application with a simple REST call. This API allows developers to interact with their graphs, enabling them to create graphs, run queries, and derive actionable information from their data

Read: https://blogs.oracle.com/database/post/oracle-graph-server-rest-api

Почему тип поля enum на уровне базы — зло

Часто разработчики интересуются почему не рекомендуется использовать тип поля enumв базе данных, и в этой статье мы рассмотрим все плюсы и минусы данного типа.

Тип колонки enumиспользуется для хранения данных, которые могут принимать определённые значения из заранее определённого набора. Он обеспечивает ограничение значений, которые может принимать колонка, и позволяет более строго контролировать данные. Это может быть полезно для хранения статусов, категорий, типов или любых других значений, которые могут быть заданы только из ограниченного набора вариантов.

Но это в теории. А что на практике? Рассмотрим под катом.


Читать: https://habr.com/ru/articles/757212/