TimescaleDB против всех: как база данных справляется с рядом сложных задач
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
Crafting Precision: Query Enhancements in MongoDB 7.0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Tproger
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Tproger
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Читать: «Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1»
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Читать: «Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1»
Tproger
Из цикла ETL: Создаем Telegram-бота на aiogram, часть 1
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Empowering Automotive Developers for the Road Ahead
Read: https://www.mongodb.com/blog/post/empowering-automotive-developers-road-ahead
Read: https://www.mongodb.com/blog/post/empowering-automotive-developers-road-ahead
❤1
Наполняем до краев: влияние порядка столбцов в таблицах на размеры баз данных PostgresQL
При оценке требований базы данных к оборудованию требуется учет многих факторов. И здесь у Postgres есть одна интересная особенность, которая почти всегда ускользает от внимания разработчиков, потому что она искусно спрятана между столбцами таблиц.
И что же там прячется?
Читать: https://habr.com/ru/articles/756074/
При оценке требований базы данных к оборудованию требуется учет многих факторов. И здесь у Postgres есть одна интересная особенность, которая почти всегда ускользает от внимания разработчиков, потому что она искусно спрятана между столбцами таблиц.
И что же там прячется?
Читать: https://habr.com/ru/articles/756074/
DATABASE DESIGN
Photo
How to Enhance Inventory Management with Real-Time Data Strategies
Summary:
This text discusses the importance of real-time data strategies in enhancing inventory management in the retail industry. The article highlights the challenges faced by retailers in terms of unsold stock and the need to have a single view of inventory for effective competition. It emphasizes that modern retail consumers expect seamless omnichannel experiences and that retailers need to prioritize convenience and speed. The article also explains how MongoDB's document data model can be used to track inventory in real-time, improve visibility and consistency across multiple channels, and enable real-time analytics and AI in stock management. Additionally, the text discusses the use of event-driven architectures to boost workforce efficiency and automate inventory operations. It concludes by discussing MongoDB's new features and capabilities specifically designed for the automotive industry, such as real-time data insights, rapid responses to critical events, vector search for unstructured data, and the migration from relational databases to MongoDB. The text is about the industry sharing scenarios, experiences, and effectiveness of using MongoDB products. MongoDB is a database vendor that has a distributed infrastructure suitable for internet applications, with a focus on AI in recent product business strategies. The Beijing and Shenzhen user conferences are important events in MongoDB's global series. Previously, at the MongoDB user conference in New York, MongoDB introduced a series of new products and plans, including new features for MongoDB Atlas, MongoDB Relational Migrator, and an AI plan in collaboration with Google Cloud. MongoDB also released the MongoDB Atlas Industry Plan and launched a solution for the financial industry. Each major technological innovation in the IT industry takes applications to a new level, and AI brings unlimited possibilities to the application field. For AI applications, MongoDB's product advantage is storing data close together, greatly reducing development complexity. MongoDB allows AI-driven applications to run where the data is, bringing the application closer to the data instead of bringing the data closer to the application. The text ends by inviting readers to attend the technical and industry events in Beijing and Shenzhen to innovate and win together in the AI era.
Read: https://www.mongodb.com/blog/post/how-enhance-inventory-management-real-time-data-strategies
Summary:
This text discusses the importance of real-time data strategies in enhancing inventory management in the retail industry. The article highlights the challenges faced by retailers in terms of unsold stock and the need to have a single view of inventory for effective competition. It emphasizes that modern retail consumers expect seamless omnichannel experiences and that retailers need to prioritize convenience and speed. The article also explains how MongoDB's document data model can be used to track inventory in real-time, improve visibility and consistency across multiple channels, and enable real-time analytics and AI in stock management. Additionally, the text discusses the use of event-driven architectures to boost workforce efficiency and automate inventory operations. It concludes by discussing MongoDB's new features and capabilities specifically designed for the automotive industry, such as real-time data insights, rapid responses to critical events, vector search for unstructured data, and the migration from relational databases to MongoDB. The text is about the industry sharing scenarios, experiences, and effectiveness of using MongoDB products. MongoDB is a database vendor that has a distributed infrastructure suitable for internet applications, with a focus on AI in recent product business strategies. The Beijing and Shenzhen user conferences are important events in MongoDB's global series. Previously, at the MongoDB user conference in New York, MongoDB introduced a series of new products and plans, including new features for MongoDB Atlas, MongoDB Relational Migrator, and an AI plan in collaboration with Google Cloud. MongoDB also released the MongoDB Atlas Industry Plan and launched a solution for the financial industry. Each major technological innovation in the IT industry takes applications to a new level, and AI brings unlimited possibilities to the application field. For AI applications, MongoDB's product advantage is storing data close together, greatly reducing development complexity. MongoDB allows AI-driven applications to run where the data is, bringing the application closer to the data instead of bringing the data closer to the application. The text ends by inviting readers to attend the technical and industry events in Beijing and Shenzhen to innovate and win together in the AI era.
Read: https://www.mongodb.com/blog/post/how-enhance-inventory-management-real-time-data-strategies
August edition of newsletter for Autonomous Database Serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following...
Read: https://blogs.oracle.com/datawarehousing/post/august-edition-of-newsletter-for-autonomous-database-serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following...
Read: https://blogs.oracle.com/datawarehousing/post/august-edition-of-newsletter-for-autonomous-database-serverless
Oracle
August edition of newsletter for Autonomous Database Serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following...
Database In-Memory now supported on Autonomous Database on Dedicated Exadata Infrastructure!
Blog on Database In-Memory support on Autonomous Database on Exadata Cloud@Customer and Dedicated Infrastructure
Read: https://blogs.oracle.com/database/post/database-inmemory-now-supported-on-autonomous-database-on-dedicated-exadata-infrastructure
Blog on Database In-Memory support on Autonomous Database on Exadata Cloud@Customer and Dedicated Infrastructure
Read: https://blogs.oracle.com/database/post/database-inmemory-now-supported-on-autonomous-database-on-dedicated-exadata-infrastructure
Oracle
Database In-Memory now supported on Autonomous Database on Dedicated Exadata Infrastructure!
Blog on Database In-Memory support on Autonomous Database on Exadata Cloud@Customer and Dedicated Infrastructure
Отличия MySQL от PostgreSQL. Выбираем что лучше, PostgreSQL или MySQL
PostgreSQL и MySQL являются самыми популярными Open Source реляционными базами данных. И часто возникает вопрос - чем отличается PostgreSQL от MySQL? Ответ на этот вопрос позволит понять, какая из баз данных лучше подойдет вашему проекту.
В данной статье мы сравним PostgreSQL и MySQL по различным параметрам и запишем их в сравнительную таблицу.
Читать: https://habr.com/ru/companies/amvera/articles/756592/
PostgreSQL и MySQL являются самыми популярными Open Source реляционными базами данных. И часто возникает вопрос - чем отличается PostgreSQL от MySQL? Ответ на этот вопрос позволит понять, какая из баз данных лучше подойдет вашему проекту.
В данной статье мы сравним PostgreSQL и MySQL по различным параметрам и запишем их в сравнительную таблицу.
Читать: https://habr.com/ru/companies/amvera/articles/756592/
Change Data Capture (CDC) в Yandex Data Transfer: гид по технологии с примерами
В современных микросервисных архитектурах регулярно встречаются потребности в кешах, индексах полнотекстового поиска, репликах, а также в реактивном взаимодействии компонентов. Решать все эти задачи по отдельности — тот ещё вызов, но оказывается все эти задачи могут быть решены одним механизмом, и имя ему: Change Data Capture.
Меня зовут Тимофей Брунько, я разработчик Yandex Cloud. В этой статье я расскажу о том, как в теории и на практике работает CDC — Change Data Capture, или буквально «захват изменения данных», — и как наш сервис Yandex Data Transfer с поддержкой формата Debezium помогает пользователям решать задачи поставки данных, связанные с CDC. В конце статьи покажу реальные кейсы. Поехали.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/754802/
В современных микросервисных архитектурах регулярно встречаются потребности в кешах, индексах полнотекстового поиска, репликах, а также в реактивном взаимодействии компонентов. Решать все эти задачи по отдельности — тот ещё вызов, но оказывается все эти задачи могут быть решены одним механизмом, и имя ему: Change Data Capture.
Меня зовут Тимофей Брунько, я разработчик Yandex Cloud. В этой статье я расскажу о том, как в теории и на практике работает CDC — Change Data Capture, или буквально «захват изменения данных», — и как наш сервис Yandex Data Transfer с поддержкой формата Debezium помогает пользователям решать задачи поставки данных, связанные с CDC. В конце статьи покажу реальные кейсы. Поехали.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/754802/
Point-in-time Recovery. Как уменьшить RPO для базы данных
Падение любой информационной системы — это по умолчанию больно и неприятно. На Хабре вы найдете много статей о том, как этого избежать. Но что делать, если все-таки случилась одна из тех историй, которыми пугают джунов? Уборщица разлила ведро воды в ЦОДе или злосчастный экскаватор перерубил оптоволокно?
Меня зовут Андрей Белый, я старший разработчик VK Cloud в команде DBaaS. В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO (Recovery point objective).
Материал подготовлен по мотивам моего выступления на VK Databases Meetup «Point-in-time Recovery. Как уменьшить RPO для базы данных».
Читать: https://habr.com/ru/companies/vk/articles/755922/
Падение любой информационной системы — это по умолчанию больно и неприятно. На Хабре вы найдете много статей о том, как этого избежать. Но что делать, если все-таки случилась одна из тех историй, которыми пугают джунов? Уборщица разлила ведро воды в ЦОДе или злосчастный экскаватор перерубил оптоволокно?
Меня зовут Андрей Белый, я старший разработчик VK Cloud в команде DBaaS. В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO (Recovery point objective).
Материал подготовлен по мотивам моего выступления на VK Databases Meetup «Point-in-time Recovery. Как уменьшить RPO для базы данных».
Читать: https://habr.com/ru/companies/vk/articles/755922/
Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером
Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.
В статье сначала опишем паттерны построения распределённых хранилищ, чтобы понимать, через какие процессы проходят данные. А после поговорим о задачах специалистов по работе с данными и необходимых для каждой позиции навыках.
Читать: https://habr.com/ru/companies/southbridge/articles/756652/
Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.
В статье сначала опишем паттерны построения распределённых хранилищ, чтобы понимать, через какие процессы проходят данные. А после поговорим о задачах специалистов по работе с данными и необходимых для каждой позиции навыках.
Читать: https://habr.com/ru/companies/southbridge/articles/756652/
Powerful Generative AI Innovation Accelerates Discovery of New Molecules
Read: https://www.mongodb.com/blog/post/mongodb-investing-in-the-future-of-generative-ai-google-cloud
Read: https://www.mongodb.com/blog/post/mongodb-investing-in-the-future-of-generative-ai-google-cloud
Improving the Node.js Driver’s SCRAM-SHA-256 Support
Read: https://www.mongodb.com/blog/post/improving-nodejs-drivers-scram-sha-256-support
Read: https://www.mongodb.com/blog/post/improving-nodejs-drivers-scram-sha-256-support
Boosting Performance and Insights with MongoDB Atlas and New Relic
Read: https://www.mongodb.com/blog/post/boosting-performance-insights-mongodb-atlas-new-relic
Read: https://www.mongodb.com/blog/post/boosting-performance-insights-mongodb-atlas-new-relic
Опыт PT: BI на страже кибербезопасности
Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.
Узнать больше про этот кейс
Читать: https://habr.com/ru/articles/756758/
Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.
Узнать больше про этот кейс
Читать: https://habr.com/ru/articles/756758/
Ещё один рецепт отказоустойчивого файлового сервера средствами PaceMaker
В конце прошлого года нам поступила задача по реализации отказоустойчивого хранилища для разрабатываемого сервиса.
Ранее для этих целей предложили бы готовое решение в виде СХД с поддержкой сетевых протоколов вроде Hitachi NAS Platform (HNAS). Но текущая ситуация и особенности контракта обязывали проработать решение на мощностях заказчика.
В итоге выбрали и реализовали решение с использованием ОС на ядре Linux и кластере PaceMaker — с общим диском, поддержкой кворума, демона SDB и протокола NFS. Кому интересны особенности реализации, прошу под кат.
Читать: https://habr.com/ru/companies/rtlabs/articles/756488/
В конце прошлого года нам поступила задача по реализации отказоустойчивого хранилища для разрабатываемого сервиса.
Ранее для этих целей предложили бы готовое решение в виде СХД с поддержкой сетевых протоколов вроде Hitachi NAS Platform (HNAS). Но текущая ситуация и особенности контракта обязывали проработать решение на мощностях заказчика.
В итоге выбрали и реализовали решение с использованием ОС на ядре Linux и кластере PaceMaker — с общим диском, поддержкой кворума, демона SDB и протокола NFS. Кому интересны особенности реализации, прошу под кат.
Читать: https://habr.com/ru/companies/rtlabs/articles/756488/