MongoDB Completes Infosec Registered Assessors Program (IRAP) Assessment for MongoDB Atlas
Read: https://www.mongodb.com/blog/post/mongodb-completes-infosec-registered-assessors-program-irap-assessment-atlas
Read: https://www.mongodb.com/blog/post/mongodb-completes-infosec-registered-assessors-program-irap-assessment-atlas
4 Big Reasons to Upgrade to MongoDB 7.0
The text highlights four big reasons to upgrade to MongoDB 7.0. The first reason is enhanced performance, especially when working with time series data. The improvements in storage optimization, compression, and query performance allow for better handling of high cardinality data and improved scalability. The second reason is smoother migrations, with updates to cluster-to-cluster sync enabling more efficient data migration in various scenarios. The third reason is a streamlined developer experience, with enhancements to the aggregation pipeline that provide greater flexibility and performance in indexing and querying data. The fourth reason is stronger security, with the introduction of Queryable Encryption, which allows customers to encrypt sensitive data and run equality queries on encrypted data. The completion of the Infosec Registered Assessors Program (IRAP) assessment also highlights MongoDB's commitment to security and enables Australian government agencies to use MongoDB Atlas for their data management needs.
Read: https://www.mongodb.com/blog/post/4-big-reasons-upgrade-mongodb-7-0
The text highlights four big reasons to upgrade to MongoDB 7.0. The first reason is enhanced performance, especially when working with time series data. The improvements in storage optimization, compression, and query performance allow for better handling of high cardinality data and improved scalability. The second reason is smoother migrations, with updates to cluster-to-cluster sync enabling more efficient data migration in various scenarios. The third reason is a streamlined developer experience, with enhancements to the aggregation pipeline that provide greater flexibility and performance in indexing and querying data. The fourth reason is stronger security, with the introduction of Queryable Encryption, which allows customers to encrypt sensitive data and run equality queries on encrypted data. The completion of the Infosec Registered Assessors Program (IRAP) assessment also highlights MongoDB's commitment to security and enables Australian government agencies to use MongoDB Atlas for their data management needs.
Read: https://www.mongodb.com/blog/post/4-big-reasons-upgrade-mongodb-7-0
MongoDB Announces Queryable Encryption with Equality Query Type Support
MongoDB has announced the general availability of Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run equality queries on that encrypted data. This feature helps customers meet strict data privacy requirements. The technology allows developers to query encrypted sensitive data in a simple and intuitive way. The release includes the equality query type, with plans to add support for other query types in future releases. Queryable Encryption was first introduced in preview in MongoDB 6.0 in 2022 and has been fine-tuned through partnerships with customers in the healthcare and insurance industries. The encryption keys remain within the application and cannot be accessed by the database server, ensuring the security and privacy of the data. This technology can help customers meet data privacy requirements such as HIPAA, GDPR, CCPA, and PCI. MongoDB has also completed the Infosec Registered Assessors Program (IRAP) Assessment for MongoDB Atlas, ensuring the highest security standards for Australian government agencies. MongoDB Atlas offers advanced security features, data sovereignty, multi-cloud capabilities, scalability, and operational efficiency, making it a trusted data platform for government entities. MongoDB 7.0, the latest release, includes enhancements in performance, migrations, developer experience, and security. These features make it easier for organizations to boost the productivity of their development teams and build modern, distributed applications.
Read: https://www.mongodb.com/blog/post/mongodb-announces-queryable-encryption
MongoDB has announced the general availability of Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run equality queries on that encrypted data. This feature helps customers meet strict data privacy requirements. The technology allows developers to query encrypted sensitive data in a simple and intuitive way. The release includes the equality query type, with plans to add support for other query types in future releases. Queryable Encryption was first introduced in preview in MongoDB 6.0 in 2022 and has been fine-tuned through partnerships with customers in the healthcare and insurance industries. The encryption keys remain within the application and cannot be accessed by the database server, ensuring the security and privacy of the data. This technology can help customers meet data privacy requirements such as HIPAA, GDPR, CCPA, and PCI. MongoDB has also completed the Infosec Registered Assessors Program (IRAP) Assessment for MongoDB Atlas, ensuring the highest security standards for Australian government agencies. MongoDB Atlas offers advanced security features, data sovereignty, multi-cloud capabilities, scalability, and operational efficiency, making it a trusted data platform for government entities. MongoDB 7.0, the latest release, includes enhancements in performance, migrations, developer experience, and security. These features make it easier for organizations to boost the productivity of their development teams and build modern, distributed applications.
Read: https://www.mongodb.com/blog/post/mongodb-announces-queryable-encryption
Join Us for the Latest Technology Updates on Exadata and Database Cloud
It has been a busy year at Oracle and we are inviting you to join us at DatabaseWorld at CloudWorld to hear about the latest technology updates on Exadata and the Database Cloud in Las Vegas on September 18-23, 2023!
Read: https://blogs.oracle.com/database/post/latest-technology-updates-exadata-dbcloud-dbw2023
It has been a busy year at Oracle and we are inviting you to join us at DatabaseWorld at CloudWorld to hear about the latest technology updates on Exadata and the Database Cloud in Las Vegas on September 18-23, 2023!
Read: https://blogs.oracle.com/database/post/latest-technology-updates-exadata-dbcloud-dbw2023
Building AI with MongoDB: Announcing the First Qualifiers for the Innovators Program
The text discusses the MongoDB AI Innovators Program and announces the first three startups to graduate from the program. The startups include Cloneable, which provides an application layer for bringing AI to devices at the edge of the network; ExTrac, which uses AI-powered analytics to locate, track, and forecast risks to public safety; and CetoAI, which provides predictive analytics for the maritime industry. The text also mentions the release of MongoDB 7.0, which offers enhanced performance, smoother migrations, a streamlined developer experience, and stronger security features. Additionally, the text introduces Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run queries on that data.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-announcing-first-qualifiers-innovators-program
The text discusses the MongoDB AI Innovators Program and announces the first three startups to graduate from the program. The startups include Cloneable, which provides an application layer for bringing AI to devices at the edge of the network; ExTrac, which uses AI-powered analytics to locate, track, and forecast risks to public safety; and CetoAI, which provides predictive analytics for the maritime industry. The text also mentions the release of MongoDB 7.0, which offers enhanced performance, smoother migrations, a streamlined developer experience, and stronger security features. Additionally, the text introduces Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run queries on that data.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-announcing-first-qualifiers-innovators-program
Beyond Borders: How MongoDB’s Talent Sourcing Team Fuels Global Hiring
The text discusses MongoDB's Talent Sourcing team and their role in fueling global hiring. The team is centralized in India but provides global support and is divided into specialized sourcing groups for different business units. They work towards generating a steady flow of candidates, reducing the time and cost of hiring. The team contributes to 25% of the overall hiring globally. Several team members share their experiences, highlighting the opportunities for growth, learning, and development that MongoDB provides. The text also mentions MongoDB's Queryable Encryption technology, which allows for end-to-end encryption of sensitive data while still allowing equality queries on that data. The benefits of this technology are outlined, including faster application development, reduced operational risk, and strong technical controls for data privacy. The text also briefly mentions MongoDB's AI Innovators Program, which provides support for startups building AI applications on top of MongoDB Atlas. The text discusses two companies, ExTrac and CetoAI, and their use of AI and data analysis in different industries.
ExTrac is focused on managing large data sets and improving performance as the business scales. They are using AI to analyze data in various formats, such as text, images, and videos, to model trends, track narratives, and predict risk for their customers. They aim to utilize the technical expertise provided by the AI Innovators Program to achieve these goals.
CetoAI, on the other hand, operates in the maritime industry and provides predictive analytics. They use high-frequency data and AI to reduce machinery breakdowns, decrease carbon emissions, and manage operational risk. The company collects real-time data from sensors installed on each vessel and uses AI models for predictive maintenance, fuel optimization, and carbon intensity forecasting. CetoAI chose MongoDB, a database system, to handle the complex data feeds generated by their sensors and to support their business growth. They are exploring additional capabilities offered by MongoDB, such as Atlas Device Sync and Atlas Vector Search, to expand their services.
Overall, both companies are leveraging AI and data analysis to improve their operations and provide better services to their customers.
Read: https://www.mongodb.com/blog/post/beyond-borders-mongodbs-talent-sourcing-team-fuels-global-hiring
The text discusses MongoDB's Talent Sourcing team and their role in fueling global hiring. The team is centralized in India but provides global support and is divided into specialized sourcing groups for different business units. They work towards generating a steady flow of candidates, reducing the time and cost of hiring. The team contributes to 25% of the overall hiring globally. Several team members share their experiences, highlighting the opportunities for growth, learning, and development that MongoDB provides. The text also mentions MongoDB's Queryable Encryption technology, which allows for end-to-end encryption of sensitive data while still allowing equality queries on that data. The benefits of this technology are outlined, including faster application development, reduced operational risk, and strong technical controls for data privacy. The text also briefly mentions MongoDB's AI Innovators Program, which provides support for startups building AI applications on top of MongoDB Atlas. The text discusses two companies, ExTrac and CetoAI, and their use of AI and data analysis in different industries.
ExTrac is focused on managing large data sets and improving performance as the business scales. They are using AI to analyze data in various formats, such as text, images, and videos, to model trends, track narratives, and predict risk for their customers. They aim to utilize the technical expertise provided by the AI Innovators Program to achieve these goals.
CetoAI, on the other hand, operates in the maritime industry and provides predictive analytics. They use high-frequency data and AI to reduce machinery breakdowns, decrease carbon emissions, and manage operational risk. The company collects real-time data from sensors installed on each vessel and uses AI models for predictive maintenance, fuel optimization, and carbon intensity forecasting. CetoAI chose MongoDB, a database system, to handle the complex data feeds generated by their sensors and to support their business growth. They are exploring additional capabilities offered by MongoDB, such as Atlas Device Sync and Atlas Vector Search, to expand their services.
Overall, both companies are leveraging AI and data analysis to improve their operations and provide better services to their customers.
Read: https://www.mongodb.com/blog/post/beyond-borders-mongodbs-talent-sourcing-team-fuels-global-hiring
Зачем инструмент dbt нужен аналитику
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
Читать: «Зачем инструмент dbt нужен аналитику»
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
Читать: «Зачем инструмент dbt нужен аналитику»
Tproger
Зачем инструмент dbt нужен аналитику / Tproger
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
DATABASE DESIGN
Photo
Cloud Strides at MongoDB.local Auckland
The MongoDB.local Auckland event highlighted the increasing need for strong cloud strategies to support data-driven businesses in New Zealand. Kiwi companies, both local and global, are avid users of cloud services and technologies like MongoDB. Recent commitments from Microsoft, Amazon, and Google to build cloud regions in New Zealand will make it easier to build and deploy cloud projects that meet data sovereignty requirements. MongoDB announced its intention to fully support each cloud provider's regions on MongoDB Atlas, bringing a local presence to the leading cloud database platform. The event also featured presentations from customers and partners showcasing their experiences with MongoDB Atlas. Additionally, the blog post discusses three startups that have qualified for MongoDB's AI Innovators Program, including Cloneable, ExTrac, and CetoAI. These startups are using MongoDB Atlas to develop and deploy AI-powered solutions in various industries. The post concludes with an overview of MongoDB's Talent Sourcing team, highlighting the team's contributions to global hiring and the company's supportive work culture. The author, Garima Fulara, is a Senior Sourcer in the Corporate & Marketing department at MongoDB. She takes pride in her role in driving the company's growth by finding the right professionals for the right positions. The company has experienced significant expansion during her time there. The team looks for individuals with strong research skills and knowledge of LinkedIn Recruiter, particularly for niche roles and geographies. The interview process involves a sourcing test and interviews with various stakeholders. The rest of the interview rounds focus on culture, relationship-building skills, communication, and articulation. The company is currently hiring for several open roles on their Talent Sourcing team.
Read: https://www.mongodb.com/blog/post/cloud-strides-mongodb-local-auckland
The MongoDB.local Auckland event highlighted the increasing need for strong cloud strategies to support data-driven businesses in New Zealand. Kiwi companies, both local and global, are avid users of cloud services and technologies like MongoDB. Recent commitments from Microsoft, Amazon, and Google to build cloud regions in New Zealand will make it easier to build and deploy cloud projects that meet data sovereignty requirements. MongoDB announced its intention to fully support each cloud provider's regions on MongoDB Atlas, bringing a local presence to the leading cloud database platform. The event also featured presentations from customers and partners showcasing their experiences with MongoDB Atlas. Additionally, the blog post discusses three startups that have qualified for MongoDB's AI Innovators Program, including Cloneable, ExTrac, and CetoAI. These startups are using MongoDB Atlas to develop and deploy AI-powered solutions in various industries. The post concludes with an overview of MongoDB's Talent Sourcing team, highlighting the team's contributions to global hiring and the company's supportive work culture. The author, Garima Fulara, is a Senior Sourcer in the Corporate & Marketing department at MongoDB. She takes pride in her role in driving the company's growth by finding the right professionals for the right positions. The company has experienced significant expansion during her time there. The team looks for individuals with strong research skills and knowledge of LinkedIn Recruiter, particularly for niche roles and geographies. The interview process involves a sourcing test and interviews with various stakeholders. The rest of the interview rounds focus on culture, relationship-building skills, communication, and articulation. The company is currently hiring for several open roles on their Talent Sourcing team.
Read: https://www.mongodb.com/blog/post/cloud-strides-mongodb-local-auckland
Tarantool 2.11 LTS: Рассказываем про новые возможности администрирования и безопасности
Привет. Меня зовут Владимир Салыкин, я директор по продукту Tarantool. Мы выпустили Tarantool 2.11 LTS — стабильный релиз с долгим циклом поддержки. Работа над ним началась в мае 2022 года, и сейчас релиз включает в себя более тысячи коммитов от 42 авторов. Мы все много работали над решением основных проблем с обслуживанием и администрированием, с которыми ранее сталкивались наши пользователи.
В этой статье мы хотим рассказать про ключевые фичи, которые были добавлены в релизе.
Читать: https://habr.com/ru/companies/vk/articles/739134/
Привет. Меня зовут Владимир Салыкин, я директор по продукту Tarantool. Мы выпустили Tarantool 2.11 LTS — стабильный релиз с долгим циклом поддержки. Работа над ним началась в мае 2022 года, и сейчас релиз включает в себя более тысячи коммитов от 42 авторов. Мы все много работали над решением основных проблем с обслуживанием и администрированием, с которыми ранее сталкивались наши пользователи.
В этой статье мы хотим рассказать про ключевые фичи, которые были добавлены в релизе.
Читать: https://habr.com/ru/companies/vk/articles/739134/
❤1
Как вывести миллиарды ключей из ScyllaDB
Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...
Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.
Читать: https://habr.com/ru/companies/stm_labs/articles/743276/
Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...
Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.
Читать: https://habr.com/ru/companies/stm_labs/articles/743276/
Погрузиться в Redis — материалы, которые помогут начать работу
Как начать работу с Redis командам, у которых мало опыта в администрировании СУБД? Можно попробовать создать кластеры Redis в облаке. Или же сначала «вкатиться» в тему и поближе познакомиться с экосистемой — на этот случай мы подготовили подборку литературы. В списке — свежие издания и классика, которую стоит прочитать каждому начинающему Redis-разработчику.
Кому будет интересно: например, вам нужна среда для разработки программ и приложений, или поддержки работы интернет-магазинов с их пиковыми нагрузками во время сезонных или тематических акций. Статья также пригодится компаниям с большим количеством офисов в разных регионах и командам, которым необходимо обрабатывать транзакции в режиме реального времени.
Читать: https://habr.com/ru/companies/cloud_mts/articles/739952/
Как начать работу с Redis командам, у которых мало опыта в администрировании СУБД? Можно попробовать создать кластеры Redis в облаке. Или же сначала «вкатиться» в тему и поближе познакомиться с экосистемой — на этот случай мы подготовили подборку литературы. В списке — свежие издания и классика, которую стоит прочитать каждому начинающему Redis-разработчику.
Кому будет интересно: например, вам нужна среда для разработки программ и приложений, или поддержки работы интернет-магазинов с их пиковыми нагрузками во время сезонных или тематических акций. Статья также пригодится компаниям с большим количеством офисов в разных регионах и командам, которым необходимо обрабатывать транзакции в режиме реального времени.
Читать: https://habr.com/ru/companies/cloud_mts/articles/739952/
Отвечаю на вопросы после аварии
Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)
Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.
Но давайте обо всём по порядку.
— Сколько клиентов пострадало?
— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.
Читать: https://habr.com/ru/companies/ruvds/articles/743826/
Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)
Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.
Но давайте обо всём по порядку.
— Сколько клиентов пострадало?
— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.
Читать: https://habr.com/ru/companies/ruvds/articles/743826/
Выбор структур данных для самописного текстового редактора
Программирование текстовых редакторов может быть очень интересной и сложной задачей. Типы задач, которые должны решать текстовые редакторы, варьируются от тривиальных до невероятно трудных. Недавно я занимался переработкой внутренних структур данных редактора, над которым я работаю. В частности, самой фундаментальной для любого текстового редактора структуры данных: текста.
Ресурсы
Прежде чем мы приступим к разбору того, что я сделал, важно упомянуть очень полезные ресурсы для создания собственного текстового редактора:
* Build Your Own Text Editor — наверно, самый фундаментальный пост о создании текстового редактора с нуля, который я видел. Это превосходный туториал на случай, если вы хотите начать писать собственный текстовый редактор. Стоит заметить, что в редакторе из этого туториала в качестве внутренней структуры для текста используется, по сути, вектор строк.
* Text Editor: Data Structures — отличный обзор множества структур данных, которые можно использовать при реализации текстового редактора. (Спойлер: как минимум одна из них будет рассмотрена в моём посте)
* Плейлист Ded (Text Editor) на YouTube — это потрясающая серия, в которой @tscoding фиксирует процесс создания с нуля текстового редактора. Эти видео стали для меня источником вдохновения.
Зачем?
Если в сети есть так много хороших ресурсов о создании собственного текстового редактора (не говоря уже о том, что уже существует множество феноменальных текстовых редакторов), то зачем я это пишу? На то есть несколько причин:
1. Я хотел заняться проектом, непохожим ни на один свой прошлый.
2. Я хотел создать инструмент, которым смогу пользоваться.
3. Мне всегда хотелось глубже разобраться с созданием собственных структур данных.
Читать: https://habr.com/ru/companies/ruvds/articles/743954/
Программирование текстовых редакторов может быть очень интересной и сложной задачей. Типы задач, которые должны решать текстовые редакторы, варьируются от тривиальных до невероятно трудных. Недавно я занимался переработкой внутренних структур данных редактора, над которым я работаю. В частности, самой фундаментальной для любого текстового редактора структуры данных: текста.
Ресурсы
Прежде чем мы приступим к разбору того, что я сделал, важно упомянуть очень полезные ресурсы для создания собственного текстового редактора:
* Build Your Own Text Editor — наверно, самый фундаментальный пост о создании текстового редактора с нуля, который я видел. Это превосходный туториал на случай, если вы хотите начать писать собственный текстовый редактор. Стоит заметить, что в редакторе из этого туториала в качестве внутренней структуры для текста используется, по сути, вектор строк.
* Text Editor: Data Structures — отличный обзор множества структур данных, которые можно использовать при реализации текстового редактора. (Спойлер: как минимум одна из них будет рассмотрена в моём посте)
* Плейлист Ded (Text Editor) на YouTube — это потрясающая серия, в которой @tscoding фиксирует процесс создания с нуля текстового редактора. Эти видео стали для меня источником вдохновения.
Зачем?
Если в сети есть так много хороших ресурсов о создании собственного текстового редактора (не говоря уже о том, что уже существует множество феноменальных текстовых редакторов), то зачем я это пишу? На то есть несколько причин:
1. Я хотел заняться проектом, непохожим ни на один свой прошлый.
2. Я хотел создать инструмент, которым смогу пользоваться.
3. Мне всегда хотелось глубже разобраться с созданием собственных структур данных.
Читать: https://habr.com/ru/companies/ruvds/articles/743954/
Оптимизация Change Data Capture в БД Oracle
Как внедрить Change Data Capture в Oracle и при этом не отдать все ресурсы
Современную жизнь теперь уже невозможно представить без цифровых технологий. Объем доступных и собранных данных существенно вырос, в результате чего стали появляться ограничения для традиционно используемых инструментов анализа и хранения данных, и именно тогда и возникло понятие больших данных.
А для решения проблем хранения и обработки больших объемов данных возникает потребность в их репликации из классического хранилища-источника в аналитическое хранилище для проведения аналитики без влияния на продуктивную эксплуатацию. Для обеспечения актуальности данных в аналитическом хранилище, их необходимо обновлять их при изменении операционных данных источника. Однако, простая перезагрузка данных - неэффективна, так как обычно изменяется только небольшая часть исходных данных. Поэтому в качестве решения предлагается использовать инкрементную загрузку данных с использованием паттерна "Change Data Capture", которая будет актуализировать аналитическое хранилище посредством периодического обновления данных, которые были изменены.
Читать: https://habr.com/ru/articles/740136/
Как внедрить Change Data Capture в Oracle и при этом не отдать все ресурсы
Современную жизнь теперь уже невозможно представить без цифровых технологий. Объем доступных и собранных данных существенно вырос, в результате чего стали появляться ограничения для традиционно используемых инструментов анализа и хранения данных, и именно тогда и возникло понятие больших данных.
А для решения проблем хранения и обработки больших объемов данных возникает потребность в их репликации из классического хранилища-источника в аналитическое хранилище для проведения аналитики без влияния на продуктивную эксплуатацию. Для обеспечения актуальности данных в аналитическом хранилище, их необходимо обновлять их при изменении операционных данных источника. Однако, простая перезагрузка данных - неэффективна, так как обычно изменяется только небольшая часть исходных данных. Поэтому в качестве решения предлагается использовать инкрементную загрузку данных с использованием паттерна "Change Data Capture", которая будет актуализировать аналитическое хранилище посредством периодического обновления данных, которые были изменены.
Читать: https://habr.com/ru/articles/740136/
Тотально виртуально, гиперконвергентно
По прогнозам MarketsandMarkets, глобальный рынок гиперконвергентных систем к 2025 году достигнет объёма в 17,1 млрд долларов США. Среди факторов, стимулирующих рост рынка гиперконвергентной архитектуры, можно выделить повышенный интерес к облачным вычислениям, виртуализации, стремление сократить расходы на инфраструктуру и упростить управление.
Гиперконвергентной называют программно определяемую инфраструктуру, в которой вычислительные и сетевые ресурсы, а также хранилища составляются из унифицированных компонентов без заранее выделенных ролей. Такая архитектура обеспечивает простоту, скорость и наглядность, а также единообразие вместо дискретности.
В этой статье мы рассмотрим сервер Altos BrainSphere R380 F5, который отлично подходит для использования в качестве унифицированного компонента гиперконвергентной архитектуры.
Читать: https://habr.com/ru/companies/acer/articles/744452/
По прогнозам MarketsandMarkets, глобальный рынок гиперконвергентных систем к 2025 году достигнет объёма в 17,1 млрд долларов США. Среди факторов, стимулирующих рост рынка гиперконвергентной архитектуры, можно выделить повышенный интерес к облачным вычислениям, виртуализации, стремление сократить расходы на инфраструктуру и упростить управление.
Гиперконвергентной называют программно определяемую инфраструктуру, в которой вычислительные и сетевые ресурсы, а также хранилища составляются из унифицированных компонентов без заранее выделенных ролей. Такая архитектура обеспечивает простоту, скорость и наглядность, а также единообразие вместо дискретности.
В этой статье мы рассмотрим сервер Altos BrainSphere R380 F5, который отлично подходит для использования в качестве унифицированного компонента гиперконвергентной архитектуры.
Читать: https://habr.com/ru/companies/acer/articles/744452/
Newbie Guide: разбираемся с MVCC на простых примерах
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
От флешек к ДНК: разбираемся в новой технологии хранения данных
В ближайшие три года общее количество цифровых данных увеличится в три раза и достигнет 175 миллиардов терабайт. Надежно сохранить такое количество информации на жестких дисках и магнитных лентах будет практически невозможно, строительство дата-центров тоже не спасет ситуацию, поэтому ученые сейчас активно работают над технологией хранения данных в ДНК.
В этой статье мы расскажем, что из себя представляют ДНК-накопители, в чем их преимущества и недостатки, и по шагам разберем, как информацию сохранять в молекуле и извлекать из нее.
Читать: https://habr.com/ru/companies/itglobalcom/articles/743248/
В ближайшие три года общее количество цифровых данных увеличится в три раза и достигнет 175 миллиардов терабайт. Надежно сохранить такое количество информации на жестких дисках и магнитных лентах будет практически невозможно, строительство дата-центров тоже не спасет ситуацию, поэтому ученые сейчас активно работают над технологией хранения данных в ДНК.
В этой статье мы расскажем, что из себя представляют ДНК-накопители, в чем их преимущества и недостатки, и по шагам разберем, как информацию сохранять в молекуле и извлекать из нее.
Читать: https://habr.com/ru/companies/itglobalcom/articles/743248/
Кто мощнее в базах данных? Сравниваем производительность БД на серверах с ARM- и x86-процессорами
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Есть 14 языков для хранения данных… Или как появился IEML
Велась как-то работа на одним движком для создания GUI, некоторого подобия Qt. Выделялся он тем, что конечный пользователь мог этот интерфейс кастомизировать с помощью конфига до самых мелочей.
Изначально в качества такого конфига был взят YAML, звучало разумно, простой для обывателя формат, справится, если не бабушка, то хотя бы слегка прошаренный геймер.
В процессе интеграции обнаружилось, что нам этого формата не хватает, да и некоторые другие его минусы стали проявляться. В итоге было решено создать свой формат.
Читать: https://habr.com/ru/articles/745682/
Велась как-то работа на одним движком для создания GUI, некоторого подобия Qt. Выделялся он тем, что конечный пользователь мог этот интерфейс кастомизировать с помощью конфига до самых мелочей.
Изначально в качества такого конфига был взят YAML, звучало разумно, простой для обывателя формат, справится, если не бабушка, то хотя бы слегка прошаренный геймер.
В процессе интеграции обнаружилось, что нам этого формата не хватает, да и некоторые другие его минусы стали проявляться. В итоге было решено создать свой формат.
Читать: https://habr.com/ru/articles/745682/