DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Записки оптимизатора 1С (часть 2). Полнотекстовый индекс или как быстро искать по подстроке

Сегодня речь пойдет про ускорение поиска по подстроке в высоконагруженных базах данных 1С. А точнее об альтернативе, которую можно предложить взамен полнотекстового поиска от 1С или MS SQL.

Речь пойдет о поисковых запросах с конструкцией LIKE ‘%текст%’. Именно с двумя %%. В этом случае стандартные индексы не работают и SQL производит полное сканирование таблиц.


Читать: https://habr.com/ru/companies/softpoint/articles/753848/
Mixing SQL and NoSQL with MariaDB and MongoDB

Read: https://mariadb.com/?p=37190
Что такое обезличивание и с чем его едят?

Три года назад, весной 2020, пандемия COVID-19 только начиналась и все переходили в режим самоизоляции. Мы в один миг оказались в ситуации, когда у нас имеется огромное количество данных, доступ к которым можно получить лишь из офиса, в который, разумеется, невозможно попасть. Работать без доступа к документам нереально, нам критически необходимо продолжать размечать данные, а значит нужно разработать подход, при котором можно это делать удаленно. Именно тогда мы в очередной раз подняли тему, которая и так периодически возникала в наших обсуждениях — а так ли нам нужны настоящие данные? Ответ очевидный: нет, если мы сохраняем их вид (ФИО меняем на ФИО, адрес на адрес и т. д.). Данный процесс называется обезличиванием.


Читать: https://habr.com/ru/companies/sberbank/articles/749906/
Empowering Automation in Jira: Harnessing the Power of ScriptRunner

This text discusses the use of ScriptRunner, a plugin for Jira, to enhance automation capabilities in the project management tool. The article presents a specific case where the ScriptRunner plugin was leveraged to create a custom automation solution for matching text against a list of URLs. This solution allowed the team to prioritize work on specific documentation pages and make informed decisions based on the ranking of URLs. The article emphasizes the importance of automation for program managers, systems administrators, and engineering teams, and highlights the benefits of automation, such as enhanced productivity, improved accuracy, faster response times, scalability and consistency, and increased transparency and visibility. The automation project described in the article successfully improved the team's understanding of ticket impact and prioritization, ultimately leading to more efficient workflows and better content improvement. The text discusses the upcoming changes to the findOneAnd* APIs in the Node.js driver for MongoDB. Currently, these APIs return a ModifyResult object instead of the requested document. However, starting with version 6.0.0 of the driver, the modified or original document will be returned by default. The text also mentions that a new option called includeResultMetadata has been introduced in version 5.7.0 of the driver, which allows users to specify whether they want the requested document to be returned. Additionally, the text mentions the use of TypeScript and how it affects the handling of the returned document. The text then transitions to discussing the collaboration between MongoDB and commercetools, a composable commerce platform. It explains how commercetools uses MongoDB as their trusted advisor and how MongoDB Atlas, the fully managed database service, allows commercetools to focus on commerce rather than data management. It also highlights commercetools' leadership in the software industry and their use of AI and machine learning in conjunction with MongoDB. The text concludes by emphasizing the synergy between MongoDB and commercetools and the success they have achieved together.

Read: https://www.mongodb.com/blog/post/empowering-automation-jira-harnessing-power-noscript-runner
👍1
CAP-теорема: принципы согласованности, доступности и устойчивости

CAP-теорема, сформулированная Эриком Брюэром в 2000 году, сразу же приковала внимание специалистов в области распределенных систем и стала неотъемлемой частью арсенала знаний для разработчиков, стремящихся к созданию эффективных и устойчивых систем.

Теорема Брюэра гласит, что в распределенной системе невозможно одновременно обеспечить полное выполнение всех трех принципов: согласованности, доступности и устойчивости к разделению (partition tolerance). То есть, при наличии разделения сети между узлами, система должна выбирать между согласованностью и доступностью.


Читать: https://habr.com/ru/companies/otus/articles/754514/
MariaDB Community Server Q3 2023 maintenance releases

Read: https://mariadb.com/?p=37315
MongoDB Completes Infosec Registered Assessors Program (IRAP) Assessment for MongoDB Atlas



Read: https://www.mongodb.com/blog/post/mongodb-completes-infosec-registered-assessors-program-irap-assessment-atlas
4 Big Reasons to Upgrade to MongoDB 7.0

The text highlights four big reasons to upgrade to MongoDB 7.0. The first reason is enhanced performance, especially when working with time series data. The improvements in storage optimization, compression, and query performance allow for better handling of high cardinality data and improved scalability. The second reason is smoother migrations, with updates to cluster-to-cluster sync enabling more efficient data migration in various scenarios. The third reason is a streamlined developer experience, with enhancements to the aggregation pipeline that provide greater flexibility and performance in indexing and querying data. The fourth reason is stronger security, with the introduction of Queryable Encryption, which allows customers to encrypt sensitive data and run equality queries on encrypted data. The completion of the Infosec Registered Assessors Program (IRAP) assessment also highlights MongoDB's commitment to security and enables Australian government agencies to use MongoDB Atlas for their data management needs.

Read: https://www.mongodb.com/blog/post/4-big-reasons-upgrade-mongodb-7-0
MongoDB Announces Queryable Encryption with Equality Query Type Support

MongoDB has announced the general availability of Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run equality queries on that encrypted data. This feature helps customers meet strict data privacy requirements. The technology allows developers to query encrypted sensitive data in a simple and intuitive way. The release includes the equality query type, with plans to add support for other query types in future releases. Queryable Encryption was first introduced in preview in MongoDB 6.0 in 2022 and has been fine-tuned through partnerships with customers in the healthcare and insurance industries. The encryption keys remain within the application and cannot be accessed by the database server, ensuring the security and privacy of the data. This technology can help customers meet data privacy requirements such as HIPAA, GDPR, CCPA, and PCI. MongoDB has also completed the Infosec Registered Assessors Program (IRAP) Assessment for MongoDB Atlas, ensuring the highest security standards for Australian government agencies. MongoDB Atlas offers advanced security features, data sovereignty, multi-cloud capabilities, scalability, and operational efficiency, making it a trusted data platform for government entities. MongoDB 7.0, the latest release, includes enhancements in performance, migrations, developer experience, and security. These features make it easier for organizations to boost the productivity of their development teams and build modern, distributed applications.

Read: https://www.mongodb.com/blog/post/mongodb-announces-queryable-encryption
MySQL 5.7 EOL: Move to MariaDB Server with 11 Easy Commands

Read: https://mariadb.com/?p=37307
Join Us for the Latest Technology Updates on Exadata and Database Cloud

It has been a busy year at Oracle and we are inviting you to join us at DatabaseWorld at CloudWorld to hear about the latest technology updates on Exadata and the Database Cloud in Las Vegas on September 18-23, 2023!

Read: https://blogs.oracle.com/database/post/latest-technology-updates-exadata-dbcloud-dbw2023
Building AI with MongoDB: Announcing the First Qualifiers for the Innovators Program

The text discusses the MongoDB AI Innovators Program and announces the first three startups to graduate from the program. The startups include Cloneable, which provides an application layer for bringing AI to devices at the edge of the network; ExTrac, which uses AI-powered analytics to locate, track, and forecast risks to public safety; and CetoAI, which provides predictive analytics for the maritime industry. The text also mentions the release of MongoDB 7.0, which offers enhanced performance, smoother migrations, a streamlined developer experience, and stronger security features. Additionally, the text introduces Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run queries on that data.

Read: https://www.mongodb.com/blog/post/building-ai-mongodb-announcing-first-qualifiers-innovators-program
Beyond Borders: How MongoDB’s Talent Sourcing Team Fuels Global Hiring

The text discusses MongoDB's Talent Sourcing team and their role in fueling global hiring. The team is centralized in India but provides global support and is divided into specialized sourcing groups for different business units. They work towards generating a steady flow of candidates, reducing the time and cost of hiring. The team contributes to 25% of the overall hiring globally. Several team members share their experiences, highlighting the opportunities for growth, learning, and development that MongoDB provides. The text also mentions MongoDB's Queryable Encryption technology, which allows for end-to-end encryption of sensitive data while still allowing equality queries on that data. The benefits of this technology are outlined, including faster application development, reduced operational risk, and strong technical controls for data privacy. The text also briefly mentions MongoDB's AI Innovators Program, which provides support for startups building AI applications on top of MongoDB Atlas. The text discusses two companies, ExTrac and CetoAI, and their use of AI and data analysis in different industries.

ExTrac is focused on managing large data sets and improving performance as the business scales. They are using AI to analyze data in various formats, such as text, images, and videos, to model trends, track narratives, and predict risk for their customers. They aim to utilize the technical expertise provided by the AI Innovators Program to achieve these goals.

CetoAI, on the other hand, operates in the maritime industry and provides predictive analytics. They use high-frequency data and AI to reduce machinery breakdowns, decrease carbon emissions, and manage operational risk. The company collects real-time data from sensors installed on each vessel and uses AI models for predictive maintenance, fuel optimization, and carbon intensity forecasting. CetoAI chose MongoDB, a database system, to handle the complex data feeds generated by their sensors and to support their business growth. They are exploring additional capabilities offered by MongoDB, such as Atlas Device Sync and Atlas Vector Search, to expand their services.

Overall, both companies are leveraging AI and data analysis to improve their operations and provide better services to their customers.

Read: https://www.mongodb.com/blog/post/beyond-borders-mongodbs-talent-sourcing-team-fuels-global-hiring
Зачем инструмент dbt нужен аналитику

Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.

Читать: «Зачем инструмент dbt нужен аналитику»
DATABASE DESIGN
Photo
Cloud Strides at MongoDB.local Auckland

The MongoDB.local Auckland event highlighted the increasing need for strong cloud strategies to support data-driven businesses in New Zealand. Kiwi companies, both local and global, are avid users of cloud services and technologies like MongoDB. Recent commitments from Microsoft, Amazon, and Google to build cloud regions in New Zealand will make it easier to build and deploy cloud projects that meet data sovereignty requirements. MongoDB announced its intention to fully support each cloud provider's regions on MongoDB Atlas, bringing a local presence to the leading cloud database platform. The event also featured presentations from customers and partners showcasing their experiences with MongoDB Atlas. Additionally, the blog post discusses three startups that have qualified for MongoDB's AI Innovators Program, including Cloneable, ExTrac, and CetoAI. These startups are using MongoDB Atlas to develop and deploy AI-powered solutions in various industries. The post concludes with an overview of MongoDB's Talent Sourcing team, highlighting the team's contributions to global hiring and the company's supportive work culture. The author, Garima Fulara, is a Senior Sourcer in the Corporate & Marketing department at MongoDB. She takes pride in her role in driving the company's growth by finding the right professionals for the right positions. The company has experienced significant expansion during her time there. The team looks for individuals with strong research skills and knowledge of LinkedIn Recruiter, particularly for niche roles and geographies. The interview process involves a sourcing test and interviews with various stakeholders. The rest of the interview rounds focus on culture, relationship-building skills, communication, and articulation. The company is currently hiring for several open roles on their Talent Sourcing team.

Read: https://www.mongodb.com/blog/post/cloud-strides-mongodb-local-auckland
Tarantool 2.11 LTS: Рассказываем про новые возможности администрирования и безопасности

Привет. Меня зовут Владимир Салыкин, я директор по продукту Tarantool. Мы выпустили Tarantool 2.11 LTS — стабильный релиз с долгим циклом поддержки. Работа над ним началась в мае 2022 года, и сейчас релиз включает в себя более тысячи коммитов от 42 авторов. Мы все много работали над решением основных проблем с обслуживанием и администрированием, с которыми ранее сталкивались наши пользователи.

В этой статье мы хотим рассказать про ключевые фичи, которые были добавлены в релизе.


Читать: https://habr.com/ru/companies/vk/articles/739134/
1
Как вывести миллиарды ключей из ScyllaDB

Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...

Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.


Читать: https://habr.com/ru/companies/stm_labs/articles/743276/
Погрузиться в Redis — материалы, которые помогут начать работу

Как начать работу с Redis командам, у которых мало опыта в администрировании СУБД? Можно попробовать создать кластеры Redis в облаке. Или же сначала «вкатиться» в тему и поближе познакомиться с экосистемой — на этот случай мы подготовили подборку литературы. В списке — свежие издания и классика, которую стоит прочитать каждому начинающему Redis-разработчику.

Кому будет интересно: например, вам нужна среда для разработки программ и приложений, или поддержки работы интернет-магазинов с их пиковыми нагрузками во время сезонных или тематических акций. Статья также пригодится компаниям с большим количеством офисов в разных регионах и командам, которым необходимо обрабатывать транзакции в режиме реального времени.


Читать: https://habr.com/ru/companies/cloud_mts/articles/739952/
Отвечаю на вопросы после аварии


Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)

Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.

Но давайте обо всём по порядку.

— Сколько клиентов пострадало?

— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.

Читать: https://habr.com/ru/companies/ruvds/articles/743826/
Выбор структур данных для самописного текстового редактора



Программирование текстовых редакторов может быть очень интересной и сложной задачей. Типы задач, которые должны решать текстовые редакторы, варьируются от тривиальных до невероятно трудных. Недавно я занимался переработкой внутренних структур данных редактора, над которым я работаю. В частности, самой фундаментальной для любого текстового редактора структуры данных: текста.
Ресурсы

Прежде чем мы приступим к разбору того, что я сделал, важно упомянуть очень полезные ресурсы для создания собственного текстового редактора:
* Build Your Own Text Editor — наверно, самый фундаментальный пост о создании текстового редактора с нуля, который я видел. Это превосходный туториал на случай, если вы хотите начать писать собственный текстовый редактор. Стоит заметить, что в редакторе из этого туториала в качестве внутренней структуры для текста используется, по сути, вектор строк.
* Text Editor: Data Structures — отличный обзор множества структур данных, которые можно использовать при реализации текстового редактора. (Спойлер: как минимум одна из них будет рассмотрена в моём посте)
* Плейлист Ded (Text Editor) на YouTube — это потрясающая серия, в которой @tscoding фиксирует процесс создания с нуля текстового редактора. Эти видео стали для меня источником вдохновения.
Зачем?

Если в сети есть так много хороших ресурсов о создании собственного текстового редактора (не говоря уже о том, что уже существует множество феноменальных текстовых редакторов), то зачем я это пишу? На то есть несколько причин:
1. Я хотел заняться проектом, непохожим ни на один свой прошлый.
2. Я хотел создать инструмент, которым смогу пользоваться.
3. Мне всегда хотелось глубже разобраться с созданием собственных структур данных.


Читать: https://habr.com/ru/companies/ruvds/articles/743954/