DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Записки оптимизатора 1С (Часть 3). Распределенные взаимоблокировки в 1С системах

Назрела небольшая статья, скорее даже пост о распределенных взаимоблокировках в системах 1С. Мы периодически сталкиваемся с такими ситуациями у наших заказчиков и хочется поделиться с сообществом информацией, т.к. далеко не все могут увидеть и правильно интерпретировать природу таких блокировок.


Читать: https://habr.com/ru/companies/softpoint/articles/765774/
Подкрепляем полезные привычки

Этот текст (не осмелюсь назвать "статьей") стал побочным продуктом моего "грандиозного" замысла -- попытки пересказать понятным языком содержание одного из эпизодов The Huberman Lab podcast, который "Как ставить цели и достигать их". И, как все прочие эпизоды, он начинается со слов "Welcome to the Huberman Lab podcast where we discuss science and science-based tools for everyday life. "

Мне захотелось провести на себе эксперимент, проверить, сработают ли советы и "science-based tools" от Andrew Huberman в моей повседневной жизни, жизни простого и заурядного человека. Была выбрана цель -- ""Написать статью 'Как ставить цели и достигать их'" и дан старт.

К сожалению (или к счастью), кавалерийским наскоком взять крепость не удалось: любопытство и занудство, умудряющиеся много лет во мне уживаться, не позволили просто "взять и пересказать эпизод". Я пытался (и до сих пор пытаюсь) разобраться в непонятных мне терминах, концепциях и взаимосвязанных процессах. Их, непонятных, оказалось очень много. Так много, что через две недели ежедневного труда я решил: для начала хватит и статьи о роли в процессе достижения цели концепта "Random Intermittent Reinforcement". Потом появились мысли, что и здесь стоит умерить пыл и ужаться до описания роли Reward Prediction Error в Random Intermittent Reinforcement. С чем я себя и поздравляю. И периодически задаю вопрос: интересно, будет ли момент, когда попробую "сделать отдельную статью" из одного абзаца? Из одного предложения? Слова? Ответов нет. Двигаюсь вперед, а там -- как получится.


Читать: https://habr.com/ru/articles/764838/
Мнение: почему в 2023-м глупо все еще не перейти на КЭДО

Иногда я слышу от предпринимателей, что держать все на бумаге надежнее. Обычно так они говорят до первого случая, пока кадровик не потеряет документы. Или пока не затопят соседи. Или не прилетит штраф за неправильное хранение бумаг. Я собрал вредные мифы об электронном документообороте и уничтожил их в статье.

Меня зовут Рафаэль Туляков, я руководитель направления КЭДО в компании «Бизнес легко». Мы внедряем сервисы для бизнеса: облачные кассы, инструменты для бухгалтеров, автоматизацию учета.

Наша команда перевела на КЭДО уже десятки компаний, и об этом не пожалел пока ни один бухгалтер, менеджер или директор. Даже наоборот: документы больше не теряются, не рвутся и не заливаются кофе, всегда подписываются в срок. Рассказываю, какие страхи останавливают руководителей компаний и почему эти предубеждения кажутся мне глупыми.


Читать: https://habr.com/ru/articles/765832/
Unveiling the Power of Oracle Globally Distributed Database: Oracle Database 23c Advancements

This blog sets the stage for exploring these enhancements, offering insights into how Oracle Database 23c elevates the capabilities of the Oracle Globally Distributed Database, propelling it into a new era of excellence.

Read: https://blogs.oracle.com/database/post/oracle-globally-distributed-database-23c
Виртуализация мечты: работаем над дорожной картой развития систем виртуализации

Уважаемые Хабровчане!

Как вы, наверняка, знаете, производителей отечественных систем виртуализации существенно больше, чем производителей СХД. Навскидку, более 30 российских компаний занимаются данным классом продуктов, с различными подходами к разработке и продаже данных решений. Однако, на просторах рунета не утихают горячие споры о том, что не хватает даже многих базовых функций виртуализации, не говоря уже о каких-то «вишенках на торте», обсуждаемых на ежегодных форумах в Каталонии.

Поэтому мы предлагаем пройтись новым «хаброопросом» по базовым функциям систем виртуализации, которые жизненно необходимы вам, нашим текущим или потенциальным заказчикам.

Среднее время прохождения - 5 минут, а сам опрос находится по ссылке.


Читать: https://habr.com/ru/companies/aerodisk/articles/766214/
Бесшовный апгрейд ПО для системы хранения данных: как организовать и улучшить

Любое программное обеспечение необходимо обновлять — ПО для систем хранения данных (СХД) не исключение. Логика апгрейда в СХД не тривиальна. В системе есть несколько контроллеров хранения, обновлять которые нужно последовательно, учитывая все возможные риски — потерю отказоустойчивости, конфликт версий и другие. При этом даунтайм сервиса или миграция данных на другую систему — варианты, которые не устроят ни одну компанию.

Я Владимир Приходько, руководитель отдела разработки подсистем управления в компании YADRO. Вместе с командой мы развиваем пользовательский функционал СХД. В тексте расскажу о специфике бесшовного обновления ПО в системах хранения данных и дам рекомендации, как выстроить этот процесс с учетом лучших практик. Все описанные подходы мы с командой успешно используем в обновлении СХД TATLIN.UNIFIED.


Читать: https://habr.com/ru/companies/yadro/articles/764350/
Keycloak ― построение отказоустойчивого кластера

Разворачивая у нас в Туту Keycloak мы столкнулись с необходимостью создания отказоустойчивого кластера. И если с БД всё более менее понятно, то вот реализовать корректный обмен кэшами между Keycloak оказалось довольно непростой для настройки задачей.

Мы упёрлись в то, что в документации Keycloak описано как создать кластер используя UDP мультикаст. И это работает, если у вас все ноды будут находиться в пределах одного сегмента сети (например ЦОДа). Если с этим сегментом что-то случится, то мы лишимся Keycloak. Нас это не устраивало.
Необходимо сделать так, чтобы ноды приложения были географически распределены между ЦОД, находясь в разных сегментах сети.
В этом случае в документации Keycloak довольно неочевидно предлагается создать свой собственный кастомный JGroups транспортный стэк, чтобы указать все необходимые вам параметры.

Бонусом приложу shell скрипт, написанный для Consul, который предназначен для снятия анонсов путём выключения bird и попытки восстановления приложения.


Читать: https://habr.com/ru/companies/tuturu/articles/766284/
Building AI with MongoDB: How Metaphor Data Uses Atlas Vector Search to Change the World Through Data



Read: https://www.mongodb.com/blog/post/building-ai-mongodb-how-metaphor-data-uses-atlas-vector-search-change-world-through-data
NAS и SAN: основные характеристики, принцип работы и применение решений

Сетевое хранилище (NAS) и сети хранения данных (SAN) — это два ключевых подхода к организации хранилища в сети, которые позволяют пользователям обмениваться данными независимо от их местоположения, что особенно актуально для работы геораспределенных команд.

Несмотря на то, что оба метода предоставляют быстрый и экономичный способ управления большими объемами данных, они отличаются друг от друга. В этом материале мы рассмотрим основные характеристики NAS и SAN, принцип работы решений и применение каждого из них.


Читать: https://habr.com/ru/companies/itglobalcom/articles/766554/
Multi-Cloud Data Resilience with MongoDB Atlas



Read: https://www.mongodb.com/blog/post/multi-cloud-data-resilience-mongodb-atlas
Реляционные системы управления базами данных становятся проблемой. Что с этим делать?

С реляционными базами данных я знаком очень давно, с конца 90-х. Мои первые шаги в мире компьютеров и программирования связанны именно с ними. Реляционным БД было отведено особое место в моей образовательной программе и стажировке на инженера-программиста. Они преследовали меня на протяжении всей моей карьеры. Я буквально провалился на самое дно кроличьей норы реляционных систем управления базами данных (РСУБД) – и до сих пор люблю их.

За годы работы я испробовал практически все РСУБД, а их попадалось мне немало: MySQL, Postgres, Oracle, Microsoft SQL Server, DBase, Access, SQLite, DB2, MariaDB, AWS RDS, Azure SQL, Google Cloud SQL. Нельзя любить РСУБД, если не любишь SQL, а это отдельная вселенная. И не все SQL одинаковы. Есть MySQL со своим собственным жаргоном, есть T-SQL от Microsoft и всемирно известный PL/SQL от Oracle. Наверное, не стоит упоминать, что все они несовместимы друг с другом.


Читать: https://habr.com/ru/companies/ispmanager/articles/766608/
Swirl для анализа корпоративных данных: как мы использовали ИИ-поиск и что из этого вышло

При решении задачи поиска мы столкнулись с проблемой интеграции разнородных источников данных и обеспечения максимальной релевантности результатов. У нас накопилось много разрозненной информации в разных форматах и системах, что сильно осложняло поиск.

В итоге мы решили попробовать Swirl - поисковую платформу с открытым исходным кодом, созданную на Python и Django, позволяющую объединить поиск в базах данных (SQL и NoSQL), облачных сервисах, поисковых провайдерах, хранилищах данных и таких инструментах, как Miro, Jira, GitHub и т.д., а на выходе получить результаты с аналитикой от ChatGPT.

Для разработчиков и компаний, которые также хотят оптимизировать и упростить поиск, эта информация может быть полезна. Приглашаем познакомиться!


Читать: https://habr.com/ru/companies/bothub/articles/766582/
Реляционные системы управления базами данных становятся проблемой. Что с этим делать?

С реляционными базами данных я знаком очень давно, с конца 90-х. Мои первые шаги в мире компьютеров и программирования связанны именно с ними. Реляционным БД было отведено особое место в моей образовательной программе и стажировке на инженера-программиста. Они преследовали меня на протяжении всей моей карьеры. Я буквально провалился на самое дно кроличьей норы реляционных систем управления базами данных (РСУБД) – и до сих пор люблю их.

За годы работы я испробовал практически все РСУБД, а их попадалось мне немало: MySQL, Postgres, Oracle, Microsoft SQL Server, DBase, Access, SQLite, DB2, MariaDB, AWS RDS, Azure SQL, Google Cloud SQL. Нельзя любить РСУБД, если не любишь SQL, а это отдельная вселенная. И не все SQL одинаковы. Есть MySQL со своим собственным жаргоном, есть T-SQL от Microsoft и всемирно известный PL/SQL от Oracle. Наверное, не стоит упоминать, что все они несовместимы друг с другом.


Читать: https://habr.com/ru/companies/ispmanager/articles/766608/
ГОСТ 57580: как финансовым компаниям защищать критические данные

Сегодня обсудим нюансы работы с критически важными данными финансовых организаций:

какие стандарты регулируют применение средств защиты информации;

как банки могут хранить и передавать данные, минимизируя риски;

на что обратить внимание, работая с облаком.

Поделимся собственным опытом аттестации средств информационной безопасности по требованиям законодательства и регуляторов.


Читать: https://habr.com/ru/companies/cloud_mts/articles/766572/
Солидные SSD-диски и эпичные процессоры: что подготовил рынок серверного железа в сентябре

За окном уже вовсю опадает листва, за рубежом — появляются железные новинки, а я — продолжаю о них рассказывать. К слову, вендоры выпустили много интересного в сентябре. Среди новинок — процессоры AMD, SSD-диски, свежие серверные платформы и другое.

Уже присматриваете железо для обновления своих серверов? Тогда приглашаю под кат!

Читать: https://habr.com/ru/companies/selectel/articles/766168/
Boost the Accuracy of ECommerce Search Results with Atlas Vector Search

The article discusses the use of Atlas Vector Search, an AI-driven data mining tool, to improve the accuracy and efficiency of eCommerce search results. Traditional keyword matching search methods are inadequate for handling large and complex datasets in eCommerce. Vector search, on the other hand, leverages AI algorithms to understand relationships between data points and retrieve semantically similar items to the user's query. The article provides examples of different types of queries that can benefit from vector search, such as visual similarity queries, contextual queries, natural language queries, and complementary product queries. It also highlights the challenges associated with implementing vector search and how MongoDB Atlas Vector Search can help overcome those challenges. The article concludes by emphasizing the importance of integrating vector search functionalities with a performant and reliable platform, like MongoDB, to enhance the customer experience in eCommerce. The text discusses the use of MongoDB Atlas, a data platform, for achieving high levels of resilience and availability. MongoDB Atlas is available on all three major public cloud platforms (AWS, Microsoft Azure, and Google Cloud) and allows for the distribution of data across multiple clouds. By utilizing Atlas, businesses can ensure that critical applications have high service levels with minimal latency. In the event of an outage, the self-healing process kicks in automatically without manual intervention. The use of multi-cloud clusters provides flexibility for adhering to data sovereignty requirements and mitigates the risk of system disruptions. MongoDB Atlas also offers geo-resilience by providing access to multiple regions. The platform ensures maximum uptime and data resilience through proactive measures such as distributing replica set members across different cloud availability zones and replicating data across geographic boundaries. The use of multi-cloud clusters gives organizations access to the tools and services of different cloud providers and enhances cross-cloud resilience. The text also mentions the availability of resources and documentation for learning more about MongoDB Atlas and deploying multi-cloud clusters.

Read: https://www.mongodb.com/blog/post/boost-accuracy-ecommerce-search-results-atlas-vector-search
Ways to Integrate MongoDB Atlas in Your DevOps Processes

The text discusses various ways to integrate MongoDB Atlas into DevOps processes. It highlights the different tools and methods available for automating the deployment and management of Atlas clusters, including the Atlas Administration API, GoSDK client, MongoDB Atlas CLI, and Infrastructure as Code (IaC) integrations like AWS CloudFormation and HashiCorp Terraform. It also mentions the Atlas Kubernetes Operator for seamless integration with Kubernetes. The text emphasizes the benefits of using MongoDB Atlas to distribute data across multiple clouds and regions for high service levels, resilience, and availability. It explains the features and advantages of multi-cloud clusters in terms of data replication, workload isolation, and cross-cloud migration options. Additionally, the text briefly touches on the concept of vector search and its application in improving the efficiency and accuracy of e-commerce search results by leveraging AI-driven algorithms. This text discusses the use of vector embeddings for search and the challenges associated with implementing a vector search solution. It introduces MongoDB Atlas Vector Search as a tool that helps overcome these challenges by simplifying the workload and adding context to application search functionalities. The text also highlights the benefits of storing vector encoding and generating search indexes based on those vectors, as well as the ability to create triggers that automatically retrieve embedding data. It emphasizes the importance of understanding consumer behavior and categorizing product catalogs and user data according to different criteria. The document model is mentioned as a flexible way to capture and organize data, allowing for dynamic schema evolution. The text suggests that retailers can create a comprehensive and dynamic system by embedding different data types and leveraging the document model, leading to personalized search experiences and enhanced customer engagement in the ecommerce space. It emphasizes that retailers have valuable customer data and should utilize enabling technologies like Atlas Vector Search to improve customer experiences and make data-driven decisions. The text concludes by stating that integrating vector search functionalities with a reliable platform is essential for offering unparalleled shopping experiences in the future. It provides links for further learning and access to a developer guide and GitHub repository explaining the code for deploying an AI-enhanced ecommerce search solution.

Read: https://www.mongodb.com/blog/post/ways-integrate-mongodb-atlas-your-devops-processes
1
Enhanced Resource Usage Tracking in Oracle Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer

Blog describes resource usage tracking across Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer

Read: https://blogs.oracle.com/database/post/enhanced-resource-usage-tracking-in-adbd-and-adbcc
Как мы перевезли на новый сайт 700 тысяч рецептов и 6 миллионов фото пирогов, сырников и овсяноблинов

На рынке частой историей является поглощение глобальными игроками локальных интернет-сервисов и ресурсов, которые дублируют их функции. Так произошло в 2017 году и с парой «Овкусе» и Cookpad, когда последний решил зайти в русскоязычный сегмент. Тогда слияние произошло успешно: российский проект был куплен и органично влился в инфраструктуру кулинарного ресурса японского происхождения, где активно развивался все эти годы. Ровно до момента, пока головной офис не принял решение уйти из региона, полностью удалив русскоязычную часть Cookpad вместе со всем имеющимся контентом.

Сегодня мы расскажем о том, как нашей команде пришлось переносить данные целого проекта но новую платформу и с чем нам пришлось столкнуться при переезде 6 миллионов фото блюд из 700 тысяч рецептов, которые создали пользователи платформы за 15 лет.


Читать: https://habr.com/ru/companies/itsumma/articles/763536/
Главное из книги Fundamentals of Data engineering — фундаментального труда о дата-инжиниринге

Команда VK Cloud перевела статью, в которой автор кратко излагает основные мысли книги Джо Рейса и Мэтта Хаусли Fundamentals of Data engineering. Здесь приводится краткий конспект глав и самые важные моменты, которые полезно знать любому человеку, работающему с данными.


Читать: https://habr.com/ru/companies/vk/articles/766530/
Хранение данных: как минимизировать риски с помощью DCAP

Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.


Читать: https://habr.com/ru/companies/bastion/articles/767052/