Солидные SSD-диски и эпичные процессоры: что подготовил рынок серверного железа в сентябре
За окном уже вовсю опадает листва, за рубежом — появляются железные новинки, а я — продолжаю о них рассказывать. К слову, вендоры выпустили много интересного в сентябре. Среди новинок — процессоры AMD, SSD-диски, свежие серверные платформы и другое.
Уже присматриваете железо для обновления своих серверов? Тогда приглашаю под кат!
Читать: https://habr.com/ru/companies/selectel/articles/766168/
За окном уже вовсю опадает листва, за рубежом — появляются железные новинки, а я — продолжаю о них рассказывать. К слову, вендоры выпустили много интересного в сентябре. Среди новинок — процессоры AMD, SSD-диски, свежие серверные платформы и другое.
Уже присматриваете железо для обновления своих серверов? Тогда приглашаю под кат!
Читать: https://habr.com/ru/companies/selectel/articles/766168/
Boost the Accuracy of ECommerce Search Results with Atlas Vector Search
The article discusses the use of Atlas Vector Search, an AI-driven data mining tool, to improve the accuracy and efficiency of eCommerce search results. Traditional keyword matching search methods are inadequate for handling large and complex datasets in eCommerce. Vector search, on the other hand, leverages AI algorithms to understand relationships between data points and retrieve semantically similar items to the user's query. The article provides examples of different types of queries that can benefit from vector search, such as visual similarity queries, contextual queries, natural language queries, and complementary product queries. It also highlights the challenges associated with implementing vector search and how MongoDB Atlas Vector Search can help overcome those challenges. The article concludes by emphasizing the importance of integrating vector search functionalities with a performant and reliable platform, like MongoDB, to enhance the customer experience in eCommerce. The text discusses the use of MongoDB Atlas, a data platform, for achieving high levels of resilience and availability. MongoDB Atlas is available on all three major public cloud platforms (AWS, Microsoft Azure, and Google Cloud) and allows for the distribution of data across multiple clouds. By utilizing Atlas, businesses can ensure that critical applications have high service levels with minimal latency. In the event of an outage, the self-healing process kicks in automatically without manual intervention. The use of multi-cloud clusters provides flexibility for adhering to data sovereignty requirements and mitigates the risk of system disruptions. MongoDB Atlas also offers geo-resilience by providing access to multiple regions. The platform ensures maximum uptime and data resilience through proactive measures such as distributing replica set members across different cloud availability zones and replicating data across geographic boundaries. The use of multi-cloud clusters gives organizations access to the tools and services of different cloud providers and enhances cross-cloud resilience. The text also mentions the availability of resources and documentation for learning more about MongoDB Atlas and deploying multi-cloud clusters.
Read: https://www.mongodb.com/blog/post/boost-accuracy-ecommerce-search-results-atlas-vector-search
The article discusses the use of Atlas Vector Search, an AI-driven data mining tool, to improve the accuracy and efficiency of eCommerce search results. Traditional keyword matching search methods are inadequate for handling large and complex datasets in eCommerce. Vector search, on the other hand, leverages AI algorithms to understand relationships between data points and retrieve semantically similar items to the user's query. The article provides examples of different types of queries that can benefit from vector search, such as visual similarity queries, contextual queries, natural language queries, and complementary product queries. It also highlights the challenges associated with implementing vector search and how MongoDB Atlas Vector Search can help overcome those challenges. The article concludes by emphasizing the importance of integrating vector search functionalities with a performant and reliable platform, like MongoDB, to enhance the customer experience in eCommerce. The text discusses the use of MongoDB Atlas, a data platform, for achieving high levels of resilience and availability. MongoDB Atlas is available on all three major public cloud platforms (AWS, Microsoft Azure, and Google Cloud) and allows for the distribution of data across multiple clouds. By utilizing Atlas, businesses can ensure that critical applications have high service levels with minimal latency. In the event of an outage, the self-healing process kicks in automatically without manual intervention. The use of multi-cloud clusters provides flexibility for adhering to data sovereignty requirements and mitigates the risk of system disruptions. MongoDB Atlas also offers geo-resilience by providing access to multiple regions. The platform ensures maximum uptime and data resilience through proactive measures such as distributing replica set members across different cloud availability zones and replicating data across geographic boundaries. The use of multi-cloud clusters gives organizations access to the tools and services of different cloud providers and enhances cross-cloud resilience. The text also mentions the availability of resources and documentation for learning more about MongoDB Atlas and deploying multi-cloud clusters.
Read: https://www.mongodb.com/blog/post/boost-accuracy-ecommerce-search-results-atlas-vector-search
Ways to Integrate MongoDB Atlas in Your DevOps Processes
The text discusses various ways to integrate MongoDB Atlas into DevOps processes. It highlights the different tools and methods available for automating the deployment and management of Atlas clusters, including the Atlas Administration API, GoSDK client, MongoDB Atlas CLI, and Infrastructure as Code (IaC) integrations like AWS CloudFormation and HashiCorp Terraform. It also mentions the Atlas Kubernetes Operator for seamless integration with Kubernetes. The text emphasizes the benefits of using MongoDB Atlas to distribute data across multiple clouds and regions for high service levels, resilience, and availability. It explains the features and advantages of multi-cloud clusters in terms of data replication, workload isolation, and cross-cloud migration options. Additionally, the text briefly touches on the concept of vector search and its application in improving the efficiency and accuracy of e-commerce search results by leveraging AI-driven algorithms. This text discusses the use of vector embeddings for search and the challenges associated with implementing a vector search solution. It introduces MongoDB Atlas Vector Search as a tool that helps overcome these challenges by simplifying the workload and adding context to application search functionalities. The text also highlights the benefits of storing vector encoding and generating search indexes based on those vectors, as well as the ability to create triggers that automatically retrieve embedding data. It emphasizes the importance of understanding consumer behavior and categorizing product catalogs and user data according to different criteria. The document model is mentioned as a flexible way to capture and organize data, allowing for dynamic schema evolution. The text suggests that retailers can create a comprehensive and dynamic system by embedding different data types and leveraging the document model, leading to personalized search experiences and enhanced customer engagement in the ecommerce space. It emphasizes that retailers have valuable customer data and should utilize enabling technologies like Atlas Vector Search to improve customer experiences and make data-driven decisions. The text concludes by stating that integrating vector search functionalities with a reliable platform is essential for offering unparalleled shopping experiences in the future. It provides links for further learning and access to a developer guide and GitHub repository explaining the code for deploying an AI-enhanced ecommerce search solution.
Read: https://www.mongodb.com/blog/post/ways-integrate-mongodb-atlas-your-devops-processes
The text discusses various ways to integrate MongoDB Atlas into DevOps processes. It highlights the different tools and methods available for automating the deployment and management of Atlas clusters, including the Atlas Administration API, GoSDK client, MongoDB Atlas CLI, and Infrastructure as Code (IaC) integrations like AWS CloudFormation and HashiCorp Terraform. It also mentions the Atlas Kubernetes Operator for seamless integration with Kubernetes. The text emphasizes the benefits of using MongoDB Atlas to distribute data across multiple clouds and regions for high service levels, resilience, and availability. It explains the features and advantages of multi-cloud clusters in terms of data replication, workload isolation, and cross-cloud migration options. Additionally, the text briefly touches on the concept of vector search and its application in improving the efficiency and accuracy of e-commerce search results by leveraging AI-driven algorithms. This text discusses the use of vector embeddings for search and the challenges associated with implementing a vector search solution. It introduces MongoDB Atlas Vector Search as a tool that helps overcome these challenges by simplifying the workload and adding context to application search functionalities. The text also highlights the benefits of storing vector encoding and generating search indexes based on those vectors, as well as the ability to create triggers that automatically retrieve embedding data. It emphasizes the importance of understanding consumer behavior and categorizing product catalogs and user data according to different criteria. The document model is mentioned as a flexible way to capture and organize data, allowing for dynamic schema evolution. The text suggests that retailers can create a comprehensive and dynamic system by embedding different data types and leveraging the document model, leading to personalized search experiences and enhanced customer engagement in the ecommerce space. It emphasizes that retailers have valuable customer data and should utilize enabling technologies like Atlas Vector Search to improve customer experiences and make data-driven decisions. The text concludes by stating that integrating vector search functionalities with a reliable platform is essential for offering unparalleled shopping experiences in the future. It provides links for further learning and access to a developer guide and GitHub repository explaining the code for deploying an AI-enhanced ecommerce search solution.
Read: https://www.mongodb.com/blog/post/ways-integrate-mongodb-atlas-your-devops-processes
❤1
Enhanced Resource Usage Tracking in Oracle Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer
Blog describes resource usage tracking across Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer
Read: https://blogs.oracle.com/database/post/enhanced-resource-usage-tracking-in-adbd-and-adbcc
Blog describes resource usage tracking across Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer
Read: https://blogs.oracle.com/database/post/enhanced-resource-usage-tracking-in-adbd-and-adbcc
Oracle
Enhanced Resource Usage Tracking in Oracle Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer
Blog describes resource usage tracking across Autonomous Database on Dedicated Exadata Infrastructure and Cloud@Customer
Как мы перевезли на новый сайт 700 тысяч рецептов и 6 миллионов фото пирогов, сырников и овсяноблинов
На рынке частой историей является поглощение глобальными игроками локальных интернет-сервисов и ресурсов, которые дублируют их функции. Так произошло в 2017 году и с парой «Овкусе» и Cookpad, когда последний решил зайти в русскоязычный сегмент. Тогда слияние произошло успешно: российский проект был куплен и органично влился в инфраструктуру кулинарного ресурса японского происхождения, где активно развивался все эти годы. Ровно до момента, пока головной офис не принял решение уйти из региона, полностью удалив русскоязычную часть Cookpad вместе со всем имеющимся контентом.
Сегодня мы расскажем о том, как нашей команде пришлось переносить данные целого проекта но новую платформу и с чем нам пришлось столкнуться при переезде 6 миллионов фото блюд из 700 тысяч рецептов, которые создали пользователи платформы за 15 лет.
Читать: https://habr.com/ru/companies/itsumma/articles/763536/
На рынке частой историей является поглощение глобальными игроками локальных интернет-сервисов и ресурсов, которые дублируют их функции. Так произошло в 2017 году и с парой «Овкусе» и Cookpad, когда последний решил зайти в русскоязычный сегмент. Тогда слияние произошло успешно: российский проект был куплен и органично влился в инфраструктуру кулинарного ресурса японского происхождения, где активно развивался все эти годы. Ровно до момента, пока головной офис не принял решение уйти из региона, полностью удалив русскоязычную часть Cookpad вместе со всем имеющимся контентом.
Сегодня мы расскажем о том, как нашей команде пришлось переносить данные целого проекта но новую платформу и с чем нам пришлось столкнуться при переезде 6 миллионов фото блюд из 700 тысяч рецептов, которые создали пользователи платформы за 15 лет.
Читать: https://habr.com/ru/companies/itsumma/articles/763536/
Главное из книги Fundamentals of Data engineering — фундаментального труда о дата-инжиниринге
Команда VK Cloud перевела статью, в которой автор кратко излагает основные мысли книги Джо Рейса и Мэтта Хаусли Fundamentals of Data engineering. Здесь приводится краткий конспект глав и самые важные моменты, которые полезно знать любому человеку, работающему с данными.
Читать: https://habr.com/ru/companies/vk/articles/766530/
Команда VK Cloud перевела статью, в которой автор кратко излагает основные мысли книги Джо Рейса и Мэтта Хаусли Fundamentals of Data engineering. Здесь приводится краткий конспект глав и самые важные моменты, которые полезно знать любому человеку, работающему с данными.
Читать: https://habr.com/ru/companies/vk/articles/766530/
Хранение данных: как минимизировать риски с помощью DCAP
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Хранение данных: как минимизировать риски с помощью DCAP
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Create and Customize your Own Billing Dashboard with Atlas Charts
Read: https://www.mongodb.com/blog/post/create-customize-your-own-billing-dashboard-atlas-charts
Read: https://www.mongodb.com/blog/post/create-customize-your-own-billing-dashboard-atlas-charts
MongoDB Provider for Entity Framework Core Now Available in Public Preview
Read: https://www.mongodb.com/blog/post/mongodb-provider-entity-framework-core-now-available-public-preview
Read: https://www.mongodb.com/blog/post/mongodb-provider-entity-framework-core-now-available-public-preview
How to Avoid GenAI Sprawl and Complexity
Read: https://www.mongodb.com/blog/post/how-avoid-genai-sprawl-complexity
Read: https://www.mongodb.com/blog/post/how-avoid-genai-sprawl-complexity
New Backported Features Available in MariaDB Enterprise Server Releases 10.4-10.6
Read: https://mariadb.com/?p=37685
Read: https://mariadb.com/?p=37685
Samsung SDS Cuts Database Costs in Half by Moving from Oracle to MariaDB
Read: https://mariadb.com/?p=37695
Read: https://mariadb.com/?p=37695
How to configure Oracle Database API for MongoDB for Autonomous Databases with private endpoint
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing security.
This blog post discusses the steps to enable Mongo API for Autonomous Databases configured with private endpoints.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-configure-mongo-api-for-adb-with-pe
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing security.
This blog post discusses the steps to enable Mongo API for Autonomous Databases configured with private endpoints.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-configure-mongo-api-for-adb-with-pe
Oracle
How to configure Oracle Database API for MongoDB for Autonomous Databases with private endpoint
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing…
TON Storage – прорыв в Web3 или провал?
TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.
Напомню, что работа TON (Telegram Open Network) на несколько лет была запрещена американским, а проект был передан сообществу и переименован в The Open Network.
TON Storage необходим в блокчейн-экосистеме как дешевый способ хранения больших файлов. Хранение файлов непосредственно в блокчейне будет очень дорогим, а потребность в обмене большими файлами между пользователями блокчейна существует. Например, NFT создаются не только на основе изображений, но и музыки и видео. И все эти данные нужно где-то хранить.
Читать: https://habr.com/ru/articles/767214/
TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.
Напомню, что работа TON (Telegram Open Network) на несколько лет была запрещена американским, а проект был передан сообществу и переименован в The Open Network.
TON Storage необходим в блокчейн-экосистеме как дешевый способ хранения больших файлов. Хранение файлов непосредственно в блокчейне будет очень дорогим, а потребность в обмене большими файлами между пользователями блокчейна существует. Например, NFT создаются не только на основе изображений, но и музыки и видео. И все эти данные нужно где-то хранить.
Читать: https://habr.com/ru/articles/767214/
ЦЕРН увеличил объем своего хранилища до первого в истории эксабайта. Как хранятся данные Большого адронного коллайдера
Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения между частицами, длящиеся менее 25 наносекунд.
Каждое событие содержит в себе примерно 1 мегабайт данных. Это значит, что в систему во время работы коллайдера входит примерно 40 терабайт данных. В секунду! Абсолютно фантастический объем информации, ведь петабайт набирается примерно за полминуты. Около 72 000 средних жестких дисков заполнялись бы каждый час.
Обрабатывать всё это на такой же скорости не представляется возможным; для анализа подобных объемов данных после окончания работы установки требуются годы. Значительная часть отфильтровывается еще на этапе сбора, на что тоже уходят огромные вычислительные ресурсы. Но всё-таки остальную часть информации нужно где-то хранить. Для этого европейская организация по ядерным исследованиям (ЦЕРН) содержит самый большой ЦОД в мире.
Читать: https://habr.com/ru/companies/first/articles/767546/
Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения между частицами, длящиеся менее 25 наносекунд.
Каждое событие содержит в себе примерно 1 мегабайт данных. Это значит, что в систему во время работы коллайдера входит примерно 40 терабайт данных. В секунду! Абсолютно фантастический объем информации, ведь петабайт набирается примерно за полминуты. Около 72 000 средних жестких дисков заполнялись бы каждый час.
Обрабатывать всё это на такой же скорости не представляется возможным; для анализа подобных объемов данных после окончания работы установки требуются годы. Значительная часть отфильтровывается еще на этапе сбора, на что тоже уходят огромные вычислительные ресурсы. Но всё-таки остальную часть информации нужно где-то хранить. Для этого европейская организация по ядерным исследованиям (ЦЕРН) содержит самый большой ЦОД в мире.
Читать: https://habr.com/ru/companies/first/articles/767546/
👍2
Как организовать облачную DR-площадку для крупного бизнеса
На стабильную работу ИТ-инфраструктуры компании в локальном дата-центре влияет много факторов: резервирование по схеме N+1, работа инженерных систем, экспертиза технических специалистов. Однако есть и внешние. К ним относится отказ оборудования, природные катаклизмы и геополитические конфликты.
В статье мы рассказали, как специалисты ITGLOBAL.COM запустили резервную площадку для восстановления данных после сбоев (Disaster Recovery) в облаке для ГК «Интерлизинг». А на YouTube выпустили видео с интервью участников проекта.
Читать: https://habr.com/ru/companies/itglobalcom/articles/767666/
На стабильную работу ИТ-инфраструктуры компании в локальном дата-центре влияет много факторов: резервирование по схеме N+1, работа инженерных систем, экспертиза технических специалистов. Однако есть и внешние. К ним относится отказ оборудования, природные катаклизмы и геополитические конфликты.
В статье мы рассказали, как специалисты ITGLOBAL.COM запустили резервную площадку для восстановления данных после сбоев (Disaster Recovery) в облаке для ГК «Интерлизинг». А на YouTube выпустили видео с интервью участников проекта.
Читать: https://habr.com/ru/companies/itglobalcom/articles/767666/