Хранение данных: как минимизировать риски с помощью DCAP
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания ответственных лиц за нарушения в отношении данных. Например, в Совете Федерации этим летом начали обсуждать закон, который предусматривает лишение свободы сроком до 10 лет и многомиллионные штрафы. Защита данных — тема обширная, выходящая за рамки статьи, поэтому сегодня я расскажу лишь об одном из инструментов, помогающих избежать некоторых рисков, связанных с хранением неструктурированных данных — о DCAP-системе.
Читать: https://habr.com/ru/companies/bastion/articles/767052/
Create and Customize your Own Billing Dashboard with Atlas Charts
Read: https://www.mongodb.com/blog/post/create-customize-your-own-billing-dashboard-atlas-charts
Read: https://www.mongodb.com/blog/post/create-customize-your-own-billing-dashboard-atlas-charts
MongoDB Provider for Entity Framework Core Now Available in Public Preview
Read: https://www.mongodb.com/blog/post/mongodb-provider-entity-framework-core-now-available-public-preview
Read: https://www.mongodb.com/blog/post/mongodb-provider-entity-framework-core-now-available-public-preview
How to Avoid GenAI Sprawl and Complexity
Read: https://www.mongodb.com/blog/post/how-avoid-genai-sprawl-complexity
Read: https://www.mongodb.com/blog/post/how-avoid-genai-sprawl-complexity
New Backported Features Available in MariaDB Enterprise Server Releases 10.4-10.6
Read: https://mariadb.com/?p=37685
Read: https://mariadb.com/?p=37685
Samsung SDS Cuts Database Costs in Half by Moving from Oracle to MariaDB
Read: https://mariadb.com/?p=37695
Read: https://mariadb.com/?p=37695
How to configure Oracle Database API for MongoDB for Autonomous Databases with private endpoint
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing security.
This blog post discusses the steps to enable Mongo API for Autonomous Databases configured with private endpoints.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-configure-mongo-api-for-adb-with-pe
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing security.
This blog post discusses the steps to enable Mongo API for Autonomous Databases configured with private endpoints.
Read: https://blogs.oracle.com/datawarehousing/post/how-to-configure-mongo-api-for-adb-with-pe
Oracle
How to configure Oracle Database API for MongoDB for Autonomous Databases with private endpoint
Network security is a critical aspect of cloud environments, including Autonomous Database. With private endpoint, database traffic remains private and within Oracle Cloud Infrastructure, but also be safely accessed through bastion hosts without sacrificing…
TON Storage – прорыв в Web3 или провал?
TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.
Напомню, что работа TON (Telegram Open Network) на несколько лет была запрещена американским, а проект был передан сообществу и переименован в The Open Network.
TON Storage необходим в блокчейн-экосистеме как дешевый способ хранения больших файлов. Хранение файлов непосредственно в блокчейне будет очень дорогим, а потребность в обмене большими файлами между пользователями блокчейна существует. Например, NFT создаются не только на основе изображений, но и музыки и видео. И все эти данные нужно где-то хранить.
Читать: https://habr.com/ru/articles/767214/
TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.
Напомню, что работа TON (Telegram Open Network) на несколько лет была запрещена американским, а проект был передан сообществу и переименован в The Open Network.
TON Storage необходим в блокчейн-экосистеме как дешевый способ хранения больших файлов. Хранение файлов непосредственно в блокчейне будет очень дорогим, а потребность в обмене большими файлами между пользователями блокчейна существует. Например, NFT создаются не только на основе изображений, но и музыки и видео. И все эти данные нужно где-то хранить.
Читать: https://habr.com/ru/articles/767214/
ЦЕРН увеличил объем своего хранилища до первого в истории эксабайта. Как хранятся данные Большого адронного коллайдера
Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения между частицами, длящиеся менее 25 наносекунд.
Каждое событие содержит в себе примерно 1 мегабайт данных. Это значит, что в систему во время работы коллайдера входит примерно 40 терабайт данных. В секунду! Абсолютно фантастический объем информации, ведь петабайт набирается примерно за полминуты. Около 72 000 средних жестких дисков заполнялись бы каждый час.
Обрабатывать всё это на такой же скорости не представляется возможным; для анализа подобных объемов данных после окончания работы установки требуются годы. Значительная часть отфильтровывается еще на этапе сбора, на что тоже уходят огромные вычислительные ресурсы. Но всё-таки остальную часть информации нужно где-то хранить. Для этого европейская организация по ядерным исследованиям (ЦЕРН) содержит самый большой ЦОД в мире.
Читать: https://habr.com/ru/companies/first/articles/767546/
Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения между частицами, длящиеся менее 25 наносекунд.
Каждое событие содержит в себе примерно 1 мегабайт данных. Это значит, что в систему во время работы коллайдера входит примерно 40 терабайт данных. В секунду! Абсолютно фантастический объем информации, ведь петабайт набирается примерно за полминуты. Около 72 000 средних жестких дисков заполнялись бы каждый час.
Обрабатывать всё это на такой же скорости не представляется возможным; для анализа подобных объемов данных после окончания работы установки требуются годы. Значительная часть отфильтровывается еще на этапе сбора, на что тоже уходят огромные вычислительные ресурсы. Но всё-таки остальную часть информации нужно где-то хранить. Для этого европейская организация по ядерным исследованиям (ЦЕРН) содержит самый большой ЦОД в мире.
Читать: https://habr.com/ru/companies/first/articles/767546/
👍2
Как организовать облачную DR-площадку для крупного бизнеса
На стабильную работу ИТ-инфраструктуры компании в локальном дата-центре влияет много факторов: резервирование по схеме N+1, работа инженерных систем, экспертиза технических специалистов. Однако есть и внешние. К ним относится отказ оборудования, природные катаклизмы и геополитические конфликты.
В статье мы рассказали, как специалисты ITGLOBAL.COM запустили резервную площадку для восстановления данных после сбоев (Disaster Recovery) в облаке для ГК «Интерлизинг». А на YouTube выпустили видео с интервью участников проекта.
Читать: https://habr.com/ru/companies/itglobalcom/articles/767666/
На стабильную работу ИТ-инфраструктуры компании в локальном дата-центре влияет много факторов: резервирование по схеме N+1, работа инженерных систем, экспертиза технических специалистов. Однако есть и внешние. К ним относится отказ оборудования, природные катаклизмы и геополитические конфликты.
В статье мы рассказали, как специалисты ITGLOBAL.COM запустили резервную площадку для восстановления данных после сбоев (Disaster Recovery) в облаке для ГК «Интерлизинг». А на YouTube выпустили видео с интервью участников проекта.
Читать: https://habr.com/ru/companies/itglobalcom/articles/767666/
Потоковая обработка данных: анализ альтернативных решений
Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.
Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.
Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.
Читать: https://habr.com/ru/companies/itsumma/articles/767746/
Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.
Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.
Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.
Читать: https://habr.com/ru/companies/itsumma/articles/767746/
Building AI with MongoDB: Supercharging Three Communication Paradigms
This blog post discusses three companies that are using MongoDB to build AI-powered solutions in different communication mediums.
The first company, SuperDuperDB, provides tools for developers to apply AI and machine learning on top of their existing data stores. They use MongoDB as one of the key backend datastores for their platform.
The second company, Algomo, uses generative AI to help companies offer personalized service in more than 100 languages. They use MongoDB Atlas to store customer data and conversation history, providing long-term memory for support interactions.
The third company, Source Digital, is a monetization platform that delivers customer engagement through video and the metaverse. They use MongoDB to store video metadata and model features, and are migrating from PostgreSQL to MongoDB Atlas to reduce costs.
Overall, these companies are leveraging MongoDB to build AI-driven applications and enhance communication in various mediums. This text discusses the importance of utilizing strategic IT investments, such as GenAI and LLMs, to differentiate a business's product or service from its competition. It emphasizes the need to avoid niche solutions that divert resources away from important initiatives. The text proposes using the MongoDB Atlas developer data platform, which leverages document data models and an intuitive API, to quickly incorporate GenAI advancements without requiring developers to learn new tools. The MongoDB Query API is also highlighted for its unified system that simplifies CRUD operations and allows for more advanced features like keyword and vector search. The text concludes by stating that MongoDB Atlas can streamline AI-driven projects by reducing complexity in operational and security models, data integration, and duplication. It encourages readers to download a white paper for more information and to reach out for assistance with digital transformation.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-supercharging-three-communication-paradigms
This blog post discusses three companies that are using MongoDB to build AI-powered solutions in different communication mediums.
The first company, SuperDuperDB, provides tools for developers to apply AI and machine learning on top of their existing data stores. They use MongoDB as one of the key backend datastores for their platform.
The second company, Algomo, uses generative AI to help companies offer personalized service in more than 100 languages. They use MongoDB Atlas to store customer data and conversation history, providing long-term memory for support interactions.
The third company, Source Digital, is a monetization platform that delivers customer engagement through video and the metaverse. They use MongoDB to store video metadata and model features, and are migrating from PostgreSQL to MongoDB Atlas to reduce costs.
Overall, these companies are leveraging MongoDB to build AI-driven applications and enhance communication in various mediums. This text discusses the importance of utilizing strategic IT investments, such as GenAI and LLMs, to differentiate a business's product or service from its competition. It emphasizes the need to avoid niche solutions that divert resources away from important initiatives. The text proposes using the MongoDB Atlas developer data platform, which leverages document data models and an intuitive API, to quickly incorporate GenAI advancements without requiring developers to learn new tools. The MongoDB Query API is also highlighted for its unified system that simplifies CRUD operations and allows for more advanced features like keyword and vector search. The text concludes by stating that MongoDB Atlas can streamline AI-driven projects by reducing complexity in operational and security models, data integration, and duplication. It encourages readers to download a white paper for more information and to reach out for assistance with digital transformation.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-supercharging-three-communication-paradigms
Vector Search and LLM Essentials - What, When and Why
Read: https://www.mongodb.com/blog/post/vector-search-llm-essentials-what-when-why
Read: https://www.mongodb.com/blog/post/vector-search-llm-essentials-what-when-why
MariaDB Node.js Connector 3.2.2, and Python Connector 1.1.8 now available
Read: https://mariadb.com/?p=38191
Read: https://mariadb.com/?p=38191
Step-by-Step guide to querying data in Snowflake using Oracle Database Cloud Service aka OCI Base Database Service
Following blog will walk you through the steps to create database link between Base Database Service in OCI and Snowflake Data Warehouse database.
Read: https://blogs.oracle.com/database/post/stepbystep-guide-to-querying-data-in-snowflake-using-oracle-database-cloud-service-aka-oci-base-database-service
Following blog will walk you through the steps to create database link between Base Database Service in OCI and Snowflake Data Warehouse database.
Read: https://blogs.oracle.com/database/post/stepbystep-guide-to-querying-data-in-snowflake-using-oracle-database-cloud-service-aka-oci-base-database-service
Как настроить резервное копирование в объектное хранилище с помощью Restic
В 2007 многие администраторы настраивали бэкапы с помощью утилиты rsync, но для этого нужно было выделять отдельный хост для хранилища. И одной из частых проблем было резервирование этого сервера для бэкапов, которое увеличивало накладные расходы. Также хост бэкапирования располагался рядом с устройствами, для которых нужно было выполнить резервное копирование, настроить мониторинг и другое. Это нарушало правило 3-2-1, поэтому для построения действительно надежной системы нужно располагать хосты в разных дата-центрах.
Сегодня можно прибегнуть к услугам облачного хранения данных — например, использовать объектное хранилище Selectel. В этой инструкции рассмотрим, как работать с ним с помощью утилиты Restic.
Читать: https://habr.com/ru/companies/selectel/articles/768014/
В 2007 многие администраторы настраивали бэкапы с помощью утилиты rsync, но для этого нужно было выделять отдельный хост для хранилища. И одной из частых проблем было резервирование этого сервера для бэкапов, которое увеличивало накладные расходы. Также хост бэкапирования располагался рядом с устройствами, для которых нужно было выполнить резервное копирование, настроить мониторинг и другое. Это нарушало правило 3-2-1, поэтому для построения действительно надежной системы нужно располагать хосты в разных дата-центрах.
Сегодня можно прибегнуть к услугам облачного хранения данных — например, использовать объектное хранилище Selectel. В этой инструкции рассмотрим, как работать с ним с помощью утилиты Restic.
Читать: https://habr.com/ru/companies/selectel/articles/768014/
Простой ORM для sqlite3
ORM, или объектно-реляционное отображение — это программная технология, которая позволяет взаимодействовать с базами данных с использованием объектно-ориентированной парадигмы. Вместо того чтобы писать SQL-запросы напрямую для работы с данными в базе данных, можно использовать ORM, чтобы взаимодействовать с данными, как если бы они были объектами в вашем коде.
Не бывало ли вам интересно, как работает изнутри такая идейно простая концепция? Благодаря чему достигается удобство работы? Сегодня мы напишем ORM самостоятельно и узнаем, какие инструменты python нам для этого понадобятся.
Читать: https://habr.com/ru/companies/ruvds/articles/766552/
ORM, или объектно-реляционное отображение — это программная технология, которая позволяет взаимодействовать с базами данных с использованием объектно-ориентированной парадигмы. Вместо того чтобы писать SQL-запросы напрямую для работы с данными в базе данных, можно использовать ORM, чтобы взаимодействовать с данными, как если бы они были объектами в вашем коде.
Не бывало ли вам интересно, как работает изнутри такая идейно простая концепция? Благодаря чему достигается удобство работы? Сегодня мы напишем ORM самостоятельно и узнаем, какие инструменты python нам для этого понадобятся.
Читать: https://habr.com/ru/companies/ruvds/articles/766552/
⚡1