SSD, CD, HDD, OptiNAND… DNA — выбираем перспективные накопители для резервного копирования
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
TrueNas: когда Nas реально ТРУ
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
New in 2022 from Oracle Database Development
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Oracle
New from Oracle Database Development in 2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Не все типы репликации одинаково полезны, или почему две MySQL лучше одной
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
👍1
Turbocharge Your Application Development Using WebAssembly With SingleStoreDB
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
Snowflake is the DBMS of the Year 2022, defending the noscript from last year
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103
Zero Trust will be a Critical Practice for Security Professionals in 2023
Read: https://www.mongodb.com/blog/post/zero-trust-critical-practice-security-professionals-2023
Read: https://www.mongodb.com/blog/post/zero-trust-critical-practice-security-professionals-2023
Как опенсорсные инструменты замедляют разработку моделей для анализа медицинских снимков
Существует множество опенсорсного ПО и инструментов для проектов компьютерного зрения и машинного обучения в сфере медицинских визуализаций.
Иногда может быть выгодно использовать опенсорсные инструменты при тестировании и обучении модели ML на массивах данных медицинских снимков. Вы можете экономить деньги, а многие инструменты, например, 3DSlicer и ITK-Snap, предназначены специально для аннотирования медицинских снимков и обучения моделей ML на массивах данных из сферы здравоохранения.
В здравоохранении критически важны качество массива данных и эффективность инструментов, используемых для аннотирования и обучения моделей ML. Это может стать вопросом жизни и смерти для пациентов, ведь для их диагностирования медицинским специалистам и врачам нужны максимально точные результаты моделей компьютерного зрения и машинного обучения.
Как известно командам клиницистов и обработки данных, слои данных в медицинских снимках сложны и детализированы. Для выполнения работы вам нужны подходящие инструменты. Применение неверного инструмента, например, опенсорсного приложения для аннотирования, может негативно повлиять на разработку модели.
В этой статье мы расскажем об основных опенсорсных инструментах для аннотирования медицинских снимков, сценариях применения таких инструментов и о том, как они препятствуют развитию вашего проекта. Мы перечислим те возможности инструмента аннотирования, которые помогут вам преодолеть эти трудности, в том числе и функции, которые обеспечат нужные вам результаты.
Читать: https://habr.com/ru/post/707874/
Существует множество опенсорсного ПО и инструментов для проектов компьютерного зрения и машинного обучения в сфере медицинских визуализаций.
Иногда может быть выгодно использовать опенсорсные инструменты при тестировании и обучении модели ML на массивах данных медицинских снимков. Вы можете экономить деньги, а многие инструменты, например, 3DSlicer и ITK-Snap, предназначены специально для аннотирования медицинских снимков и обучения моделей ML на массивах данных из сферы здравоохранения.
В здравоохранении критически важны качество массива данных и эффективность инструментов, используемых для аннотирования и обучения моделей ML. Это может стать вопросом жизни и смерти для пациентов, ведь для их диагностирования медицинским специалистам и врачам нужны максимально точные результаты моделей компьютерного зрения и машинного обучения.
Как известно командам клиницистов и обработки данных, слои данных в медицинских снимках сложны и детализированы. Для выполнения работы вам нужны подходящие инструменты. Применение неверного инструмента, например, опенсорсного приложения для аннотирования, может негативно повлиять на разработку модели.
В этой статье мы расскажем об основных опенсорсных инструментах для аннотирования медицинских снимков, сценариях применения таких инструментов и о том, как они препятствуют развитию вашего проекта. Мы перечислим те возможности инструмента аннотирования, которые помогут вам преодолеть эти трудности, в том числе и функции, которые обеспечат нужные вам результаты.
Читать: https://habr.com/ru/post/707874/
Demystifying Sharding with MongoDB
Read: https://www.mongodb.com/blog/post/demystifying-sharding-mongodb
Read: https://www.mongodb.com/blog/post/demystifying-sharding-mongodb
Introducing MongoDB Spark Connector Version 10.1
Read: https://www.mongodb.com/blog/post/introducing-mongodb-spark-connector-version-10-1
Read: https://www.mongodb.com/blog/post/introducing-mongodb-spark-connector-version-10-1
How to Get Mobile Data Sync Right with Mobile Backend as a Service (MBaaS)
Read: https://www.mongodb.com/blog/post/get-mobile-data-sync-right-mobile-backend-service
Read: https://www.mongodb.com/blog/post/get-mobile-data-sync-right-mobile-backend-service
Системы для работы с данными: зачем нужны и как их построить
Рассказываем, как построить качественную инфраструктуру для работы с данными, какие нужны специалисты и как выйти с решением на рынок.
Читать: «Системы для работы с данными: зачем нужны и как их построить»
Рассказываем, как построить качественную инфраструктуру для работы с данными, какие нужны специалисты и как выйти с решением на рынок.
Читать: «Системы для работы с данными: зачем нужны и как их построить»
Spatial Studio 22.3 Available Now!
We’re pleased to announce the release of Oracle Spatial Studio 22.3. Oracle Spatial Studio is a no-code web tool for working with the Spatial features of Oracle Database. This blog post will explore some of the new functionality available in this release.
Read: https://blogs.oracle.com/database/post/spatial-studio-223-available-now
We’re pleased to announce the release of Oracle Spatial Studio 22.3. Oracle Spatial Studio is a no-code web tool for working with the Spatial features of Oracle Database. This blog post will explore some of the new functionality available in this release.
Read: https://blogs.oracle.com/database/post/spatial-studio-223-available-now
Oracle
Spatial Studio 22.3 Available Now!
We’re pleased to announce the release of Oracle Spatial Studio 22.3. Oracle Spatial Studio is a no-code web tool for working with the Spatial features of Oracle Database. This blog post will explore some of the new functionality available in this release.
SQL за 2 месяца. Подробный план обучения
То, что данные называют нефтью 21 века известно уже давно: на них учатся нейросети, их мгновенная обработка и передача сильно упростили нашу жизнь, и одной из самых распространенных структур хранения данных является реляционная. Именно с ней знакомы большинство разработчиков и, скорее всего, знания как с ней работать вам тоже понадобятся.
Основным инструментом для взаимодействия с реляционными БД является структурированный язык запросов или же SQL.
Читать: https://habr.com/ru/post/709116/
То, что данные называют нефтью 21 века известно уже давно: на них учатся нейросети, их мгновенная обработка и передача сильно упростили нашу жизнь, и одной из самых распространенных структур хранения данных является реляционная. Именно с ней знакомы большинство разработчиков и, скорее всего, знания как с ней работать вам тоже понадобятся.
Основным инструментом для взаимодействия с реляционными БД является структурированный язык запросов или же SQL.
Читать: https://habr.com/ru/post/709116/
Резервное копирование репозиториев с github, gitlab
Резервное копирование репозиториев с git серверов по токену. Для серверов на основе github и gitlab. Скрипт скачивает все Ваши репозитории доступные по токену и архивирует их. Давно хотел написать такой инструмент т.к. использую и те и те сервера в работе и личных целях.
Читать: https://habr.com/ru/post/709298/
Резервное копирование репозиториев с git серверов по токену. Для серверов на основе github и gitlab. Скрипт скачивает все Ваши репозитории доступные по токену и архивирует их. Давно хотел написать такой инструмент т.к. использую и те и те сервера в работе и личных целях.
Читать: https://habr.com/ru/post/709298/
Announcing Oracle Transaction Manager for Microservices 22.3.1
This blog post describes the new features available in the 22.3.1 release of MicroTx
Read: https://blogs.oracle.com/database/post/announcing-oracle-transaction-manager-for-microservices-new-release
This blog post describes the new features available in the 22.3.1 release of MicroTx
Read: https://blogs.oracle.com/database/post/announcing-oracle-transaction-manager-for-microservices-new-release
Oracle
Announcing Oracle Transaction Manager for Microservices New Release
This blog post describes the new features available in the 22.3.1 release of MicroTx
Доступная отказоустойчивость для вашего сайта
Возможно, вы уже попадали в ситуацию, когда во время пика продаж сервер, на котором расположен ваш интернет-магазин или другой проект, приносящий прибыль, выходит из строя.
К сожалению, даже надежная техника может отказать в самый неподходящий момент. На сервере могут возникнуть проблемы с дисками, дисковыми и сетевыми контролерами, оперативной памятью, блоком питания и другим оборудованием. В дата-центре, где находится ваш сервер, могут отказать каналы передачи данных, электропитание или даже случиться пожар.
Конечно, можно отремонтировать сервер или установить новый в том же или в другом дата-центре. Но на ремонт или аренду нового сервера с последующей подготовкой его к работе, на восстановление данных из бекапа может уйти очень много времени.
А есть ли способы, защитить ваш интернет-магазин или другой сервис от таких проблем?
Да, конечно, есть, и не один, но также есть и множество нюансов.
К сожалению, обычно отказоустойчивое решение стоит очень и очень дорого. Даже в простых конфигурациях ежемесячные расходы могут достигать 100–200 тысяч рублей и больше. Немало средств придется потратить и на первоначальную настройку. Но есть и недорогие решения.
Эта статья поможет вам настроить доступный вариант отказоустойчивости, созданный на базе технологии VRRP (Virtual Router Redundancy Protocol) и сервиса keepalived.
Такой вариант подойдет, если у вас нет возможности использовать, например, весьма дорогостоящие в эксплуатации контейнеры, систему Kubernetes или отказоустойчивые облака, а весь проект размещается на одном сервере. Описанная в статье технология будет полезна, если многократное увеличение расходов на оборудование и сопровождение при внедрении отказоустойчивости крайне нежелательно.
Читать: https://habr.com/ru/post/709650/
Возможно, вы уже попадали в ситуацию, когда во время пика продаж сервер, на котором расположен ваш интернет-магазин или другой проект, приносящий прибыль, выходит из строя.
К сожалению, даже надежная техника может отказать в самый неподходящий момент. На сервере могут возникнуть проблемы с дисками, дисковыми и сетевыми контролерами, оперативной памятью, блоком питания и другим оборудованием. В дата-центре, где находится ваш сервер, могут отказать каналы передачи данных, электропитание или даже случиться пожар.
Конечно, можно отремонтировать сервер или установить новый в том же или в другом дата-центре. Но на ремонт или аренду нового сервера с последующей подготовкой его к работе, на восстановление данных из бекапа может уйти очень много времени.
А есть ли способы, защитить ваш интернет-магазин или другой сервис от таких проблем?
Да, конечно, есть, и не один, но также есть и множество нюансов.
К сожалению, обычно отказоустойчивое решение стоит очень и очень дорого. Даже в простых конфигурациях ежемесячные расходы могут достигать 100–200 тысяч рублей и больше. Немало средств придется потратить и на первоначальную настройку. Но есть и недорогие решения.
Эта статья поможет вам настроить доступный вариант отказоустойчивости, созданный на базе технологии VRRP (Virtual Router Redundancy Protocol) и сервиса keepalived.
Такой вариант подойдет, если у вас нет возможности использовать, например, весьма дорогостоящие в эксплуатации контейнеры, систему Kubernetes или отказоустойчивые облака, а весь проект размещается на одном сервере. Описанная в статье технология будет полезна, если многократное увеличение расходов на оборудование и сопровождение при внедрении отказоустойчивости крайне нежелательно.
Читать: https://habr.com/ru/post/709650/
Securing Multi-Cloud Applications with MongoDB Atlas
Read: https://www.mongodb.com/blog/post/securing-multi-cloud-applications-mongodb-atlas
Read: https://www.mongodb.com/blog/post/securing-multi-cloud-applications-mongodb-atlas
Making Try-Confirm/Cancel Easy with MicroTx
This post describes how microservices can adopt the Try-Confirm/Cancel transaction protocol to ensure data consistency across their microservices.
Read: https://blogs.oracle.com/database/post/making-try-confirmcancel-easy-with-microtx
This post describes how microservices can adopt the Try-Confirm/Cancel transaction protocol to ensure data consistency across their microservices.
Read: https://blogs.oracle.com/database/post/making-try-confirmcancel-easy-with-microtx
Oracle
Making Try-Confirm/Cancel Easy with MicroTx
This post describes how microservices can adopt the Try-Confirm/Cancel transaction protocol to ensure data consistency across their microservices.
Почему компании продолжают звонить и писать отказавшимся от коммуникаций клиентам
HFLabs знают как компанию, которая помогает управляться с клиентскими данными — чистить, организовывать и находить неочевидные связи. Работаем в энтерпрайзе 18 лет. Десять из них — строим клиентский MDM для компаний с базами из сотен миллионов записей.
Заказчики все чаще спрашивают нас, как работать с клиентскими согласиями так, чтобы блюсти законы и не злить клиентов. «Красный флаг» для компании — клиенту продолжают писать и звонить, когда тот просил прекратить.
Чтобы ответить точнее, сначала мы расспросили компании, что болит:
как хотят, где не получается. Затем разобрались, почему не выходит и нашли, как починить.
Ответ разделили на два текста. В один не поместился — уж очень объемный.
В этой статье рассказываем, из-за каких ошибок со сбором, обработкой и хранением согласий происходят факапы. И чем рискует бизнес — а то, может, и нет смысла наводить порядок.
В следующем тексте опубликуем удачные организационные и технические практики работы с согласиями для маленьких, средних и больших компаний.
Поехали
Читать: https://habr.com/ru/post/709812/
HFLabs знают как компанию, которая помогает управляться с клиентскими данными — чистить, организовывать и находить неочевидные связи. Работаем в энтерпрайзе 18 лет. Десять из них — строим клиентский MDM для компаний с базами из сотен миллионов записей.
Заказчики все чаще спрашивают нас, как работать с клиентскими согласиями так, чтобы блюсти законы и не злить клиентов. «Красный флаг» для компании — клиенту продолжают писать и звонить, когда тот просил прекратить.
Чтобы ответить точнее, сначала мы расспросили компании, что болит:
как хотят, где не получается. Затем разобрались, почему не выходит и нашли, как починить.
Ответ разделили на два текста. В один не поместился — уж очень объемный.
В этой статье рассказываем, из-за каких ошибок со сбором, обработкой и хранением согласий происходят факапы. И чем рискует бизнес — а то, может, и нет смысла наводить порядок.
В следующем тексте опубликуем удачные организационные и технические практики работы с согласиями для маленьких, средних и больших компаний.
Поехали
Читать: https://habr.com/ru/post/709812/