Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 5 — два клиента Elasticsearch на одной JVM
Прим. переводчика: автор статьи рассказывает, как его команде удалось запустить два клиента Elasticsearch разных версий на одной JVM путем написания специальной библиотеки-обертки для работы с нужной версией.
Это пятая часть серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей.
Глобальный характер обновления с самого начала намекал, что оно займет минимум год (а то и больше). В этой части пойдет речь об изменении подхода к разработке и о том, как удалось поддерживать параллельную работу нескольких клиентских библиотек Elasticsearch в кодовых базах Java в течение длительного времени.
Читать: https://habr.com/ru/post/706506/
Прим. переводчика: автор статьи рассказывает, как его команде удалось запустить два клиента Elasticsearch разных версий на одной JVM путем написания специальной библиотеки-обертки для работы с нужной версией.
Это пятая часть серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей.
Глобальный характер обновления с самого начала намекал, что оно займет минимум год (а то и больше). В этой части пойдет речь об изменении подхода к разработке и о том, как удалось поддерживать параллельную работу нескольких клиентских библиотек Elasticsearch в кодовых базах Java в течение длительного времени.
Читать: https://habr.com/ru/post/706506/
Бухгалтеры и юристы хранят документы по 50 лет – как будем организовывать для них хранение?
К нам часто обращаются специалисты из бухгалтерской или юридической службы за консультацией о том, как им уже избавиться от хранения всех документов на бумаге и вступить в мир без бумаги.
Рассказываем, какие технологии помогают решить такие задачи.
Читать: https://habr.com/ru/post/706574/
К нам часто обращаются специалисты из бухгалтерской или юридической службы за консультацией о том, как им уже избавиться от хранения всех документов на бумаге и вступить в мир без бумаги.
Рассказываем, какие технологии помогают решить такие задачи.
Читать: https://habr.com/ru/post/706574/
Нельзя просто взять и обезличить данные — опыт команды разработки «Сферы»
Бизнесу нельзя использовать данные клиентов as is для тестов. Отдел разработки не может просто взять персональные данные (ПДн) и проверить на них новую фичу, обучить Machine Learning-модель. Этот момент регулируют законы и отраслевые стандарты. Чтобы с данными можно было работать, их необходимо обезличить. В крупных компаниях сотни таблиц переплетены идентификаторами, формулами, процедурами. И здесь речь идет уже о формировании обезличенных интеграционных полигонов (комплексов БД). Максим Никитин, тимлид группы разработки, поделится опытом команды разработки платформы производства ПО «Сфера».
Читать: https://habr.com/ru/post/706870/
Бизнесу нельзя использовать данные клиентов as is для тестов. Отдел разработки не может просто взять персональные данные (ПДн) и проверить на них новую фичу, обучить Machine Learning-модель. Этот момент регулируют законы и отраслевые стандарты. Чтобы с данными можно было работать, их необходимо обезличить. В крупных компаниях сотни таблиц переплетены идентификаторами, формулами, процедурами. И здесь речь идет уже о формировании обезличенных интеграционных полигонов (комплексов БД). Максим Никитин, тимлид группы разработки, поделится опытом команды разработки платформы производства ПО «Сфера».
Читать: https://habr.com/ru/post/706870/
New Backported Features Available in MariaDB Enterprise Server Releases 10.3-10.6
Read: https://mariadb.com/?p=34391
Read: https://mariadb.com/?p=34391
Oracle Autonomous Transaction Processing Ranked Highest in Gartner Critical Capabilities for Cloud Database Management Systems for Operational Use Cases
Oracle Autonomous Database for transaction processing and mixed workloads (ATP) ranked highest in Gartner 2022 Report, Critical Capabilities for Cloud Database Management Systems for Operational Use Cases.
Read: https://blogs.oracle.com/database/post/oracle-autonomous-database-ranked-highest-in-gartner-critical-capabilities
Oracle Autonomous Database for transaction processing and mixed workloads (ATP) ranked highest in Gartner 2022 Report, Critical Capabilities for Cloud Database Management Systems for Operational Use Cases.
Read: https://blogs.oracle.com/database/post/oracle-autonomous-database-ranked-highest-in-gartner-critical-capabilities
👍1
Key Considerations Before Migrating Oracle Databases to the Cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering cost. If you’re ready to start moving existing Oracle databases to the cloud, it’s important to carefully evaluate your requirements to determine which cloud provider can best meet your application and operational needs.
Read: https://blogs.oracle.com/database/post/key-considerations-before-migrating-oracle-databases-to-the-cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering cost. If you’re ready to start moving existing Oracle databases to the cloud, it’s important to carefully evaluate your requirements to determine which cloud provider can best meet your application and operational needs.
Read: https://blogs.oracle.com/database/post/key-considerations-before-migrating-oracle-databases-to-the-cloud
Oracle
Key Considerations Before Migrating Oracle Databases to the Cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering…
«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Генерация конвейеров обработки данных в Dataflow
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Как мы в Slack используем Terraform
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
PostgreSQL в «Тензоре» — публикации за год (#3)
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Сравнение производительности обычного SQL, ORM и GraphQL в Golang в контексте принципов «радикальной простоты»
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Как выбрать NewSQL-СУБД для вашей компании
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/
SSD, CD, HDD, OptiNAND… DNA — выбираем перспективные накопители для резервного копирования
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
TrueNas: когда Nas реально ТРУ
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
New in 2022 from Oracle Database Development
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Oracle
New from Oracle Database Development in 2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Не все типы репликации одинаково полезны, или почему две MySQL лучше одной
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
👍1
Turbocharge Your Application Development Using WebAssembly With SingleStoreDB
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
Snowflake is the DBMS of the Year 2022, defending the noscript from last year
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103