«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Генерация конвейеров обработки данных в Dataflow
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Как мы в Slack используем Terraform
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
PostgreSQL в «Тензоре» — публикации за год (#3)
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Сравнение производительности обычного SQL, ORM и GraphQL в Golang в контексте принципов «радикальной простоты»
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Как выбрать NewSQL-СУБД для вашей компании
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/
SSD, CD, HDD, OptiNAND… DNA — выбираем перспективные накопители для резервного копирования
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).
В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.
Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.
Читать: https://habr.com/ru/post/705586/
TrueNas: когда Nas реально ТРУ
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться?
Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, black jack, сжатием на лету, достаточной отказоустойчивостью и более чем приличной скоростью. Как ZFS позволяет экономить место на дисках при этом повышая надёжность хранения.
Читать: https://habr.com/ru/post/707770/
Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
Разбираем pg_profile — инструмент для анализа статистики запросов к базе данных. Рассказываем про установку, отчёты и примеры использования.
Читать: «Как эффективно анализировать статистику в PostgreSQL с помощью pg_profile»
New in 2022 from Oracle Database Development
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Read: https://blogs.oracle.com/database/post/new-from-oracle-database-development-in-2022
Oracle
New from Oracle Database Development in 2022
Blog post highlighting some updates from the Oracle Database Development Team during 2022.
Не все типы репликации одинаково полезны, или почему две MySQL лучше одной
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
В это сложно поверить, но MySQL как продукт появился еще в 1995 году. Со временем название СУБД стало таким же нарицательным, как Xerox. Сегодня под этим термином могут понимать самые разные связки: от MySQL Native от компании Oracle до Percona XtraDB Cluster, а ведь есть еще MariaDB, Galera, Percona Server.
О том, как устроено генеалогическое древо MySQL можно снимать сериал с драконами, поэтому в материале мы сконцентрируемся на особенностях и ограничениях работы СУБД с разным типом репликации: MySQL sync и MySQL Semi-sync.
Читать: https://habr.com/ru/post/708434/
👍1
Turbocharge Your Application Development Using WebAssembly With SingleStoreDB
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
WebAssembly (Wasm) is a binary instruction format for a stack-based virtual machine. Wasm enables developers to use existing code from programming languages, such as C, C++ and Rust as part of their application development process. However, Wasm is not just for the web, and today is moving in exciting new directions. For example, one use-case would be to run Wasm code in a database system on the data already stored in the database system — an example of co-locating computation with data. Using Wasm to extend the capabilities of a database system opens up opportunities to develop many new applications. SingleStoreDB supports Wasm through Code Engine and, in this article, we’ll see how to build a Wasm UDF to perform sentiment analysis on data already stored in SingleStoreDB.
Read: https://db-engines.com/en/blog_post/101
Snowflake is the DBMS of the Year 2022, defending the noscript from last year
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103
Snowflake is the database management system that gained more popularity in our DB-Engines Ranking within the last year than any of the other 402 monitored systems.
We thus declare Snowflake as the DBMS of the Year 2022.
Read: https://db-engines.com/en/blog_post/103
Zero Trust will be a Critical Practice for Security Professionals in 2023
Read: https://www.mongodb.com/blog/post/zero-trust-critical-practice-security-professionals-2023
Read: https://www.mongodb.com/blog/post/zero-trust-critical-practice-security-professionals-2023
Как опенсорсные инструменты замедляют разработку моделей для анализа медицинских снимков
Существует множество опенсорсного ПО и инструментов для проектов компьютерного зрения и машинного обучения в сфере медицинских визуализаций.
Иногда может быть выгодно использовать опенсорсные инструменты при тестировании и обучении модели ML на массивах данных медицинских снимков. Вы можете экономить деньги, а многие инструменты, например, 3DSlicer и ITK-Snap, предназначены специально для аннотирования медицинских снимков и обучения моделей ML на массивах данных из сферы здравоохранения.
В здравоохранении критически важны качество массива данных и эффективность инструментов, используемых для аннотирования и обучения моделей ML. Это может стать вопросом жизни и смерти для пациентов, ведь для их диагностирования медицинским специалистам и врачам нужны максимально точные результаты моделей компьютерного зрения и машинного обучения.
Как известно командам клиницистов и обработки данных, слои данных в медицинских снимках сложны и детализированы. Для выполнения работы вам нужны подходящие инструменты. Применение неверного инструмента, например, опенсорсного приложения для аннотирования, может негативно повлиять на разработку модели.
В этой статье мы расскажем об основных опенсорсных инструментах для аннотирования медицинских снимков, сценариях применения таких инструментов и о том, как они препятствуют развитию вашего проекта. Мы перечислим те возможности инструмента аннотирования, которые помогут вам преодолеть эти трудности, в том числе и функции, которые обеспечат нужные вам результаты.
Читать: https://habr.com/ru/post/707874/
Существует множество опенсорсного ПО и инструментов для проектов компьютерного зрения и машинного обучения в сфере медицинских визуализаций.
Иногда может быть выгодно использовать опенсорсные инструменты при тестировании и обучении модели ML на массивах данных медицинских снимков. Вы можете экономить деньги, а многие инструменты, например, 3DSlicer и ITK-Snap, предназначены специально для аннотирования медицинских снимков и обучения моделей ML на массивах данных из сферы здравоохранения.
В здравоохранении критически важны качество массива данных и эффективность инструментов, используемых для аннотирования и обучения моделей ML. Это может стать вопросом жизни и смерти для пациентов, ведь для их диагностирования медицинским специалистам и врачам нужны максимально точные результаты моделей компьютерного зрения и машинного обучения.
Как известно командам клиницистов и обработки данных, слои данных в медицинских снимках сложны и детализированы. Для выполнения работы вам нужны подходящие инструменты. Применение неверного инструмента, например, опенсорсного приложения для аннотирования, может негативно повлиять на разработку модели.
В этой статье мы расскажем об основных опенсорсных инструментах для аннотирования медицинских снимков, сценариях применения таких инструментов и о том, как они препятствуют развитию вашего проекта. Мы перечислим те возможности инструмента аннотирования, которые помогут вам преодолеть эти трудности, в том числе и функции, которые обеспечат нужные вам результаты.
Читать: https://habr.com/ru/post/707874/
Demystifying Sharding with MongoDB
Read: https://www.mongodb.com/blog/post/demystifying-sharding-mongodb
Read: https://www.mongodb.com/blog/post/demystifying-sharding-mongodb
Introducing MongoDB Spark Connector Version 10.1
Read: https://www.mongodb.com/blog/post/introducing-mongodb-spark-connector-version-10-1
Read: https://www.mongodb.com/blog/post/introducing-mongodb-spark-connector-version-10-1
How to Get Mobile Data Sync Right with Mobile Backend as a Service (MBaaS)
Read: https://www.mongodb.com/blog/post/get-mobile-data-sync-right-mobile-backend-service
Read: https://www.mongodb.com/blog/post/get-mobile-data-sync-right-mobile-backend-service
Системы для работы с данными: зачем нужны и как их построить
Рассказываем, как построить качественную инфраструктуру для работы с данными, какие нужны специалисты и как выйти с решением на рынок.
Читать: «Системы для работы с данными: зачем нужны и как их построить»
Рассказываем, как построить качественную инфраструктуру для работы с данными, какие нужны специалисты и как выйти с решением на рынок.
Читать: «Системы для работы с данными: зачем нужны и как их построить»