Multiple VM Autonomous Database on Dedicated Exadata Infrastructure
Launch announcement for Multiple VM Autonomous Database on Dedicated Exadata Infrastructure
Read: https://blogs.oracle.com/database/post/multiple-vm-autonomous-database-on-dedicated-exadata-infrastructure
Launch announcement for Multiple VM Autonomous Database on Dedicated Exadata Infrastructure
Read: https://blogs.oracle.com/database/post/multiple-vm-autonomous-database-on-dedicated-exadata-infrastructure
Oracle
Multiple VM Autonomous Database on Dedicated Exadata Infrastructure
Launch announcement for Multiple VM Autonomous Database on Dedicated Exadata Infrastructure
Чем занимается ClickHouse пока мы спим или неожиданный OOM
В силу тех или иных обстоятельств, развиваясь по карьерной лестнице мне все чаще стало необходимо соприкасаться с таким известным инструментом в IT мире, как ClickHouse. Хоть мои должности за последние N-лет и связаны уже больше с управлением коллективами - для меня очень важно понимать суть технологических решений и проблемы, с которыми мои команды сталкиваются. Не смотря на все свое дружелюбие и конструкторную гибкость - ClickHouse временами выглядит, как весьма капризная технология. Одной из таких особенностей, с которой мне довелось столкнуться - стала борьба с внезапным OOM. В данной статье мы вместе с вами попробуем рассмотреть причины, откуда этот внезапный OOM, собственно, может браться.
Конечно, довольно часто причина кроется в неоптимальной схеме этой таблицы, неэффективном запросе или настройках самого ClickHouse. В этой статье мы шагнем чуть дальше и поговорим о бэкграундных процессах в ClickHouse, необходимых для его работы и при этом потребляющих драгоценную оперативную память.
Об этом далее и пойдет текст
Читать: https://habr.com/ru/post/705590/
В силу тех или иных обстоятельств, развиваясь по карьерной лестнице мне все чаще стало необходимо соприкасаться с таким известным инструментом в IT мире, как ClickHouse. Хоть мои должности за последние N-лет и связаны уже больше с управлением коллективами - для меня очень важно понимать суть технологических решений и проблемы, с которыми мои команды сталкиваются. Не смотря на все свое дружелюбие и конструкторную гибкость - ClickHouse временами выглядит, как весьма капризная технология. Одной из таких особенностей, с которой мне довелось столкнуться - стала борьба с внезапным OOM. В данной статье мы вместе с вами попробуем рассмотреть причины, откуда этот внезапный OOM, собственно, может браться.
Конечно, довольно часто причина кроется в неоптимальной схеме этой таблицы, неэффективном запросе или настройках самого ClickHouse. В этой статье мы шагнем чуть дальше и поговорим о бэкграундных процессах в ClickHouse, необходимых для его работы и при этом потребляющих драгоценную оперативную память.
Об этом далее и пойдет текст
Читать: https://habr.com/ru/post/705590/
Импортозамещаем Evernote. Obsidian – менеджер заметок и лучший друг менеджеров
Привет, Хабр! Меня зовут Николай Суворов. Я – профессиональный менеджер, руководитель направления Delivery Management в МТС Digital. Занимаюсь Enablement Platform – единой платформой для быстрого создания продуктов в экосистеме МТС. Сегодня я расскажу о своем pet-проекте и о том, как я заменил привычный, но такой недоступный Evernote прекрасным менеджером заметок Obsidian. Статья будет интересна прежде всего тем, кто хочет обладать «вторым мозгом» и ни о чем не забывать.
Читать: https://habr.com/ru/post/705572/
Привет, Хабр! Меня зовут Николай Суворов. Я – профессиональный менеджер, руководитель направления Delivery Management в МТС Digital. Занимаюсь Enablement Platform – единой платформой для быстрого создания продуктов в экосистеме МТС. Сегодня я расскажу о своем pet-проекте и о том, как я заменил привычный, но такой недоступный Evernote прекрасным менеджером заметок Obsidian. Статья будет интересна прежде всего тем, кто хочет обладать «вторым мозгом» и ни о чем не забывать.
Читать: https://habr.com/ru/post/705572/
MongoDB Underpins Massive Digital-First Data Strategy Adoption Across Asia Pacific from Singapore
Read: https://www.mongodb.com/blog/post/massive-digital-first-data-strategy-adoption-across-asia-pacific-singapore
Read: https://www.mongodb.com/blog/post/massive-digital-first-data-strategy-adoption-across-asia-pacific-singapore
Essential reading: Explaining modern data management (Part 3)
Data management, data analytics, machine learning, and artificial intelligence are all hot topics. Oracle is a leading company in data management with over four decades of experience. Let's step back together and learn about the latest concepts, architectures and innovations provided by Oracle to turn your data into actions.
Read: https://blogs.oracle.com/database/post/explaining-modern-data-mgmt-pt-3
Data management, data analytics, machine learning, and artificial intelligence are all hot topics. Oracle is a leading company in data management with over four decades of experience. Let's step back together and learn about the latest concepts, architectures and innovations provided by Oracle to turn your data into actions.
Read: https://blogs.oracle.com/database/post/explaining-modern-data-mgmt-pt-3
Мой диплом, или Как собрать вещи и переехать на YDB
Меня зовут Арслан, в этом году я делал сервис для построения циклов заказа (например, заказа такси). Возможно, вы видели пост от другого разработчика в команде, Ильи Lol4t0. Всего сервис обрабатывает примерно 5000 RPS с задержкой 100 мс в 99 перцентиле. Раньше для хранения данных использовалась связка PostgreSQL с YT — MapReduce-системой Яндекса.
Обычно информация по заказу нужна в быстром доступе в течение пары часов. На эту парадигму хорошо ложилась архитектура с горячим и холодным хранилищем. Событие создавалось в PostgreSQL, асинхронно реплицировалось в YT, а спустя два часа удалялось из PostgreSQL, никаких проблем. Но со временем начали напрягать несколько вещей: сложность архитектуры, низкая доступность во время проведения работ на PostgreSQL и ограниченная возможность горизонтально масштабировать систему. Мы решили перейти на новую архитектуру с базой данных YDB. Хотели на примере тестового сервиса разобраться, как работать с базой, проверить всё под нагрузкой и реализовать хранение данных исходного сервиса.
Вообще, изначально я написал про это диплом. Но потом подумал, что читателям здесь тоже будет интересно, и всё переделал под Хабр. Если тоже переезжаете на YDB (после выхода в опенсорс это стало проще) или адаптируете систему с базой — заглядывайте. Поговорим о большинстве возможных трудностей при переезде.
Читать: https://habr.com/ru/post/702998/
Меня зовут Арслан, в этом году я делал сервис для построения циклов заказа (например, заказа такси). Возможно, вы видели пост от другого разработчика в команде, Ильи Lol4t0. Всего сервис обрабатывает примерно 5000 RPS с задержкой 100 мс в 99 перцентиле. Раньше для хранения данных использовалась связка PostgreSQL с YT — MapReduce-системой Яндекса.
Обычно информация по заказу нужна в быстром доступе в течение пары часов. На эту парадигму хорошо ложилась архитектура с горячим и холодным хранилищем. Событие создавалось в PostgreSQL, асинхронно реплицировалось в YT, а спустя два часа удалялось из PostgreSQL, никаких проблем. Но со временем начали напрягать несколько вещей: сложность архитектуры, низкая доступность во время проведения работ на PostgreSQL и ограниченная возможность горизонтально масштабировать систему. Мы решили перейти на новую архитектуру с базой данных YDB. Хотели на примере тестового сервиса разобраться, как работать с базой, проверить всё под нагрузкой и реализовать хранение данных исходного сервиса.
Вообще, изначально я написал про это диплом. Но потом подумал, что читателям здесь тоже будет интересно, и всё переделал под Хабр. Если тоже переезжаете на YDB (после выхода в опенсорс это стало проще) или адаптируете систему с базой — заглядывайте. Поговорим о большинстве возможных трудностей при переезде.
Читать: https://habr.com/ru/post/702998/
👍2
Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 5 — два клиента Elasticsearch на одной JVM
Прим. переводчика: автор статьи рассказывает, как его команде удалось запустить два клиента Elasticsearch разных версий на одной JVM путем написания специальной библиотеки-обертки для работы с нужной версией.
Это пятая часть серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей.
Глобальный характер обновления с самого начала намекал, что оно займет минимум год (а то и больше). В этой части пойдет речь об изменении подхода к разработке и о том, как удалось поддерживать параллельную работу нескольких клиентских библиотек Elasticsearch в кодовых базах Java в течение длительного времени.
Читать: https://habr.com/ru/post/706506/
Прим. переводчика: автор статьи рассказывает, как его команде удалось запустить два клиента Elasticsearch разных версий на одной JVM путем написания специальной библиотеки-обертки для работы с нужной версией.
Это пятая часть серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей.
Глобальный характер обновления с самого начала намекал, что оно займет минимум год (а то и больше). В этой части пойдет речь об изменении подхода к разработке и о том, как удалось поддерживать параллельную работу нескольких клиентских библиотек Elasticsearch в кодовых базах Java в течение длительного времени.
Читать: https://habr.com/ru/post/706506/
Бухгалтеры и юристы хранят документы по 50 лет – как будем организовывать для них хранение?
К нам часто обращаются специалисты из бухгалтерской или юридической службы за консультацией о том, как им уже избавиться от хранения всех документов на бумаге и вступить в мир без бумаги.
Рассказываем, какие технологии помогают решить такие задачи.
Читать: https://habr.com/ru/post/706574/
К нам часто обращаются специалисты из бухгалтерской или юридической службы за консультацией о том, как им уже избавиться от хранения всех документов на бумаге и вступить в мир без бумаги.
Рассказываем, какие технологии помогают решить такие задачи.
Читать: https://habr.com/ru/post/706574/
Нельзя просто взять и обезличить данные — опыт команды разработки «Сферы»
Бизнесу нельзя использовать данные клиентов as is для тестов. Отдел разработки не может просто взять персональные данные (ПДн) и проверить на них новую фичу, обучить Machine Learning-модель. Этот момент регулируют законы и отраслевые стандарты. Чтобы с данными можно было работать, их необходимо обезличить. В крупных компаниях сотни таблиц переплетены идентификаторами, формулами, процедурами. И здесь речь идет уже о формировании обезличенных интеграционных полигонов (комплексов БД). Максим Никитин, тимлид группы разработки, поделится опытом команды разработки платформы производства ПО «Сфера».
Читать: https://habr.com/ru/post/706870/
Бизнесу нельзя использовать данные клиентов as is для тестов. Отдел разработки не может просто взять персональные данные (ПДн) и проверить на них новую фичу, обучить Machine Learning-модель. Этот момент регулируют законы и отраслевые стандарты. Чтобы с данными можно было работать, их необходимо обезличить. В крупных компаниях сотни таблиц переплетены идентификаторами, формулами, процедурами. И здесь речь идет уже о формировании обезличенных интеграционных полигонов (комплексов БД). Максим Никитин, тимлид группы разработки, поделится опытом команды разработки платформы производства ПО «Сфера».
Читать: https://habr.com/ru/post/706870/
New Backported Features Available in MariaDB Enterprise Server Releases 10.3-10.6
Read: https://mariadb.com/?p=34391
Read: https://mariadb.com/?p=34391
Oracle Autonomous Transaction Processing Ranked Highest in Gartner Critical Capabilities for Cloud Database Management Systems for Operational Use Cases
Oracle Autonomous Database for transaction processing and mixed workloads (ATP) ranked highest in Gartner 2022 Report, Critical Capabilities for Cloud Database Management Systems for Operational Use Cases.
Read: https://blogs.oracle.com/database/post/oracle-autonomous-database-ranked-highest-in-gartner-critical-capabilities
Oracle Autonomous Database for transaction processing and mixed workloads (ATP) ranked highest in Gartner 2022 Report, Critical Capabilities for Cloud Database Management Systems for Operational Use Cases.
Read: https://blogs.oracle.com/database/post/oracle-autonomous-database-ranked-highest-in-gartner-critical-capabilities
👍1
Key Considerations Before Migrating Oracle Databases to the Cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering cost. If you’re ready to start moving existing Oracle databases to the cloud, it’s important to carefully evaluate your requirements to determine which cloud provider can best meet your application and operational needs.
Read: https://blogs.oracle.com/database/post/key-considerations-before-migrating-oracle-databases-to-the-cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering cost. If you’re ready to start moving existing Oracle databases to the cloud, it’s important to carefully evaluate your requirements to determine which cloud provider can best meet your application and operational needs.
Read: https://blogs.oracle.com/database/post/key-considerations-before-migrating-oracle-databases-to-the-cloud
Oracle
Key Considerations Before Migrating Oracle Databases to the Cloud
Moving your on-premises workloads to the cloud can offer many benefits, such as downsizing data centers, eliminating infrastructure management, accelerating application deployments, simplifying administration with automated and autonomous services, and lowering…
«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
«Утечка данных»: в чем опасность и как с этим бороться?
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Личные данные сегодня становятся все больше публичными, а конфиденциальность информации скорее условна. Махинации с использованием "слитых" баз данных сейчас обрели небывалый масштаб. От "разводов" недобросовестных телефонных мошенников страдаем мы с вами, от взломов и утечки внутренней информации миллионные ущербы несут крупные компании. Как обезопасить себя и своих клиентов? Как бороться с утечкой данных? Об этом — данный материал.
Читать: https://habr.com/ru/post/707258/
Генерация конвейеров обработки данных в Dataflow
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Как мы в Slack используем Terraform
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.
Читать: https://habr.com/ru/post/707154/
PostgreSQL в «Тензоре» — публикации за год (#3)
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Под занавес уходящего года предлагаю традиционно вспомнить, про какие интересные возможности и особенности работы с PostgreSQL мы рассказали в нашем блоге.
Если не видели дайджест за прошлый год — время наверстать упущенное!
Читать: https://habr.com/ru/post/707626/
Сравнение производительности обычного SQL, ORM и GraphQL в Golang в контексте принципов «радикальной простоты»
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Вам, наверное, знаком подход радикальной простоты, который заключается в том, чтобы иметь как можно меньше систем и наименьшее количество строк кода и конфигурации. Это снижает затраты на техническое обслуживание и делает изменения дешёвыми и лёгкими. Но радикальная простота не означает использование ассемблерного кода или C.
При написании серверного кода для чтения из базы данных разработчики обычно используют прямой SQL либо ORM. ORM экономит время на написании SQL-кода, но снижает производительность и увеличивает потребность в большем количестве классов. Прямой SQL быстрее и содержит меньше типовых строк кода, но его сложнее...
Читать: https://habr.com/ru/post/707650/
Как выбрать NewSQL-СУБД для вашей компании
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/
Привет! Меня зовут Пётр, я менеджер по отказоустойчивости в QIWI. В этом посте мы поговорим про выбор новых классов продуктов. Как-то раз мы с одним разработчиком из другой компании стали обсуждать, почему бы не выбрать для работы какую-то распределенную СУБД, поддерживающую SQL? Из этой дискуссии родился мой доклад для нашей QIWI Server Party. Представляю вам его текстовую версию.
Читать: https://habr.com/ru/post/707942/