Масштабирование кластера Valkey до 1 миллиарда запросов в секунду
Предстоящий релиз Valkey 9.0 несёт в себе значительные улучшения в отказоустойчивости больших кластеров, позволяя масштабироваться до 2000 узлов и достигать производительности свыше 1 миллиарда запросов в секунду, и всё это с гарантированно ограниченным временем восстановления. В этой статье мы рассмотрим, как работает система кластеризации Valkey, а также архитектурные усовершенствования и тщательное тестирование, которые сделали возможным такой уровень масштабирования.
Читать: https://habr.com/ru/articles/958998/
#ru
@database_design | Другие наши каналы
Предстоящий релиз Valkey 9.0 несёт в себе значительные улучшения в отказоустойчивости больших кластеров, позволяя масштабироваться до 2000 узлов и достигать производительности свыше 1 миллиарда запросов в секунду, и всё это с гарантированно ограниченным временем восстановления. В этой статье мы рассмотрим, как работает система кластеризации Valkey, а также архитектурные усовершенствования и тщательное тестирование, которые сделали возможным такой уровень масштабирования.
Читать: https://habr.com/ru/articles/958998/
#ru
@database_design | Другие наши каналы
MariaDB Enterprise Platform 2026 — единая платформа для интеллектуальных AI‑приложений
MariaDB объявила релиз Enterprise Platform 2026, который объединяет транзакционный, аналитический и векторный AI-движки в одной системе, чтобы снизить архитектурное трение и ускорить инновации.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB объявила релиз Enterprise Platform 2026, который объединяет транзакционный, аналитический и векторный AI-движки в одной системе, чтобы снизить архитектурное трение и ускорить инновации.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Announcing the Release of MariaDB Enterprise Platform 2026 | MariaDB
MariaDB Enterprise Platform 2026 is a major release that addresses the challenges of data silos that slow innovation and inflate costs.
Write. Review. Commit. Repeat. Как документируют в Postgres Professional
Как вы думаете, сколько человек документирует продукты в Postgres Professional? 50? 100? А вот и нет — всего десять. Рассказываем, как команде техписателей удается управлять сотнями файлов, почему их работа — это квест, и как они успевают контрибьютить в ванильный PostgreSQL.
Читать: https://habr.com/ru/companies/postgrespro/articles/924718/
#ru
@database_design | Другие наши каналы
Как вы думаете, сколько человек документирует продукты в Postgres Professional? 50? 100? А вот и нет — всего десять. Рассказываем, как команде техписателей удается управлять сотнями файлов, почему их работа — это квест, и как они успевают контрибьютить в ванильный PostgreSQL.
Читать: https://habr.com/ru/companies/postgrespro/articles/924718/
#ru
@database_design | Другие наши каналы
MariaDB и Exasol — мгновенная аналитика на живых данных
В статье сообщается о партнёрстве, которое обещает устранить барьер между операционными данными и аналитикой, упростить стек данных и дать пользователям мгновенные аналитические инсайты. Подробнее — в исходной статье.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье сообщается о партнёрстве, которое обещает устранить барьер между операционными данными и аналитикой, упростить стек данных и дать пользователям мгновенные аналитические инсайты. Подробнее — в исходной статье.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Introducing MariaDB Exa: 1,000x Faster Analytics on Live Data | MariaDB
MariaDB partners with Exasol to create MariaDB Exa, delivering real-time insights from operational to petabyte-scale AI data.
Exadata — платформа не только для крупнейших
В статье говорится, что за 15+ лет Exadata стала ведущей платформой для Oracle Database и подходит не только для критичных и сверхбольших баз, но и для более широкого круга задач.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье говорится, что за 15+ лет Exadata стала ведущей платформой для Oracle Database и подходит не только для критичных и сверхбольших баз, но и для более широкого круга задач.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Exadata for Everyone: Extreme Performance Meets Extreme Low Cost
For over 15 years, Exadata has been the premier platform for Oracle Database workloads. Now, you may have thought that Exadata was only for mission critical workloads and the largest databases or is targeted only for large enterprise customers. Well, think…
Oracle RAC в облаке: масштабирование и доступность
Как использовать Oracle RAC в облачных средах — разбирают преимущества, варианты развёртывания и практические рекомендации по масштабированию и повышению отказоустойчивости баз данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Как использовать Oracle RAC в облачных средах — разбирают преимущества, варианты развёртывания и практические рекомендации по масштабированию и повышению отказоустойчивости баз данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Using Oracle Real Application Clusters in the Public Cloud
Oracle RAC was designed to allow a single Oracle Database to run across multiple servers to maximize availability and enable horizontal scalability. So, how can users nowadays take advantage of Oracle RAC in the cloud?
Итоги 2024: ключевые анонсы Oracle Database в облаке
В статье подведены главные нововведения Oracle Database в облаке за 2024 год и прогнозы на 2025-й. Краткий обзор ключевых анонсов и направлений развития сервисов.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье подведены главные нововведения Oracle Database в облаке за 2024 год и прогнозы на 2025-й. Краткий обзор ключевых анонсов и направлений развития сервисов.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
2024 Year in Review – Exadata Database Service and Base Database Service Announcements You Might Have Missed
2024 has seen many groundbreaking new announcements for Oracle Database services in the cloud. As we wrap up the year, it’s a great time to look back and recap these key announcements as we prepare for even more innovative advances in 2025.
Новинки Oracle Database в облаке — 2024
Oracle в 2024 году запустила Database@Google Cloud и Database@AWS, представила Exadata Exascale с интеллектуальной архитектурой и Oracle Database 23ai с нативным Vector search — ключевые обновления для ADB‑D и AI‑решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle в 2024 году запустила Database@Google Cloud и Database@AWS, представила Exadata Exascale с интеллектуальной архитектурой и Oracle Database 23ai с нативным Vector search — ключевые обновления для ADB‑D и AI‑решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
2024 Year in Review for Autonomous Database on Dedicated Exadata Infrastructure
2024 was a landmark year for Oracle Database services in the cloud. We expanded our multicloud initiatives with the launch of Oracle Database@Google Cloud, followed by the exciting introduction of Oracle Database@AWS. We also unveiled Exadata Exascale, introducing…
Когда база данных становится открытой книгой
Базы данных превращаются в «открытую книгу», когда конфиденциальная информация из них становится доступна злоумышленникам или широкой публике из-за утечек. К сожалению, 2024-2025 годы принесли множество таких утечек – в самых разных отраслях. Согласно данным Роскомнадзора, только в России за 2024 год было зафиксировано 135 утечек баз данных, затронувших более 710 млн записей о россиянах. Лидерами по количеству утечек стали торговый сектор и государственные организации. В мире тенденция схожая: глобально число утечек и скомпрометированных записей бьёт рекорды. В этой статье будут разобраны недавние громкие кейсы утечек по секторам (энергетика, госсектор, e-commerce и др.), проанализируем технические причины: от открытых портов NoSQL и слитых резервных копий до уязвимых CI/CD-пайплайнов, а также практические рекомендации, как не допустить, чтобы ваша база данных стала общедоступной библиотекой. Мы в Security Vision также рассматриваем эти задачи как ключевые в разработке решений нового поколения, в том числе в области автоматизации защиты баз данных и безопасной разработки.
Читать: https://habr.com/ru/companies/securityvison/articles/959320/
#ru
@database_design | Другие наши каналы
Базы данных превращаются в «открытую книгу», когда конфиденциальная информация из них становится доступна злоумышленникам или широкой публике из-за утечек. К сожалению, 2024-2025 годы принесли множество таких утечек – в самых разных отраслях. Согласно данным Роскомнадзора, только в России за 2024 год было зафиксировано 135 утечек баз данных, затронувших более 710 млн записей о россиянах. Лидерами по количеству утечек стали торговый сектор и государственные организации. В мире тенденция схожая: глобально число утечек и скомпрометированных записей бьёт рекорды. В этой статье будут разобраны недавние громкие кейсы утечек по секторам (энергетика, госсектор, e-commerce и др.), проанализируем технические причины: от открытых портов NoSQL и слитых резервных копий до уязвимых CI/CD-пайплайнов, а также практические рекомендации, как не допустить, чтобы ваша база данных стала общедоступной библиотекой. Мы в Security Vision также рассматриваем эти задачи как ключевые в разработке решений нового поколения, в том числе в области автоматизации защиты баз данных и безопасной разработки.
Читать: https://habr.com/ru/companies/securityvison/articles/959320/
#ru
@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala
В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Читать: https://habr.com/ru/companies/datasapience/articles/959496/
#ru
@database_design | Другие наши каналы
В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Читать: https://habr.com/ru/companies/datasapience/articles/959496/
#ru
@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala
В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Читать: https://habr.com/ru/companies/datasapience/articles/959496/
#ru
@database_design | Другие наши каналы
В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Читать: https://habr.com/ru/companies/datasapience/articles/959496/
#ru
@database_design | Другие наши каналы
5 ключевых улучшений нового поколения однофазных ИБП Systeme Electric
Недавно мы анонсировали выход на российский рынок нового поколения однофазных источников бесперебойного питания серии Smart-Save Online SRT G2. Да, звучит, вероятно, достаточно длинно, но данное название лучше всего отражает саму суть новинки – это следующее поколение уже давно представленной на рынке линейки SRT и, как полагается, улучшенное поколение! В рамках данного обзора постараемся сформулировать ключевые улучшения, которых нам удалось добиться, а также пояснить, как это может помочь нашим клиентам и партнерам.
Предлагаем посмотреть на сами ИБП – в линейке доступны две серии, соответствующие мощностным диапазонам 1-3 кВА и 5-10 кВА. На текущий момент это устоявшаяся традиция делить однофазные ИБП именно так, то есть на те, которые можно воткнуть в обычную розетку 16 А, и на более мощные устройства, требующие уже клеммного подключения входного питания.
Начнем с меньшей мощности 1-3 кВА.
Читать: https://habr.com/ru/companies/se_blog/articles/959526/
#ru
@database_design | Другие наши каналы
Недавно мы анонсировали выход на российский рынок нового поколения однофазных источников бесперебойного питания серии Smart-Save Online SRT G2. Да, звучит, вероятно, достаточно длинно, но данное название лучше всего отражает саму суть новинки – это следующее поколение уже давно представленной на рынке линейки SRT и, как полагается, улучшенное поколение! В рамках данного обзора постараемся сформулировать ключевые улучшения, которых нам удалось добиться, а также пояснить, как это может помочь нашим клиентам и партнерам.
Предлагаем посмотреть на сами ИБП – в линейке доступны две серии, соответствующие мощностным диапазонам 1-3 кВА и 5-10 кВА. На текущий момент это устоявшаяся традиция делить однофазные ИБП именно так, то есть на те, которые можно воткнуть в обычную розетку 16 А, и на более мощные устройства, требующие уже клеммного подключения входного питания.
Начнем с меньшей мощности 1-3 кВА.
Читать: https://habr.com/ru/companies/se_blog/articles/959526/
#ru
@database_design | Другие наши каналы
HTTP и HTTPS: Разница
Очень часто на собеседованиях кандидаты слышат вопрос: «В чем разница между HTTP и HTTPS?» И так же часто делают задумчивое лицо, не зная, что ответить. Мы даже как-то писали об этом пост.
Сегодня пришло время рассказать, в чем же разница между HTTP и HTTPS, а также разобрать механику HTTP-запроса и ответа и ключевые принципы работы обоих протоколов. В общем, прочитав эту статью, вы точно сможете дать правильный ответ на собеседовании.
Читать: https://habr.com/ru/articles/959544/
#ru
@database_design | Другие наши каналы
Очень часто на собеседованиях кандидаты слышат вопрос: «В чем разница между HTTP и HTTPS?» И так же часто делают задумчивое лицо, не зная, что ответить. Мы даже как-то писали об этом пост.
Сегодня пришло время рассказать, в чем же разница между HTTP и HTTPS, а также разобрать механику HTTP-запроса и ответа и ключевые принципы работы обоих протоколов. В общем, прочитав эту статью, вы точно сможете дать правильный ответ на собеседовании.
Читать: https://habr.com/ru/articles/959544/
#ru
@database_design | Другие наши каналы
Dumper: единый инструмент для резервного копирования баз данных
Когда в инфраструктуре десятки сервисов и баз данных разных типов, ручное резервное копирование превращается в кошмар.
Один сервер использует PostgreSQL, другой — MySQL, третий — MongoDB, и для каждого нужны свои команды (pg_dump, mysqldump, mongodump) и свои скрипты.
Проект Dumper решает эту проблему он объединяет все типы баз в один универсальный инструмент.
Dumper написан на Go и работает через CLI, конфигурация задаётся в YAML — поэтому его легко встроить в cron, CI/CD pipelines, GitHub Actions или Docker-окружение.
Читать: https://habr.com/ru/articles/959572/
#ru
@database_design | Другие наши каналы
Когда в инфраструктуре десятки сервисов и баз данных разных типов, ручное резервное копирование превращается в кошмар.
Один сервер использует PostgreSQL, другой — MySQL, третий — MongoDB, и для каждого нужны свои команды (pg_dump, mysqldump, mongodump) и свои скрипты.
Проект Dumper решает эту проблему он объединяет все типы баз в один универсальный инструмент.
Dumper написан на Go и работает через CLI, конфигурация задаётся в YAML — поэтому его легко встроить в cron, CI/CD pipelines, GitHub Actions или Docker-окружение.
Читать: https://habr.com/ru/articles/959572/
#ru
@database_design | Другие наши каналы
Spark, DataSphere и немного магии: как мы строим аналитическую платформу в облаке для банка
Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними.
Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark™ и Jupyter‑ноутбуков в Yandex DataSphere.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/957470/
#ru
@database_design | Другие наши каналы
Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними.
Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark™ и Jupyter‑ноутбуков в Yandex DataSphere.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/957470/
#ru
@database_design | Другие наши каналы
dbt 101: что нужно знать на старте и лучшие практики
dbt — это фреймворк для трансформации данных внутри хранилища и отличный инструмент для аналитиков и дата-инженеров на больших проектах, где число SQL-скриптов может переваливать за сотни. Мы с командой много работаем с dbt, и в этой статье хочу поделиться своим опытом: расскажу о его ключевых элементах и некоторых лучших практиках на примере одного кейса.
Это не гайд, как развернуть dbt и создать проект, а знакомство с тулом для тех, кто пока с ним не работал и хочет разобраться, что это вообще такое.
Читать: https://habr.com/ru/articles/959846/
#ru
@database_design | Другие наши каналы
dbt — это фреймворк для трансформации данных внутри хранилища и отличный инструмент для аналитиков и дата-инженеров на больших проектах, где число SQL-скриптов может переваливать за сотни. Мы с командой много работаем с dbt, и в этой статье хочу поделиться своим опытом: расскажу о его ключевых элементах и некоторых лучших практиках на примере одного кейса.
Это не гайд, как развернуть dbt и создать проект, а знакомство с тулом для тех, кто пока с ним не работал и хочет разобраться, что это вообще такое.
Читать: https://habr.com/ru/articles/959846/
#ru
@database_design | Другие наши каналы
Становятся ли жёсткие диски лучше? Спросим кривую отказов
Если вы уже давно знакомы с Backblaze (особенно, если следите за обзорами Drive Stats), то наверняка читали наши обсуждения кривой отказов. В статье «Drive Failure Over Time: The Bathtub Curve Is Leaking» мы писали о том, как проверяли истинность старого инженерного принципа, гласящего, что сбои в работе привода, представленные в виде временного графика, демонстрируют предсказуемую U-образную кривую, иначе называемую кривая «ванны».
Но тест этого не подтвердил. В результате анализа нашей коллекции приводов были зафиксированы всплески и плато, которые никак не вписывались в предсказуемый паттерн. Теперь, спустя 13 лет непрерывного сбора данных, удалось получить более ясную картину, но и более странную.
И «ванна» в этом случае не просто «потекла» (отсылка к leak в названии вышеупомянутой статьи, — прим. пер.), её форма больше напоминает бордюр при входе в душевую кабину. Складная история о том, что вначале идут сбои, а потом спокойный средний период с плавным повышением отказов, больше не вписываются в реалии жизни наших приводов. Они становятся лучше. Говоря точнее, датасет Drive Stats указывает на повышение их качественных показателей конкретно в дата-центрах.
Давайте же посмотрим, как выглядит полученная нами кривая отказов, и как она соотносится с прежними поколениями анализа.
Если коротко, то жёсткие диски становятся лучше.
Читать: https://habr.com/ru/companies/ruvds/articles/958920/
#ru
@database_design | Другие наши каналы
Если вы уже давно знакомы с Backblaze (особенно, если следите за обзорами Drive Stats), то наверняка читали наши обсуждения кривой отказов. В статье «Drive Failure Over Time: The Bathtub Curve Is Leaking» мы писали о том, как проверяли истинность старого инженерного принципа, гласящего, что сбои в работе привода, представленные в виде временного графика, демонстрируют предсказуемую U-образную кривую, иначе называемую кривая «ванны».
Но тест этого не подтвердил. В результате анализа нашей коллекции приводов были зафиксированы всплески и плато, которые никак не вписывались в предсказуемый паттерн. Теперь, спустя 13 лет непрерывного сбора данных, удалось получить более ясную картину, но и более странную.
И «ванна» в этом случае не просто «потекла» (отсылка к leak в названии вышеупомянутой статьи, — прим. пер.), её форма больше напоминает бордюр при входе в душевую кабину. Складная история о том, что вначале идут сбои, а потом спокойный средний период с плавным повышением отказов, больше не вписываются в реалии жизни наших приводов. Они становятся лучше. Говоря точнее, датасет Drive Stats указывает на повышение их качественных показателей конкретно в дата-центрах.
Давайте же посмотрим, как выглядит полученная нами кривая отказов, и как она соотносится с прежними поколениями анализа.
Если коротко, то жёсткие диски становятся лучше.
Читать: https://habr.com/ru/companies/ruvds/articles/958920/
#ru
@database_design | Другие наши каналы
Эвристика: OR в SQL — это дорого
Один запрос выполняется 100 мс, другой — меньше 1 мс. Оба делают одно и то же, но второй написан на странном, почти алхимическом SQL. В чём подвох? Первый использует
Читать: https://habr.com/ru/companies/postgrespro/articles/953506/
#ru
@database_design | Другие наши каналы
Один запрос выполняется 100 мс, другой — меньше 1 мс. Оба делают одно и то же, но второй написан на странном, почти алхимическом SQL. В чём подвох? Первый использует
OR, а второй — хитрую комбинацию AND. Этот перевод — расследование того, почему условие OR так дорого обходится вашей базе данных, и практическое руководство по тому, как проектировать схемы, чтобы избежать этой ловушки производительности.Читать: https://habr.com/ru/companies/postgrespro/articles/953506/
#ru
@database_design | Другие наши каналы
Вертикальное шардирование базы данных: проблемы, решения, практические рекомендации
База данных — это сердце системы. И в какой-то момент это сердце начинает давать сбои. Не от объема данных, а от их разнородности. Таблица users разрастается до 200 колонок. Одни нужны для логина каждую секунду, другие — для годового отчета раз в год. В итоге, чтобы прочитать два "горячих" поля, база тащит с диска целый блок с "холодными" данными. Это неэффективно.
Читать: https://habr.com/ru/articles/959748/
#ru
@database_design | Другие наши каналы
База данных — это сердце системы. И в какой-то момент это сердце начинает давать сбои. Не от объема данных, а от их разнородности. Таблица users разрастается до 200 колонок. Одни нужны для логина каждую секунду, другие — для годового отчета раз в год. В итоге, чтобы прочитать два "горячих" поля, база тащит с диска целый блок с "холодными" данными. Это неэффективно.
Читать: https://habr.com/ru/articles/959748/
#ru
@database_design | Другие наши каналы
❤1
Какие приложения установить на Windows и macOS
Список разбит по категориям: от браузеров и гейминга до утилит безопасности и инструментов для продуктивности.
Читать: «Какие приложения установить на Windows и macOS»
#ru
@database_design | Другие наши каналы
Список разбит по категориям: от браузеров и гейминга до утилит безопасности и инструментов для продуктивности.
Читать: «Какие приложения установить на Windows и macOS»
#ru
@database_design | Другие наши каналы
Enterprise Manager 24ai: переработанный Oracle Data Masking
Enterprise Manager 24ai получил полностью обновлённый Oracle Data Masking and Subsetting: новый интерфейс и упрощённые рабочие процессы ускоряют обнаружение и маскирование конфиденциальных данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Enterprise Manager 24ai получил полностью обновлённый Oracle Data Masking and Subsetting: новый интерфейс и упрощённые рабочие процессы ускоряют обнаружение и маскирование конфиденциальных данных.
Читать подробнее
#en
@database_design | Другие наши каналы