Тестирование блочных стораджей: нюансы и особенности практики
Привет, Хабр! Меня зовут Сергей Качкин. Вместе с командой я занимаюсь тестированием производительности систем хранения данных: много тестов делаем сами, видим результаты наших коллег и заказчиков, так у нас накопилось некоторое количество опыта, которым хочется поделиться.
В этой статье я расскажу про тестирование блочных стораджей. Начнем с теории — поговорим о выборе цели теста, отличиях синтетики от реальных нагрузок, выборе инструмента для генерации нагрузки. Затем перейдём к практике — тестированию случайного и последовательного доступа, измерению масштабируемости СХД.
Читать: https://habr.com/ru/post/716220/
Привет, Хабр! Меня зовут Сергей Качкин. Вместе с командой я занимаюсь тестированием производительности систем хранения данных: много тестов делаем сами, видим результаты наших коллег и заказчиков, так у нас накопилось некоторое количество опыта, которым хочется поделиться.
В этой статье я расскажу про тестирование блочных стораджей. Начнем с теории — поговорим о выборе цели теста, отличиях синтетики от реальных нагрузок, выборе инструмента для генерации нагрузки. Затем перейдём к практике — тестированию случайного и последовательного доступа, измерению масштабируемости СХД.
Читать: https://habr.com/ru/post/716220/
How to Seamlessly Use MongoDB Atlas and Databricks Lakehouse Together
Read: https://www.mongodb.com/blog/post/how-seamlessly-use-atlas-databricks-lakehouse-together
Read: https://www.mongodb.com/blog/post/how-seamlessly-use-atlas-databricks-lakehouse-together
👍1
Сможет ли Event Sourcing перерасти базы данных?
Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.
В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать: https://habr.com/ru/post/718768/
Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.
В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать: https://habr.com/ru/post/718768/
Сможет ли Event Sourcing перерасти базы данных?
Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.
В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать: https://habr.com/ru/post/718768/
Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.
В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать: https://habr.com/ru/post/718768/
What’s New in Atlas Charts: New Sample Dashboards and Embedding SDK Improvements
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-new-sample-dashboards-embedding-sdk-improvements
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-new-sample-dashboards-embedding-sdk-improvements
MongoDB Atlas as the Data Hub for Smart Manufacturing with Microsoft Azure
Read: https://www.mongodb.com/blog/post/mongodb-data-hub-smart-manufacturing-microsoft-azure
Read: https://www.mongodb.com/blog/post/mongodb-data-hub-smart-manufacturing-microsoft-azure
Как выбрать для своего конвейера данных максимально эффективную архитектуру
Привет! Меня зовут Михаил Благов, я руководитель департамента «Чаптер инженеров данных и разработчиков» в beeline tech. В этом посте я хочу поделиться способом, с помощью которого можно выбрать подходящую архитектуру для конвейера данных в зависимости от требований к нему. В частности, обсудим паттерн CDC (change data capture, aka «захват изменений»), основная идея которого — быстрая репликация какого-то источника в аналитическое хранилище.
Под катом мы:
- познакомимся с вариантами архитектуры конвейеров данных: из каких компонентов и как его можно собирать,
- рассмотрим и сравним четыре разные архитектуры конвейеров.
Disclaimer: серебряной пули не будет, в этой статье я поделюсь опытом выбора архитектуры для решения конкретной задачи. Аналогичный выбор для других случаев потребует дополнительных исследований и замеров производительности.
Начнем с матчасти
Читать: https://habr.com/ru/post/719426/
Привет! Меня зовут Михаил Благов, я руководитель департамента «Чаптер инженеров данных и разработчиков» в beeline tech. В этом посте я хочу поделиться способом, с помощью которого можно выбрать подходящую архитектуру для конвейера данных в зависимости от требований к нему. В частности, обсудим паттерн CDC (change data capture, aka «захват изменений»), основная идея которого — быстрая репликация какого-то источника в аналитическое хранилище.
Под катом мы:
- познакомимся с вариантами архитектуры конвейеров данных: из каких компонентов и как его можно собирать,
- рассмотрим и сравним четыре разные архитектуры конвейеров.
Disclaimer: серебряной пули не будет, в этой статье я поделюсь опытом выбора архитектуры для решения конкретной задачи. Аналогичный выбор для других случаев потребует дополнительных исследований и замеров производительности.
Начнем с матчасти
Читать: https://habr.com/ru/post/719426/
MongoDB Atlas Integrations for AWS CloudFormation and CDK are now Generally Available
Read: https://www.mongodb.com/blog/post/atlas-integrations-aws-cloud-formation-cdk-now-generally-available
Read: https://www.mongodb.com/blog/post/atlas-integrations-aws-cloud-formation-cdk-now-generally-available
MongoDB Atlas Integrations for CDKTF are now Generally Available
Read: https://www.mongodb.com/blog/post/mongodb-atlas-integrations-cdktf-now-generally-available
Read: https://www.mongodb.com/blog/post/mongodb-atlas-integrations-cdktf-now-generally-available
[recovery mode] Архитектура потоковой обработки медиа-данных
Что такое поток мультимедиа? Обычно это потоковое аудио или видео.
Существует множество источников таких данных:
- Веб-камеры, сетевые ip-камеры
- Звонки из call-центров (записываются и анализируются!)
- Стримы игр на ютуб
- и т.д.
Читать: https://habr.com/ru/post/719566/
Что такое поток мультимедиа? Обычно это потоковое аудио или видео.
Существует множество источников таких данных:
- Веб-камеры, сетевые ip-камеры
- Звонки из call-центров (записываются и анализируются!)
- Стримы игр на ютуб
- и т.д.
Читать: https://habr.com/ru/post/719566/
Autonomous Container Database Version Control
Blog that describes Version control for Autonomous Container Database
Read: https://blogs.oracle.com/database/post/autonomous-container-database-version-control
Blog that describes Version control for Autonomous Container Database
Read: https://blogs.oracle.com/database/post/autonomous-container-database-version-control
Oracle
Autonomous Container Database Version Control
Blog that describes Version control for Autonomous Container Database
6 книг по MySQL для старта работы и погружения в технологию
MySQL — реляционная СУБД, использующая декларативный язык программирования SQL. Она предлагает все необходимые возможности для создания баз данных и написания серверных приложений.
В нашей подборке — 6 книг по MySQL, которые будут полезны как на старте, так и для развития навыков. Рекомендуйте свои книги в комментариях!
Читать: https://habr.com/ru/post/719242/
MySQL — реляционная СУБД, использующая декларативный язык программирования SQL. Она предлагает все необходимые возможности для создания баз данных и написания серверных приложений.
В нашей подборке — 6 книг по MySQL, которые будут полезны как на старте, так и для развития навыков. Рекомендуйте свои книги в комментариях!
Читать: https://habr.com/ru/post/719242/
Queenly Builds New Formalwear Shopping Experience With Full Text Search Indexing
Read: https://www.mongodb.com/blog/post/queenly-builds-new-formalwear-shopping-experience-with-full-text-search-indexing
Read: https://www.mongodb.com/blog/post/queenly-builds-new-formalwear-shopping-experience-with-full-text-search-indexing
👍1
MongoDB Welcomes New Cohort of Community Champions and Enthusiasts
Read: https://www.mongodb.com/blog/post/mongodb-welcomes-new-community-advocacy-program-members
Read: https://www.mongodb.com/blog/post/mongodb-welcomes-new-community-advocacy-program-members
Банк Открытие ищет эксперта в Oracle DBA
Вам нужно будет заниматься:
— установкой, настройкой и резервным копированием БД;
— поиском узких мест в быстродействии БД и предложение путей их решения;
— помощью разработчикам в оптимизации запросов;
— диагностикой и устранением неисправностей.
Требуется опыт работы с Oracle от 3-х лет.
Подробнее про обязанности, требования к кандидату и бонусы можно прочитать в полном описании вакансии: https://tprg.ru/J8wD
#вакансия
Вам нужно будет заниматься:
— установкой, настройкой и резервным копированием БД;
— поиском узких мест в быстродействии БД и предложение путей их решения;
— помощью разработчикам в оптимизации запросов;
— диагностикой и устранением неисправностей.
Требуется опыт работы с Oracle от 3-х лет.
Подробнее про обязанности, требования к кандидату и бонусы можно прочитать в полном описании вакансии: https://tprg.ru/J8wD
#вакансия
MapReduce: как и зачем?
Пример задачи.
Хотим автоматизировать огромный фруктовый рынок. На каждое событие будем писать строчку в структурированный лог. Этот лог не является частью runtime функционирования рынка, но может быть полезен для изучения статистики и аналитики.
Например, на основании лога продавец может сделать вывод, что свежие яблоки выгоднее привозить к 13:00.
Читать: https://habr.com/ru/post/720050/
Пример задачи.
Хотим автоматизировать огромный фруктовый рынок. На каждое событие будем писать строчку в структурированный лог. Этот лог не является частью runtime функционирования рынка, но может быть полезен для изучения статистики и аналитики.
Например, на основании лога продавец может сделать вывод, что свежие яблоки выгоднее привозить к 13:00.
Читать: https://habr.com/ru/post/720050/
Оператор LIKE в SQL: примеры и синтаксис
LIKE в SQL выполняет функцию оператора, который помогает фильтровать результаты. Показываем, как правильно использовать оператор LIKE.
Читать: «Оператор LIKE в SQL: примеры и синтаксис»
LIKE в SQL выполняет функцию оператора, который помогает фильтровать результаты. Показываем, как правильно использовать оператор LIKE.
Читать: «Оператор LIKE в SQL: примеры и синтаксис»
Аномалии под нагрузкой в PostgreSQL: о чём стоит помнить и с чем надо бороться
В этой статье мы разберём несколько аномальных случаев высокой нагрузки в СУБД PostgreSQL. Что это такое? Обычно PostgreSQL хорошо показывает себя под нагрузкой и оправдывает ожидания в отношении производительности — она остаётся высокой. Но при определённых профилях нагрузки СУБД может вести себя не так, как мы ожидаем. Это и есть аномалии, на которых мы сосредоточимся в данной статье (для тех, кто предпочитает видео, эта информация доступна в виде записи доклада на HighLoad++).
Наша компания помогает обслуживать мультитерабайтные базы данных в крупных проектах, поэтому мой рассказ об аномалиях основан на реальном опыте промышленной эксплуатации СУБД в Postgres Professional — порой мы сталкиваемся с тем, что СУБД ведёт себя не так, как мы ожидали.
Также в рамках статьи мы рассмотрим следующее:
Читать: https://habr.com/ru/post/720272/
В этой статье мы разберём несколько аномальных случаев высокой нагрузки в СУБД PostgreSQL. Что это такое? Обычно PostgreSQL хорошо показывает себя под нагрузкой и оправдывает ожидания в отношении производительности — она остаётся высокой. Но при определённых профилях нагрузки СУБД может вести себя не так, как мы ожидаем. Это и есть аномалии, на которых мы сосредоточимся в данной статье (для тех, кто предпочитает видео, эта информация доступна в виде записи доклада на HighLoad++).
Наша компания помогает обслуживать мультитерабайтные базы данных в крупных проектах, поэтому мой рассказ об аномалиях основан на реальном опыте промышленной эксплуатации СУБД в Postgres Professional — порой мы сталкиваемся с тем, что СУБД ведёт себя не так, как мы ожидали.
Также в рамках статьи мы рассмотрим следующее:
Читать: https://habr.com/ru/post/720272/
👍1
Как мы сокращаем время простоя при установке обновлений схемы базы данных. Советы разработчикам
Привет! Я работаю в компании Bercut, которая более 20 лет занимается разработкой и поддержкой ПО для операторов сотовой и фиксированной связи. Сегодня я хочу рассказать о наших подходах к сокращению времени простоя продуктивного комплекса при установке обновлений схемы данных на СУБД Oracle. Целевая аудитория — начинающие и продолжающие разработчики, которым интересно узнать о различных вариантах распараллеливания и ускорения работы DDL, DML и прочих штуках, облегчающих процесс отладки и установки.
Читать: https://habr.com/ru/post/720282/
Привет! Я работаю в компании Bercut, которая более 20 лет занимается разработкой и поддержкой ПО для операторов сотовой и фиксированной связи. Сегодня я хочу рассказать о наших подходах к сокращению времени простоя продуктивного комплекса при установке обновлений схемы данных на СУБД Oracle. Целевая аудитория — начинающие и продолжающие разработчики, которым интересно узнать о различных вариантах распараллеливания и ускорения работы DDL, DML и прочих штуках, облегчающих процесс отладки и установки.
Читать: https://habr.com/ru/post/720282/
Проблема построения оптимального плана выполнения запроса при использовании коллекций. Применение Extensible Optimizer
Привет! Я работаю в компании Bercut, мы более 20 лет занимается разработкой и поддержкой ПО для операторов сотовой и фиксированной связи. Прошел путь от инженера в отделе сопровождения до менеджера продукта. В последние годы работаю ведущим специалистом в отделе администрирования (Senior DBA) и решаю проблемы производительности высоконагруженных биллинговых базах данных, обслуживающих от сотен тысяч до десятков миллионов абонентов. Сегодня я хочу рассказать про проблему построения оптимального плана выполнения запроса при использовании коллекций в качестве входных переменных запроса и вариантах ее решения.
Читать: https://habr.com/ru/post/720326/
Привет! Я работаю в компании Bercut, мы более 20 лет занимается разработкой и поддержкой ПО для операторов сотовой и фиксированной связи. Прошел путь от инженера в отделе сопровождения до менеджера продукта. В последние годы работаю ведущим специалистом в отделе администрирования (Senior DBA) и решаю проблемы производительности высоконагруженных биллинговых базах данных, обслуживающих от сотен тысяч до десятков миллионов абонентов. Сегодня я хочу рассказать про проблему построения оптимального плана выполнения запроса при использовании коллекций в качестве входных переменных запроса и вариантах ее решения.
Читать: https://habr.com/ru/post/720326/