Восстановление MariaDB до определенного момента
В статье рассмотрена техника восстановления базы данных MariaDB до определенного момента в прошлом. Описаны шаги, начиная с создания резервной копии и до применения бинарных логов. Подходит для тестовой среды, с подробными инструкциями по настройке и выполнению. Как восстановить данные из бинарного лога в MariaDB
В статье описан процесс восстановления данных в MariaDB, используя бинарные логи. Рассматривается задача возврата базы данных к состоянию, предшествующему определенной транзакции. Приведены шаги для идентификации нужного лога и инструкции по их применению. Полезно для администраторов БД! Восстановление базы данных в MariaDB до точки во времени
Как восстановить базу данных MariaDB до конкретного момента времени? Статья рассказывает о процессе применения бинарных логов и важных шагах для выполнения восстановления до заданной точки, включая редактирование SQL-файла и использование параметра остановки по времени.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье рассмотрена техника восстановления базы данных MariaDB до определенного момента в прошлом. Описаны шаги, начиная с создания резервной копии и до применения бинарных логов. Подходит для тестовой среды, с подробными инструкциями по настройке и выполнению. Как восстановить данные из бинарного лога в MariaDB
В статье описан процесс восстановления данных в MariaDB, используя бинарные логи. Рассматривается задача возврата базы данных к состоянию, предшествующему определенной транзакции. Приведены шаги для идентификации нужного лога и инструкции по их применению. Полезно для администраторов БД! Восстановление базы данных в MariaDB до точки во времени
Как восстановить базу данных MariaDB до конкретного момента времени? Статья рассказывает о процессе применения бинарных логов и важных шагах для выполнения восстановления до заданной точки, включая редактирование SQL-файла и использование параметра остановки по времени.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности для DBA и администраторов
В 2024 году команда AHF сконцентрировалась на помощи администраторам баз данных и флота. Новые функции позволяют предотвратить критические проблемы, решать возникающие задачи и лучше понимать конфигурации и события в базе данных. Узнайте больше о новых возможностях!
Читать подробнее
#en
@database_design | Другие наши каналы
В 2024 году команда AHF сконцентрировалась на помощи администраторам баз данных и флота. Новые функции позволяют предотвратить критические проблемы, решать возникающие задачи и лучше понимать конфигурации и события в базе данных. Узнайте больше о новых возможностях!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
AHF in 2024 - Feature Recap
During 2024 the AHF team has focused on helping DBAs and Fleet Admins to prevent critical problems, resolve issues and understand database configuration and events - learn more about the features involved.
Новая эра Exadata от Oracle
Oracle объявила о появлении Exadata Database на масштабе Exascale, что обеспечит глобальную доступность мощной вычислительной инфраструктуры. Это прорыв в обработке больших данных и повышении производительности баз данных для компаний по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle объявила о появлении Exadata Database на масштабе Exascale, что обеспечит глобальную доступность мощной вычислительной инфраструктуры. Это прорыв в обработке больших данных и повышении производительности баз данных для компаний по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Announcing the Limited Availability of Oracle Globally Distributed Exadata Database on Exascale Infrastructure
Zepto сокращает задержку на 40% с MongoDB
Индийский стартап Zepto использует MongoDB Atlas для оптимизации инфраструктуры, что позволило сократить задержку API на 40% и улучшить клиентский опыт. Переход на NoSQL помог Zepto справляться с шестикратным увеличением трафика без потерь в производительности. Обновления MongoDB и LangChain для AI-разработчиков
MongoDB теперь поддерживает хранение родительских и дочерних документов в одной коллекции, что упрощает использование векторов. Новый класс MongoDBDocStore облегчает управление документами. Сотрудничество MongoDB и LangChain делает разработку ИИ более удобной и эффективной.
Читать подробнее
#en
@database_design | Другие наши каналы
Индийский стартап Zepto использует MongoDB Atlas для оптимизации инфраструктуры, что позволило сократить задержку API на 40% и улучшить клиентский опыт. Переход на NoSQL помог Zepto справляться с шестикратным увеличением трафика без потерь в производительности. Обновления MongoDB и LangChain для AI-разработчиков
MongoDB теперь поддерживает хранение родительских и дочерних документов в одной коллекции, что упрощает использование векторов. Новый класс MongoDBDocStore облегчает управление документами. Сотрудничество MongoDB и LangChain делает разработку ИИ более удобной и эффективной.
Читать подробнее
#en
@database_design | Другие наши каналы
Как обновить PostgreSQL и не потерять данные: метод минимизации простоя
Мы успешно обновили кластер PostgreSQL с версии 13 до 16, обеспечив минимальный простой и высокую производительность. Процесс включал в себя создание новой реплики через логическую репликацию, перенос роли мастера на обновлённую реплику и настройку потоковой репликации. Несмотря на некоторые сложности, такие как управление LSN и проблемы с подписками, нам удалось сохранить данные и обеспечить синхронизацию.
Подробности читайте в статье.
Читать: https://habr.com/ru/companies/flant/articles/866250/
#ru
@database_design | Другие наши каналы
Мы успешно обновили кластер PostgreSQL с версии 13 до 16, обеспечив минимальный простой и высокую производительность. Процесс включал в себя создание новой реплики через логическую репликацию, перенос роли мастера на обновлённую реплику и настройку потоковой репликации. Несмотря на некоторые сложности, такие как управление LSN и проблемы с подписками, нам удалось сохранить данные и обеспечить синхронизацию.
Подробности читайте в статье.
Читать: https://habr.com/ru/companies/flant/articles/866250/
#ru
@database_design | Другие наши каналы
Как честно распределить вычислительные ресурсы? Показываем на примере YTsaurus
YTsaurus — платформа для распределённого хранения и обработки данных. С помощью неё пользователи могут производить вычисления с данными, которые хранятся на кластере. За запуск этих вычислений отвечает один из центральных компонентов системы — планировщик. Зачастую ресурсов кластера не хватает, чтобы одновременно запустить все желаемые вычислительные задачи. Поэтому одна из важных задач планировщика — умение грамотно распределять вычислительные ресурсы между пользователями.
Меня зовут Егор Щербин, я работаю в Yandex Infrastructure, в команде планировщика YTsaurus. О нём и расскажу в этой статье. А также о запуске вычислений в кластере YTsaurus, распределении ресурсов между вычислениями и о том, как управлять распределением, чтобы все операции получали ровно столько, сколько требуется.
Читать: https://habr.com/ru/companies/yandex/articles/860562/
#ru
@database_design | Другие наши каналы
YTsaurus — платформа для распределённого хранения и обработки данных. С помощью неё пользователи могут производить вычисления с данными, которые хранятся на кластере. За запуск этих вычислений отвечает один из центральных компонентов системы — планировщик. Зачастую ресурсов кластера не хватает, чтобы одновременно запустить все желаемые вычислительные задачи. Поэтому одна из важных задач планировщика — умение грамотно распределять вычислительные ресурсы между пользователями.
Меня зовут Егор Щербин, я работаю в Yandex Infrastructure, в команде планировщика YTsaurus. О нём и расскажу в этой статье. А также о запуске вычислений в кластере YTsaurus, распределении ресурсов между вычислениями и о том, как управлять распределением, чтобы все операции получали ровно столько, сколько требуется.
Читать: https://habr.com/ru/companies/yandex/articles/860562/
#ru
@database_design | Другие наши каналы
Низкоресурсный блокчейн для Интернета вещей: как с пользой «скрестить ежа с ужом»
Приветствую, Хабр! Хотелось бы этой статьей продолжить обзор нефинансовых применений блокчейн-технологий, начатый мной ранее на примере использования блокчейна для хранения идентификационных данных. Рассмотрим здесь существующие подходы по применению блокчейна в системах Интернета вещей различного назначения.
Казалось бы, между ресурсоемким по своей природе блокчейном и Интернетом вещей, построенном на использовании устройств с ограниченными ресурсами, лежит огромная пропасть. Однако многие из свойств блокчейна оказались настолько востребованными в Интернете вещей, что появилось целое направление блокчейн-технологий – низкоресурсный блокчейн (Lightweight Blockchain, LWB), в рамках которого было предложено множество подходов к созданию блокчейнов с пониженными требованиями к ресурсам и, следовательно, к их адаптации для реализации в системах Интернета вещей и, в частности, в устройствах с низкими вычислительными ресурсами.
Опишем далее, какие же свойства блокчейна оказались полезными для Интернета вещей, по каким направлениям идет создание низкоресурсных блокчейнов и как они впоследствии применяются.
Читать: https://habr.com/ru/companies/aktiv-company/articles/867238/
#ru
@database_design | Другие наши каналы
Приветствую, Хабр! Хотелось бы этой статьей продолжить обзор нефинансовых применений блокчейн-технологий, начатый мной ранее на примере использования блокчейна для хранения идентификационных данных. Рассмотрим здесь существующие подходы по применению блокчейна в системах Интернета вещей различного назначения.
Казалось бы, между ресурсоемким по своей природе блокчейном и Интернетом вещей, построенном на использовании устройств с ограниченными ресурсами, лежит огромная пропасть. Однако многие из свойств блокчейна оказались настолько востребованными в Интернете вещей, что появилось целое направление блокчейн-технологий – низкоресурсный блокчейн (Lightweight Blockchain, LWB), в рамках которого было предложено множество подходов к созданию блокчейнов с пониженными требованиями к ресурсам и, следовательно, к их адаптации для реализации в системах Интернета вещей и, в частности, в устройствах с низкими вычислительными ресурсами.
Опишем далее, какие же свойства блокчейна оказались полезными для Интернета вещей, по каким направлениям идет создание низкоресурсных блокчейнов и как они впоследствии применяются.
Читать: https://habr.com/ru/companies/aktiv-company/articles/867238/
#ru
@database_design | Другие наши каналы
Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения
Мы запустили Dagster, потому что в мире данных наблюдается кризис инструментов и инженерии. Существует драматическое несоответствие между сложностью и критичностью данных и инструментами и процессами, которые существуют для их поддержки.
Читать: https://habr.com/ru/articles/867132/
#ru
@database_design | Другие наши каналы
Мы запустили Dagster, потому что в мире данных наблюдается кризис инструментов и инженерии. Существует драматическое несоответствие между сложностью и критичностью данных и инструментами и процессами, которые существуют для их поддержки.
Читать: https://habr.com/ru/articles/867132/
#ru
@database_design | Другие наши каналы
Новый уровень защиты данных с Enterprise Manager 24ai
Enterprise Manager 24ai предлагает обновлённую функцию Oracle Data Masking и Subsetting. Новый интерфейс и оптимизированные процессы ускоряют обнаружение и маскировку чувствительных данных. Улучшения делают управление безопасностью данных проще и эффективнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Enterprise Manager 24ai предлагает обновлённую функцию Oracle Data Masking и Subsetting. Новый интерфейс и оптимизированные процессы ускоряют обнаружение и маскировку чувствительных данных. Улучшения делают управление безопасностью данных проще и эффективнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Всё про конфиги (лекция)
Материалы лекции про конфигурационные файлы — все основные аспекты написания и использования конфигов для самых маленьких, примеры кода на python.
Узнать страшную правду
Читать: https://habr.com/ru/articles/866468/
#ru
@database_design | Другие наши каналы
Материалы лекции про конфигурационные файлы — все основные аспекты написания и использования конфигов для самых маленьких, примеры кода на python.
Узнать страшную правду
Читать: https://habr.com/ru/articles/866468/
#ru
@database_design | Другие наши каналы
Упрощенный перенос данных MongoDB в BigQuery через JSON
Google Cloud представил обновление для Dataflow шаблонов MongoDB Atlas. Поддержка JSON позволяет загружать данные без преобразований прямо в BigQuery, что снижает затраты и улучшает производительность запросов. Это значительно упрощает анализ больших данных и обучение машин. Успешное масштабирование с MongoDB
Zepto увеличила трафик и улучшила время загрузки страниц на 14% благодаря MongoDB. Это позволило компании расти без узких мест и повысить конверсии. Разделение нагрузок на MongoDB обеспечило клиентам стабильную работу без влияния аналитических запросов. Узнайте больше на нашем сайте.
Читать подробнее
#en
@database_design | Другие наши каналы
Google Cloud представил обновление для Dataflow шаблонов MongoDB Atlas. Поддержка JSON позволяет загружать данные без преобразований прямо в BigQuery, что снижает затраты и улучшает производительность запросов. Это значительно упрощает анализ больших данных и обучение машин. Успешное масштабирование с MongoDB
Zepto увеличила трафик и улучшила время загрузки страниц на 14% благодаря MongoDB. Это позволило компании расти без узких мест и повысить конверсии. Разделение нагрузок на MongoDB обеспечило клиентам стабильную работу без влияния аналитических запросов. Узнайте больше на нашем сайте.
Читать подробнее
#en
@database_design | Другие наши каналы
Использование OCI-CLI для обеспечения безопасности баз данных
Текст: В блоге Алекс Ковуру делится инструкцией по использованию интерфейса командной строки OCI-CLI. Узнайте, как находить и регистрировать базы данных с помощью Data Safe, чтобы повысить их безопасность и начать сбор данных аудита.
Читать подробнее
#en
@database_design | Другие наши каналы
Текст: В блоге Алекс Ковуру делится инструкцией по использованию интерфейса командной строки OCI-CLI. Узнайте, как находить и регистрировать базы данных с помощью Data Safe, чтобы повысить их безопасность и начать сбор данных аудита.
Читать подробнее
#en
@database_design | Другие наши каналы
Будущее PostgreSQL: как 64-битный счетчик транзакций решает проблему масштабирования
Много лет в комьюнити PostgreSQL никто не верил что эта СУБД в принципе может использоваться в системах с большой транзакционной нагрузкой. То есть, какие-то тестовые лаборатории, бэкенд веб-приложений средней руки и так далее — вот его типичные задачи. А когда нужна серьёзная нагрузка, это уже надо брать СУБД за много денег и не сомневаться. Ну и раз никто не верил, то и не развивал особенно его в эту сторону, оставляя всё больше повисших в воздухе вопросов.
Но на практике вышло так, что наши клиенты всё чаще сталкиваются с проблемами, которые породил этот подход. Например, в международном комьюнити постгреса считается, что 64 ядра — это предельный размер сервера, где его вообще можно запустить. А мы всё чаще видим, что это становится минимальной типовой конфигурацией. Другим таким узким местом стал счётчик транзакций, ситуация с которым намного более интересная. Поэтому о нём мы сегодня и поговорим. В чём там проблема, как мы её решили, и что на эту тему думает международное комьюнити.
Читать: https://habr.com/ru/companies/postgrespro/articles/864142/
#ru
@database_design | Другие наши каналы
Много лет в комьюнити PostgreSQL никто не верил что эта СУБД в принципе может использоваться в системах с большой транзакционной нагрузкой. То есть, какие-то тестовые лаборатории, бэкенд веб-приложений средней руки и так далее — вот его типичные задачи. А когда нужна серьёзная нагрузка, это уже надо брать СУБД за много денег и не сомневаться. Ну и раз никто не верил, то и не развивал особенно его в эту сторону, оставляя всё больше повисших в воздухе вопросов.
Но на практике вышло так, что наши клиенты всё чаще сталкиваются с проблемами, которые породил этот подход. Например, в международном комьюнити постгреса считается, что 64 ядра — это предельный размер сервера, где его вообще можно запустить. А мы всё чаще видим, что это становится минимальной типовой конфигурацией. Другим таким узким местом стал счётчик транзакций, ситуация с которым намного более интересная. Поэтому о нём мы сегодня и поговорим. В чём там проблема, как мы её решили, и что на эту тему думает международное комьюнити.
Читать: https://habr.com/ru/companies/postgrespro/articles/864142/
#ru
@database_design | Другие наши каналы
Как долго можно извлечь данные из RAM после отключения компьютера?
Для обеспечения сохранности содержимого Dynamic RAM (DRAM) его необходимо периодически обновлять. Если значение какого-то бита поменяется самопроизвольно, то можно считать, что память работает не так, как должна. JEDEC (Joint Electron Device Engineering Council — организация, среди прочего, разработавшая спецификацию DDR) определяет, как часто это должно происходить для обеспечения надлежащей работы. Однако некоторых людей больше интересует, как долго данные могут сохраняться после отключения питания DRAM. В этом посте мы расскажем, как это можно измерить, а также поделимся результатами, полученными при исследовании пары протестированных платформ.
Читать: https://habr.com/ru/companies/ruvds/articles/867648/
#ru
@database_design | Другие наши каналы
Для обеспечения сохранности содержимого Dynamic RAM (DRAM) его необходимо периодически обновлять. Если значение какого-то бита поменяется самопроизвольно, то можно считать, что память работает не так, как должна. JEDEC (Joint Electron Device Engineering Council — организация, среди прочего, разработавшая спецификацию DDR) определяет, как часто это должно происходить для обеспечения надлежащей работы. Однако некоторых людей больше интересует, как долго данные могут сохраняться после отключения питания DRAM. В этом посте мы расскажем, как это можно измерить, а также поделимся результатами, полученными при исследовании пары протестированных платформ.
Читать: https://habr.com/ru/companies/ruvds/articles/867648/
#ru
@database_design | Другие наши каналы
Прорыв в обработке данных в реальном времени с MongoDB и Ably
Текст поста: MongoDB и Ably представили новый коннектор для MongoDB Atlas, который открывает возможности работы с данными в реальном времени. Это решение позволяет компаниям всех размеров мгновенно синхронизировать данные, гарантируя их согласованность и повышение эффективности в секторах от финансов до здравоохранения. Эффективная интеграция MongoDB и BigQuery
Google Dataflow предлагает гибкий способ переноса данных из MongoDB в BigQuery. С его помощью можно обрабатывать целые коллекции или учитывать изменения через Change Stream. Пользовательские функции и поддержка JSON формата позволяют настроить вывод под конкретные нужды и оптимизировать процесс обработки данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Текст поста: MongoDB и Ably представили новый коннектор для MongoDB Atlas, который открывает возможности работы с данными в реальном времени. Это решение позволяет компаниям всех размеров мгновенно синхронизировать данные, гарантируя их согласованность и повышение эффективности в секторах от финансов до здравоохранения. Эффективная интеграция MongoDB и BigQuery
Google Dataflow предлагает гибкий способ переноса данных из MongoDB в BigQuery. С его помощью можно обрабатывать целые коллекции или учитывать изменения через Change Stream. Пользовательские функции и поддержка JSON формата позволяют настроить вывод под конкретные нужды и оптимизировать процесс обработки данных.
Читать подробнее
#en
@database_design | Другие наши каналы
pg_partman: автоматизация партиционирования PostgreSQL
Ситуация: у вас PostgreSQL, в котором копятся гигантские таблицы. Вы попытались их разбить по времени или по ID, но все уперлось в рутинный менеджмент: надо создавать новые партиции, чистить старые, не забыть настроить индексы... Короче, превращается это в сериал на сто сезонов. А может, вы используете встроенное декларативное партиционирование, но хочется чего-то поудобнее? Вот тут хорошо поможет pg_partman. Это расширение — фактически «менеджер по партиционированию», который сделает половину этой рутины за вас.
pg_partman — это расширение к PostgreSQL, которое упрощает декларативное партиционирование больших таблиц по времени или по числовым значениям. Не надо вручную создавать новые партиции, ломать голову над датами, выпиливать старые партиции. pg_partman сам создаст нужные секции вперед, поможет с очисткой старых, подскажет, если данные вдруг залетели в дефолтный партишн.
Читать: https://habr.com/ru/companies/otus/articles/866192/
#ru
@database_design | Другие наши каналы
Ситуация: у вас PostgreSQL, в котором копятся гигантские таблицы. Вы попытались их разбить по времени или по ID, но все уперлось в рутинный менеджмент: надо создавать новые партиции, чистить старые, не забыть настроить индексы... Короче, превращается это в сериал на сто сезонов. А может, вы используете встроенное декларативное партиционирование, но хочется чего-то поудобнее? Вот тут хорошо поможет pg_partman. Это расширение — фактически «менеджер по партиционированию», который сделает половину этой рутины за вас.
pg_partman — это расширение к PostgreSQL, которое упрощает декларативное партиционирование больших таблиц по времени или по числовым значениям. Не надо вручную создавать новые партиции, ломать голову над датами, выпиливать старые партиции. pg_partman сам создаст нужные секции вперед, поможет с очисткой старых, подскажет, если данные вдруг залетели в дефолтный партишн.
Читать: https://habr.com/ru/companies/otus/articles/866192/
#ru
@database_design | Другие наши каналы
Интернет будущего: от свободы к централизации и обратно
Этой статьёй я открываю серию материалов, посвящённых проблемам современного интернета, его централизации и возможным решениям. Вводная статья раскрывает основную проблематику: как интернет, задуманный как свободное и децентрализованное пространство, превратился в контролируемую и централизованную сеть. Здесь и в следующих статьях я представлю детальный разбор разработанной мною технологии децентрализации, которая может предложить решение для преодоления этих проблем.
Читать: https://habr.com/ru/articles/867688/
#ru
@database_design | Другие наши каналы
Этой статьёй я открываю серию материалов, посвящённых проблемам современного интернета, его централизации и возможным решениям. Вводная статья раскрывает основную проблематику: как интернет, задуманный как свободное и децентрализованное пространство, превратился в контролируемую и централизованную сеть. Здесь и в следующих статьях я представлю детальный разбор разработанной мною технологии децентрализации, которая может предложить решение для преодоления этих проблем.
Читать: https://habr.com/ru/articles/867688/
#ru
@database_design | Другие наши каналы
Exadata — больше, чем просто для крупных компаний
Exadata уже более 15 лет является ведущей платформой для Oracle Database. Многие считают, что она подходит только для критически важных задач или крупных корпораций. Однако это мнение ошибочно. Узнайте больше о ее широких возможностях.
Читать подробнее
#en
@database_design | Другие наши каналы
Exadata уже более 15 лет является ведущей платформой для Oracle Database. Многие считают, что она подходит только для критически важных задач или крупных корпораций. Однако это мнение ошибочно. Узнайте больше о ее широких возможностях.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Exadata for Everyone: Extreme Performance Meets Extreme Low Cost
For over 15 years, Exadata has been the premier platform for Oracle Database workloads. Now, you may have thought that Exadata was only for mission critical workloads and the largest databases or is targeted only for large enterprise customers. Well, think…
Oracle RAC в облаке: максимум возможностей
Как Oracle RAC помогает современным компаниям в облаке? Технология обеспечивает высокую доступность и масштабируемость баз данных, позволяя запускать их на нескольких серверах одновременно. Узнайте, как использовать эти преимущества в облачной среде.
Читать подробнее
#en
@database_design | Другие наши каналы
Как Oracle RAC помогает современным компаниям в облаке? Технология обеспечивает высокую доступность и масштабируемость баз данных, позволяя запускать их на нескольких серверах одновременно. Узнайте, как использовать эти преимущества в облачной среде.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Using Oracle Real Application Clusters in the Public Cloud
Oracle RAC was designed to allow a single Oracle Database to run across multiple servers to maximize availability and enable horizontal scalability. So, how can users nowadays take advantage of Oracle RAC in the cloud?
Итоги 2024 года для Oracle Database в облаке
2024 год стал важным для Oracle Database в облаке благодаря множеству новаторских объявлений. Подводим итоги года и готовимся к ещё более впечатляющим инновациям в 2025 году. Ознакомьтесь с ключевыми событиями года и ожидайте новых достижений!
Читать подробнее
#en
@database_design | Другие наши каналы
2024 год стал важным для Oracle Database в облаке благодаря множеству новаторских объявлений. Подводим итоги года и готовимся к ещё более впечатляющим инновациям в 2025 году. Ознакомьтесь с ключевыми событиями года и ожидайте новых достижений!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
2024 Year in Review – Exadata Database Service and Base Database Service Announcements You Might Have Missed
2024 has seen many groundbreaking new announcements for Oracle Database services in the cloud. As we wrap up the year, it’s a great time to look back and recap these key announcements as we prepare for even more innovative advances in 2025.