DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новая версия Oracle Key Vault 21.10 уже доступна!

Oracle представила обновление Key Vault 21.10, которое предлагает улучшенные возможности безопасности и упрощенные операционные процессы. Это обновление помогает максимально эффективно использовать ваши вложения в Key Vault. Узнайте больше о всех новшествах!

Читать подробнее

#en

@database_design | Другие наши каналы
Знакомство со слоем абстракции Netflix для хранения временных рядов

Netflix продолжает расширять бизнес и диверсифицироваться в различных направлениях, вроде доставки видео по запросу и гейминга. В результате всё важнее становятся технологии, обеспечивающие загрузку временных (темпоральных) данных в системы компании и их хранение. Речь идёт об огромных объёмах данных, измеряемых петабайтами. А задержки доступа к этим данным должны укладываться в миллисекунду. В предыдущих материалах мы рассказывали о нашем слое абстракции для хранения данных типа «ключ-значение», и о платформе, реализующий возможности шлюза данных. И то и другое — это неотъемлемые части подсистемы, отвечающей в Netflix за работу с данными. Система хранения данных типа «ключ-значение» — это гибкое и хорошо масштабируемое решение для работы со структурированными данными соответствующего формата. А шлюз данных — это платформа, которая даёт компании базовую инфраструктуру, обеспечивающую защиту, настройку, развёртывание компонентов, ориентированных на работу с данными.


Читать: https://habr.com/ru/companies/wunderfund/articles/866912/

#ru

@database_design | Другие наши каналы
🔥 Новые функции LangChain и MongoDB: что нового?

LangChain и MongoDB представили два улучшения: чекпойнтеры и нативные ретриверы "родитель-дитя". Эти новинки помогают разработчикам более эффективно управлять состоянием приложений и улучшать производительность дорогостоящих методов извлечения данных. Следите за новостями, ведь это только начало! Ускорение разработки RAG-функций с MongoDB

Langtrace AI объединяется с MongoDB для улучшения разработки RAG-функций. Благодаря интеграции компании смогут быстрее выводить продукты на рынок и повышать точность их работы. Подробности о возможностях и партнёрствах представлены в AI Resources Hub.

Читать подробнее

#en

@database_design | Другие наши каналы
Восстановление MariaDB до определенного момента

В статье рассмотрена техника восстановления базы данных MariaDB до определенного момента в прошлом. Описаны шаги, начиная с создания резервной копии и до применения бинарных логов. Подходит для тестовой среды, с подробными инструкциями по настройке и выполнению. Как восстановить данные из бинарного лога в MariaDB

В статье описан процесс восстановления данных в MariaDB, используя бинарные логи. Рассматривается задача возврата базы данных к состоянию, предшествующему определенной транзакции. Приведены шаги для идентификации нужного лога и инструкции по их применению. Полезно для администраторов БД! Восстановление базы данных в MariaDB до точки во времени

Как восстановить базу данных MariaDB до конкретного момента времени? Статья рассказывает о процессе применения бинарных логов и важных шагах для выполнения восстановления до заданной точки, включая редактирование SQL-файла и использование параметра остановки по времени.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности для DBA и администраторов

В 2024 году команда AHF сконцентрировалась на помощи администраторам баз данных и флота. Новые функции позволяют предотвратить критические проблемы, решать возникающие задачи и лучше понимать конфигурации и события в базе данных. Узнайте больше о новых возможностях!

Читать подробнее

#en

@database_design | Другие наши каналы
Новая эра Exadata от Oracle

Oracle объявила о появлении Exadata Database на масштабе Exascale, что обеспечит глобальную доступность мощной вычислительной инфраструктуры. Это прорыв в обработке больших данных и повышении производительности баз данных для компаний по всему миру.

Читать подробнее

#en

@database_design | Другие наши каналы
Zepto сокращает задержку на 40% с MongoDB

Индийский стартап Zepto использует MongoDB Atlas для оптимизации инфраструктуры, что позволило сократить задержку API на 40% и улучшить клиентский опыт. Переход на NoSQL помог Zepto справляться с шестикратным увеличением трафика без потерь в производительности. Обновления MongoDB и LangChain для AI-разработчиков

MongoDB теперь поддерживает хранение родительских и дочерних документов в одной коллекции, что упрощает использование векторов. Новый класс MongoDBDocStore облегчает управление документами. Сотрудничество MongoDB и LangChain делает разработку ИИ более удобной и эффективной.

Читать подробнее

#en

@database_design | Другие наши каналы
Как обновить PostgreSQL и не потерять данные: метод минимизации простоя

Мы успешно обновили кластер PostgreSQL с версии 13 до 16, обеспечив минимальный простой и высокую производительность. Процесс включал в себя создание новой реплики через логическую репликацию, перенос роли мастера на обновлённую реплику и настройку потоковой репликации. Несмотря на некоторые сложности, такие как управление LSN и проблемы с подписками, нам удалось сохранить данные и обеспечить синхронизацию.

Подробности читайте в статье.


Читать: https://habr.com/ru/companies/flant/articles/866250/

#ru

@database_design | Другие наши каналы
Как честно распределить вычислительные ресурсы? Показываем на примере YTsaurus

YTsaurus — платформа для распределённого хранения и обработки данных. С помощью неё пользователи могут производить вычисления с данными, которые хранятся на кластере. За запуск этих вычислений отвечает один из центральных компонентов системы — планировщик. Зачастую ресурсов кластера не хватает, чтобы одновременно запустить все желаемые вычислительные задачи. Поэтому одна из важных задач планировщика — умение грамотно распределять вычислительные ресурсы между пользователями.

Меня зовут Егор Щербин, я работаю в Yandex Infrastructure, в команде планировщика YTsaurus. О нём и расскажу в этой статье. А также о запуске вычислений в кластере YTsaurus, распределении ресурсов между вычислениями и о том, как управлять распределением, чтобы все операции получали ровно столько, сколько требуется.


Читать: https://habr.com/ru/companies/yandex/articles/860562/

#ru

@database_design | Другие наши каналы
Низкоресурсный блокчейн для Интернета вещей: как с пользой «скрестить ежа с ужом»

Приветствую, Хабр! Хотелось бы этой статьей продолжить обзор нефинансовых применений блокчейн-технологий, начатый мной ранее на примере использования блокчейна для хранения идентификационных данных. Рассмотрим здесь существующие подходы по применению блокчейна в системах Интернета вещей различного назначения.

Казалось бы, между ресурсоемким по своей природе блокчейном и Интернетом вещей, построенном на использовании устройств с ограниченными ресурсами, лежит огромная пропасть. Однако многие из свойств блокчейна оказались настолько востребованными в Интернете вещей, что появилось целое направление блокчейн-технологий – низкоресурсный блокчейн (Lightweight Blockchain, LWB), в рамках которого было предложено множество подходов к созданию блокчейнов с пониженными требованиями к ресурсам и, следовательно, к их адаптации для реализации в системах Интернета вещей и, в частности, в устройствах с низкими вычислительными ресурсами.

Опишем далее, какие же свойства блокчейна оказались полезными для Интернета вещей, по каким направлениям идет создание низкоресурсных блокчейнов и как они впоследствии применяются.


Читать: https://habr.com/ru/companies/aktiv-company/articles/867238/

#ru

@database_design | Другие наши каналы
Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения

Мы запустили Dagster, потому что в мире данных наблюдается кризис инструментов и инженерии. Существует драматическое несоответствие между сложностью и критичностью данных и инструментами и процессами, которые существуют для их поддержки.


Читать: https://habr.com/ru/articles/867132/

#ru

@database_design | Другие наши каналы
Новый уровень защиты данных с Enterprise Manager 24ai

Enterprise Manager 24ai предлагает обновлённую функцию Oracle Data Masking и Subsetting. Новый интерфейс и оптимизированные процессы ускоряют обнаружение и маскировку чувствительных данных. Улучшения делают управление безопасностью данных проще и эффективнее.

Читать подробнее

#en

@database_design | Другие наши каналы
Всё про конфиги (лекция)

Материалы лекции про конфигурационные файлы — все основные аспекты написания и использования конфигов для самых маленьких, примеры кода на python.
Узнать страшную правду

Читать: https://habr.com/ru/articles/866468/

#ru

@database_design | Другие наши каналы
Упрощенный перенос данных MongoDB в BigQuery через JSON

Google Cloud представил обновление для Dataflow шаблонов MongoDB Atlas. Поддержка JSON позволяет загружать данные без преобразований прямо в BigQuery, что снижает затраты и улучшает производительность запросов. Это значительно упрощает анализ больших данных и обучение машин. Успешное масштабирование с MongoDB

Zepto увеличила трафик и улучшила время загрузки страниц на 14% благодаря MongoDB. Это позволило компании расти без узких мест и повысить конверсии. Разделение нагрузок на MongoDB обеспечило клиентам стабильную работу без влияния аналитических запросов. Узнайте больше на нашем сайте.

Читать подробнее

#en

@database_design | Другие наши каналы
Использование OCI-CLI для обеспечения безопасности баз данных

Текст: В блоге Алекс Ковуру делится инструкцией по использованию интерфейса командной строки OCI-CLI. Узнайте, как находить и регистрировать базы данных с помощью Data Safe, чтобы повысить их безопасность и начать сбор данных аудита.

Читать подробнее

#en

@database_design | Другие наши каналы
Будущее PostgreSQL: как 64-битный счетчик транзакций решает проблему масштабирования

Много лет в комьюнити PostgreSQL никто не верил что эта СУБД в принципе может использоваться в системах с большой транзакционной нагрузкой. То есть, какие-то тестовые лаборатории, бэкенд веб-приложений средней руки и так далее — вот его типичные задачи. А когда нужна серьёзная нагрузка, это уже надо брать СУБД за много денег и не сомневаться. Ну и раз никто не верил, то и не развивал особенно его в эту сторону, оставляя всё больше повисших в воздухе вопросов.

Но на практике вышло так, что наши клиенты всё чаще сталкиваются с проблемами, которые породил этот подход. Например, в международном комьюнити постгреса считается, что 64 ядра — это предельный размер сервера, где его вообще можно запустить. А мы всё чаще видим, что это становится минимальной типовой конфигурацией. Другим таким узким местом стал счётчик транзакций, ситуация с которым намного более интересная. Поэтому о нём мы сегодня и поговорим. В чём там проблема, как мы её решили, и что на эту тему думает международное комьюнити.


Читать: https://habr.com/ru/companies/postgrespro/articles/864142/

#ru

@database_design | Другие наши каналы
Как долго можно извлечь данные из RAM после отключения компьютера?



Для обеспечения сохранности содержимого Dynamic RAM (DRAM) его необходимо периодически обновлять. Если значение какого-то бита поменяется самопроизвольно, то можно считать, что память работает не так, как должна. JEDEC (Joint Electron Device Engineering Council — организация, среди прочего, разработавшая спецификацию DDR) определяет, как часто это должно происходить для обеспечения надлежащей работы. Однако некоторых людей больше интересует, как долго данные могут сохраняться после отключения питания DRAM. В этом посте мы расскажем, как это можно измерить, а также поделимся результатами, полученными при исследовании пары протестированных платформ.

Читать: https://habr.com/ru/companies/ruvds/articles/867648/

#ru

@database_design | Другие наши каналы
Прорыв в обработке данных в реальном времени с MongoDB и Ably

Текст поста: MongoDB и Ably представили новый коннектор для MongoDB Atlas, который открывает возможности работы с данными в реальном времени. Это решение позволяет компаниям всех размеров мгновенно синхронизировать данные, гарантируя их согласованность и повышение эффективности в секторах от финансов до здравоохранения. Эффективная интеграция MongoDB и BigQuery

Google Dataflow предлагает гибкий способ переноса данных из MongoDB в BigQuery. С его помощью можно обрабатывать целые коллекции или учитывать изменения через Change Stream. Пользовательские функции и поддержка JSON формата позволяют настроить вывод под конкретные нужды и оптимизировать процесс обработки данных.

Читать подробнее

#en

@database_design | Другие наши каналы
pg_partman: автоматизация партиционирования PostgreSQL

Ситуация: у вас PostgreSQL, в котором копятся гигантские таблицы. Вы попытались их разбить по времени или по ID, но все уперлось в рутинный менеджмент: надо создавать новые партиции, чистить старые, не забыть настроить индексы... Короче, превращается это в сериал на сто сезонов. А может, вы используете встроенное декларативное партиционирование, но хочется чего-то поудобнее? Вот тут хорошо поможет pg_partman. Это расширение — фактически «менеджер по партиционированию», который сделает половину этой рутины за вас.

pg_partman — это расширение к PostgreSQL, которое упрощает декларативное партиционирование больших таблиц по времени или по числовым значениям. Не надо вручную создавать новые партиции, ломать голову над датами, выпиливать старые партиции. pg_partman сам создаст нужные секции вперед, поможет с очисткой старых, подскажет, если данные вдруг залетели в дефолтный партишн.


Читать: https://habr.com/ru/companies/otus/articles/866192/

#ru

@database_design | Другие наши каналы
Интернет будущего: от свободы к централизации и обратно

Этой статьёй я открываю серию материалов, посвящённых проблемам современного интернета, его централизации и возможным решениям. Вводная статья раскрывает основную проблематику: как интернет, задуманный как свободное и децентрализованное пространство, превратился в контролируемую и централизованную сеть. Здесь и в следующих статьях я представлю детальный разбор разработанной мною технологии децентрализации, которая может предложить решение для преодоления этих проблем.


Читать: https://habr.com/ru/articles/867688/

#ru

@database_design | Другие наши каналы