DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Будущее PostgreSQL: как 64-битный счетчик транзакций решает проблему масштабирования

Много лет в комьюнити PostgreSQL никто не верил что эта СУБД в принципе может использоваться в системах с большой транзакционной нагрузкой. То есть, какие-то тестовые лаборатории, бэкенд веб-приложений средней руки и так далее — вот его типичные задачи. А когда нужна серьёзная нагрузка, это уже надо брать СУБД за много денег и не сомневаться. Ну и раз никто не верил, то и не развивал особенно его в эту сторону, оставляя всё больше повисших в воздухе вопросов.

Но на практике вышло так, что наши клиенты всё чаще сталкиваются с проблемами, которые породил этот подход. Например, в международном комьюнити постгреса считается, что 64 ядра — это предельный размер сервера, где его вообще можно запустить. А мы всё чаще видим, что это становится минимальной типовой конфигурацией. Другим таким узким местом стал счётчик транзакций, ситуация с которым намного более интересная. Поэтому о нём мы сегодня и поговорим. В чём там проблема, как мы её решили, и что на эту тему думает международное комьюнити.


Читать: https://habr.com/ru/companies/postgrespro/articles/864142/

#ru

@database_design | Другие наши каналы
Как долго можно извлечь данные из RAM после отключения компьютера?



Для обеспечения сохранности содержимого Dynamic RAM (DRAM) его необходимо периодически обновлять. Если значение какого-то бита поменяется самопроизвольно, то можно считать, что память работает не так, как должна. JEDEC (Joint Electron Device Engineering Council — организация, среди прочего, разработавшая спецификацию DDR) определяет, как часто это должно происходить для обеспечения надлежащей работы. Однако некоторых людей больше интересует, как долго данные могут сохраняться после отключения питания DRAM. В этом посте мы расскажем, как это можно измерить, а также поделимся результатами, полученными при исследовании пары протестированных платформ.

Читать: https://habr.com/ru/companies/ruvds/articles/867648/

#ru

@database_design | Другие наши каналы
Прорыв в обработке данных в реальном времени с MongoDB и Ably

Текст поста: MongoDB и Ably представили новый коннектор для MongoDB Atlas, который открывает возможности работы с данными в реальном времени. Это решение позволяет компаниям всех размеров мгновенно синхронизировать данные, гарантируя их согласованность и повышение эффективности в секторах от финансов до здравоохранения. Эффективная интеграция MongoDB и BigQuery

Google Dataflow предлагает гибкий способ переноса данных из MongoDB в BigQuery. С его помощью можно обрабатывать целые коллекции или учитывать изменения через Change Stream. Пользовательские функции и поддержка JSON формата позволяют настроить вывод под конкретные нужды и оптимизировать процесс обработки данных.

Читать подробнее

#en

@database_design | Другие наши каналы
pg_partman: автоматизация партиционирования PostgreSQL

Ситуация: у вас PostgreSQL, в котором копятся гигантские таблицы. Вы попытались их разбить по времени или по ID, но все уперлось в рутинный менеджмент: надо создавать новые партиции, чистить старые, не забыть настроить индексы... Короче, превращается это в сериал на сто сезонов. А может, вы используете встроенное декларативное партиционирование, но хочется чего-то поудобнее? Вот тут хорошо поможет pg_partman. Это расширение — фактически «менеджер по партиционированию», который сделает половину этой рутины за вас.

pg_partman — это расширение к PostgreSQL, которое упрощает декларативное партиционирование больших таблиц по времени или по числовым значениям. Не надо вручную создавать новые партиции, ломать голову над датами, выпиливать старые партиции. pg_partman сам создаст нужные секции вперед, поможет с очисткой старых, подскажет, если данные вдруг залетели в дефолтный партишн.


Читать: https://habr.com/ru/companies/otus/articles/866192/

#ru

@database_design | Другие наши каналы
Интернет будущего: от свободы к централизации и обратно

Этой статьёй я открываю серию материалов, посвящённых проблемам современного интернета, его централизации и возможным решениям. Вводная статья раскрывает основную проблематику: как интернет, задуманный как свободное и децентрализованное пространство, превратился в контролируемую и централизованную сеть. Здесь и в следующих статьях я представлю детальный разбор разработанной мною технологии децентрализации, которая может предложить решение для преодоления этих проблем.


Читать: https://habr.com/ru/articles/867688/

#ru

@database_design | Другие наши каналы
Exadata — больше, чем просто для крупных компаний

Exadata уже более 15 лет является ведущей платформой для Oracle Database. Многие считают, что она подходит только для критически важных задач или крупных корпораций. Однако это мнение ошибочно. Узнайте больше о ее широких возможностях.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle RAC в облаке: максимум возможностей

Как Oracle RAC помогает современным компаниям в облаке? Технология обеспечивает высокую доступность и масштабируемость баз данных, позволяя запускать их на нескольких серверах одновременно. Узнайте, как использовать эти преимущества в облачной среде.

Читать подробнее

#en

@database_design | Другие наши каналы
Итоги 2024 года для Oracle Database в облаке

2024 год стал важным для Oracle Database в облаке благодаря множеству новаторских объявлений. Подводим итоги года и готовимся к ещё более впечатляющим инновациям в 2025 году. Ознакомьтесь с ключевыми событиями года и ожидайте новых достижений!

Читать подробнее

#en

@database_design | Другие наши каналы
Рынок дата-инженеров и прогноз на 2025

В этой статье вы сможете узнать в каком состоянии находится рынок дата-инженеров в 2024-ом и что с ним будет в 2025-ом.


Читать: https://habr.com/ru/articles/864780/

#ru

@database_design | Другие наши каналы
Раскрыто дело о тайных пациентах медицинских компаний

Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.


Читать: https://habr.com/ru/articles/868290/

#ru

@database_design | Другие наши каналы
Переход на новую архитектуру проекта: как это влияет на надежность стриминга web-данных

Предположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков.


Читать: https://habr.com/ru/articles/868358/

#ru

@database_design | Другие наши каналы
👍2
Обновление прошивки Toshiba NAS HDD под Linux



Я произвёл реверс-инжиниринг модуля обновления прошивки своего HDD Toshiba, чтобы иметь возможность обновлять её под Linux. Приведённые ниже команды должны работать, но используйте их на свой страх и риск:

"$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/ISFw.dat
$ grep -C2 MODELNAME ISFw.dat
# ^
# |___ здесь определяем нужное имя файла
$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/sk060202.ftd
# hdparm --fwdownload-mode3 sk060202.ftd /dev/sdX"

Предыстория

Недавно я приобрёл для своего NAS диск Toshiba HDWG480 HDD. Вот вывод команды "hdparm -I /dev/XXX":

"ATA device, with non-removable media
Model Number: TOSHIBA HDWG480
Serial Number: 3430A00RFR0H
Firmware Revision: 0601
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Used: unknown (minor revision code 0x006d)
Supported: 10 9 8 7 6 5
Likely used: 10
[...]"
Как обычно, я хотел проверить, есть ли для него доступные обновления прошивки. На сайте Toshiba для моей модели приводится версия "0602".

К сожалению, и вполне ожидаемо, для пользователей Linux возможности обновления нет. Производитель предоставляет лишь «Internal Storage Firmware Update Utility» для Windows.

Сами файлы обновления также отсутствуют.

Читать: https://habr.com/ru/companies/ruvds/articles/867898/

#ru

@database_design | Другие наши каналы
Мы ускорили JOIN в ClickHouse… в 100 раз

Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.


Читать: https://habr.com/ru/companies/otus/articles/868436/

#ru

@database_design | Другие наши каналы
Харденинг баз данных

Сейчас любое сколько-нибудь серьезное приложение нуждается в базе данных для хранения информации. СУБД позволяет сохранять данные, оперативно находить и извлекать то, что нужно с помощью запросов. Но для того, чтобы наши данные в базе хранились в безопасности необходимо не просто установить и настроить необходимое ПО, но выполнить харденинг – безопасную настройку СУБД.

В рамках данной статьи мы не будем концентрироваться на какой-то конкретной СУБД, а посмотрим те советы, которые подойдут любой базе данных.


Читать: https://habr.com/ru/companies/otus/articles/866810/

#ru

@database_design | Другие наши каналы
Seagate представляет 32 ТБ накопитель для пользователей: технология HAMR идет в массы

Не так давно мы писали об анонсе жестких дисков нового типа от Seagate. Их особенность — сверхвысокая плотность хранения данных. Сейчас американская компания Seagate таки выпустила жесткий диск Exos M емкостью 32 ТБ — рекордной для потребительских HDD.

Высокой плотности записи удалось добиться при помощи технологии HAMR, при которой область записи нагревается при помощи лазера. Это перспективная разработка, которая позволит и дальше наращивать емкость HDD. Правда, у нее есть конкурент в лице технологии MAMR с использованием магнитных полей.


Читать: https://habr.com/ru/companies/selectel/articles/868396/

#ru

@database_design | Другие наши каналы
Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.


Читать: https://habr.com/ru/companies/fplus_tech/articles/868850/

#ru

@database_design | Другие наши каналы
Tarantool CDC. Жизнь данных в гетерогенной среде

Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.

Меня зовут Евгений Афанасьев. Я архитектор VK Tech в команде Tarantool. В этой статье я расскажу о том, с какими вызовами сталкиваются современные компании при работе с данными и как на них помогает отвечать Tarantool CDC.


Читать: https://habr.com/ru/companies/vk/articles/868406/

#ru

@database_design | Другие наши каналы
Революция в ритейле с MongoDB и Dataworkz

RAG и MongoDB трансформируют цифровую розницу, предоставляя персонализированные рекомендации и улучшенное взаимодействие с клиентами. Сочетание структурированных данных с неструктурированной информацией дает магазинам возможность оперативно ответить на запросы клиентов и эффективно управлять запасами. Узнайте, как MongoDB и Dataworkz делают это возможным. 🔍 MongoDB 8.0: Прорыв в области AI и поиска данных

В 2024 году MongoDB представила обновление 8.0, улучшив скорость базы данных и добавив поддержку зашифрованных запросов. Также запущена программа MAAP для ускорения разработки AI-приложений и улучшена функция поиска в MongoDB Atlas Vector Search. Эти новшества делают работу с AI быстрее и дешевле.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB в числе лидеров облачных БД по версии Gartner

MongoDB третий год подряд получает статус "Лидера" в облачных системах управления базами данных в отчете Gartner 2024. Это подтверждает успех компании в инновациях и ориентированности на клиента, а также выдающееся исполнение и стратегическое видение платформы MongoDB. Инновации в ритейле с MongoDB и Dataworkz

Современные покупатели ждут персонализированных предложений и быстрого обслуживания. MongoDB Atlas и Dataworkz предлагают решение: использование данных для создания уникального клиентского опыта. Сервис облегчает поддержку, улучшает рекомендации и оптимизирует маркетинг для ритейлеров.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle расширяет облачные возможности

В 2024 году Oracle отметилась важными нововведениями в области облачных баз данных. Ключевые моменты включают запуск Oracle Database@Google Cloud и Oracle Database@AWS, а также представление Exadata Exascale и Oracle Database 23ai с интеграцией AI для бизнес-анализа.

Читать подробнее

#en

@database_design | Другие наши каналы