DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет

Разработчик Amazon изменил взгляды на ключевые темы программирования за 10 лет: от простоты кода до роли Java, ORM и Serverless-функций

Читать: «Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет»

#ru

@database_design | Другие наши каналы
Тест 12 HDD 15k SAS в RAID0 и актуальность использования

Имеют ли право на жизнь SAS HDD диски на 15k в современных серверных платформах?

Тестирование RAID массива из 12 SAS HDD 15k и сравнение с производительностью SATA SSD, NVMe и SAS SSD накопителей.


Читать: https://habr.com/ru/articles/879562/

#ru

@database_design | Другие наши каналы
Катапультирование из DSE и миграция на Scylla

Если ты к чему-то привык, и все кажется удобным и комфортным, при понимании, что это может закончиться в любой момент, надо выбирать, что делать дальше. Так и с решениями, которые мы уже как-то внедрили — несмотря на то, что они прекрасно показывают свою эффективность, наступают моменты, когда их приходится пересматривать, и делать это весьма оперативно.

В данном случае речь о системе с СУБД DSE — удобной, отлично адаптированной к использованию под наши задачи, распределенной СУБД NoSQL-типа на базе Apache Cassandra с пудовыми рисками прекращения лицензирования со стороны Datastax.

При этом пересаживаться на другой «стул» требуется, разумеется, бесшовно, без потерь в вопросах производительности, безопасности и эксплуатационного качества в продукте. Вопрос это для нас особо важный, так как сама система, для которой рассматривалась замена СУБД высококритичная, и требования к решению были неизменными: возможность вертикального масштабирования «на лету» для поддержки значительного увеличения объема хранимых данных, высокая производительность записи и поддержка отказоустойчивости, включая распределение СУБД в нескольких ЦОД. У нас уже был накоплен весомый багаж информации в текущей базе, поэтому сама технология СУБД требовалась сродная по типу для исключения проблемы со сложностью миграции данных.

В статье начальник группы внедрения и тестирования продуктов и услуг Nexign Анна Алешина рассказывает, почему мы выбрали Scylla и решили прокачать ее до собственной «фирменной» СУБД Nexylla. Материал будет полезен всем, кто тоже задумывается о миграции на более надежные с точки зрения лицензирования СУБД.


Читать: https://habr.com/ru/companies/nexign/articles/879708/

#ru

@database_design | Другие наши каналы
Новый рубеж с Oracle Exadata

Oracle представила ограниченный выпуск глобально распределённой базы данных Exadata на инфраструктуре Exascale. Новое решение обеспечивает встроенную репликацию и разделение вычислительных и хранилищных ресурсов, что обещает повысить эффективность и масштабируемость систем.

Читать подробнее

#en

@database_design | Другие наши каналы
Начните искать по-новому с Oracle AI Vector Search

Хотите расширить возможности поиска в базе данных? Узнайте, как использовать Oracle AI Vector Search в новой версии Oracle Database 23ai. Эта технология позволит осуществлять более точный поиск по большим объемам данных. Оцените преимущества передовых алгоритмов вместе с Oracle.

Читать подробнее

#en

@database_design | Другие наши каналы
Искусственный интеллект и MongoDB меняют управление сетями

Как AI и MongoDB помогают телекоммуникационным компаниям справляться с резкими всплесками трафика в городах, таких как Торонто? Совместное использование платформы MongoDB и архитектуры RAG позволяет быстро выявлять причины проблем и автоматизировать их устранение, существенно сокращая время на диагностику и реагирование.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый уровень в управлении базами данных: Atlas Flex Tier от MongoDB

MongoDB представила новый уровень услуг Atlas Flex Tier, сочетающий гибкость и прогнозируемость расходов. Он предназначен для разработчиков, сталкивающихся с изменяющимися нагрузками, и минимизирует сюрпризные расходы, позволяя сконцентрироваться на инновациях.

Читать подробнее

#en

@database_design | Другие наши каналы
Свежие новости о мультиоблаке Oracle

Oracle представила ежемесячную сводку обновлений и ресурсов для мультиоблачных решений. Узнайте о последних новостях из Oracle Cloud Infrastructure, AWS, Azure и Google Cloud и оставайтесь в курсе всех технологических изменений и улучшений!

Читать подробнее

#en

@database_design | Другие наши каналы
Зачем запускать облачную СУБД на выделенном сервере

Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.

Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!

Читать: https://habr.com/ru/companies/selectel/articles/880338/

#ru

@database_design | Другие наши каналы
Зачем запускать облачную СУБД на выделенном сервере

Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.

Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!

Читать: https://habr.com/ru/companies/selectel/articles/880338/

#ru

@database_design | Другие наши каналы
Confluent Kafka: любовь и ненависть в .NET, часть 1

Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным.

О себе

Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD.

В двух словах о Kafka

Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.


Читать: https://habr.com/ru/companies/beeline_tech/articles/880424/

#ru

@database_design | Другие наши каналы
Ошибки, которых следует избегать при миграции из Confluence

Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее

Читать: https://habr.com/ru/companies/documenterra/articles/880304/

#ru

@database_design | Другие наши каналы
Ошибки, которых следует избегать при миграции из Confluence

Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее

Читать: https://habr.com/ru/companies/documenterra/articles/880304/

#ru

@database_design | Другие наши каналы
🔍 Что такое Cache Warmup в Oracle Database?

В статье объясняется процесс cache warmup в True Cache — автоматизированной системе управления кэшем для баз данных Oracle. Узнайте, как правильная настройка кэша может существенно повысить производительность вашего приложения.

Читать подробнее

#en

@database_design | Другие наши каналы
Замедление работы pg_repack с помощью cgroup

Операция VACUUM FULL полностью пересоздаёт таблицу, предельно оптимизируя её. Она требует полной блокировки таблицы, поэтому высоконагруженные таблицы обрабатывать ею без простоя системы нельзя. Вместо VACUUM FULL можно использовать расширение pg_repack. Оно создаёт на обрабатываемой таблице триггер, отслеживающей модификации, создаёт копию таблицы, догоняет набежавшие изменения. В конце работы берётся короткая блокировка, старая таблица удаляется, новая становится на её место.

Недостатком pg_repack является то, что она работает СЛИШКОМ БЫСТРО – фактически данные копируются и удваиваются в объёме (по отношению к исходной таблице). Каталог pg_wal забивается с такой скоростью, что архиватор не успевает обрабатывать файлы.

Далее описывается способ замедления работы pg_repack с использованием механизма cgroup.


Читать: https://habr.com/ru/articles/880646/

#ru

@database_design | Другие наши каналы
Яблочный SMB. Или как подружить Samba с iOS

Настраиваю домашний NAS на Ubuntu, сталкиваюсь с проблемами доступа через SMB на iOS, ищу решения и делюсь опытом. Рассказываю, как правильно настроить Samba, исправить несовместимости с Apple-устройствами с помощью VFS-модуля Fruit и избежать распространённых ошибок. В статье есть готовые конфиги, команды для настройки и ссылки на полезную документацию. Если вы тоже запускаете NAS и хотите минимизировать головную боль с правами доступа и совместимостью, этот материал для вас!


Читать: https://habr.com/ru/articles/880722/

#ru

@database_design | Другие наши каналы
Confluent Kafka: любовь и ненависть в .NET, часть 2

Привет! Как и обещала в первой части — теперь про ребалансировки и не только.

Выделяют безотлагательную и совместную ребалансировки.

При безотлагательной ребалансировке пользователи прекращают потребление из партиции, которые им назначены, затем отказываются от права владеть этими партициями, после снова присоединяются к consume group, получают совершенно новое назначение партиций и после этого возобновляют потребление. По сути, это короткое окно недоступности для всей consume group. Длина этого окна зависит от количества пользователей и некоторых параметров конфигурации.

Совместная ребалансировка - это инкрементная ребалансировка, при которой переназначается лишь некоторое подмножество партиций, и пользователи продолжают потребление из тех партиций, которые не были переназначены. Координатор уведомляет пользователей, что они должны будут отказаться от права владения некоторым подмножеством партиций, они прекращают потребление и отказываются от права владения. Затем эти партиции назначаются новым владельцам. Подход может включать несколько итераций, пока не будет достигнуто равномерное распределение. В отличие от безотлагательного подхода, мы не получаем полной недоступности. Это важно для больших consume groups, где балансировка может занять значительное количество времени.


Читать: https://habr.com/ru/companies/beeline_tech/articles/880834/

#ru

@database_design | Другие наши каналы
Debezium в действии: сбор и синхронизация отчётной базы данных

На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию, физически хранящуюся в трёх отдельных базах данных. В реализации самого приложения никаких особенностей и сложностей нет, чего не скажешь про его бэкенд.

Итак, задача, стоявшая перед нами — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.


Читать: https://habr.com/ru/companies/T1Holding/articles/880310/

#ru

@database_design | Другие наши каналы
Развенчиваем мифы о MongoDB и реляционных базах

Многие разработчики формируют свои представления о MongoDB на основе устаревшей информации. В статье развенчиваются ключевые мифы: отсутствие схемы, несоответствие ACID и невозможность JOINS. Реальность такова, что MongoDB предлагает гибкость и надежность, требуя лишь грамотного подхода к проектированию. MongoDB Atlas Flex: Новый взгляд на управление базами данных

MongoDB представила Atlas Flex, новый тарифный план для управления изменчивыми нагрузками. Он сочетает в себе преимущества предыдущих решений, предлагая гибкость и предсказуемость цен. Это идеальный выбор для стартапов и проектов всех стадий. Узнайте больше и начните работу сегодня!

Читать подробнее

#en

@database_design | Другие наши каналы
Гарантии видимости в распределённых хранилищах

Здравствуйте, меня зовут Дмитрий Карловский и я.. стараюсь сложные вещи рассказывать простым языком, а простые вещи — эзоповым. И часто оказывается так, что в процессе упрощения и структурирования, на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Что ж, если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, до давайте копать вместе.
Выпускайте эскалатор!

Читать: https://habr.com/ru/articles/881204/

#ru

@database_design | Другие наши каналы
Новая эра безопасности в MongoDB Atlas: Политики ресурсов

MongoDB Atlas представила политики ресурсов, позволяющие разработчикам самостоятельно управлять ресурсами, сохраняя высокий уровень безопасности и соответствия. Это новшество обеспечивает централизованное управление и автоматизированную проверку, упрощая защиту данных и ускоряя инновации. Развенчиваем мифы о MongoDB и реляционных базах данных

Многие разработчики все еще опираются на представления о MongoDB из 2013 года, упуская десятилетие инноваций. В статье рассматриваются три популярных мифа: отсутствие схемы, несоответствие ACID и невозможность использовать JOINS. Узнайте, как MongoDB изменился и в чем его преимущества.

Читать подробнее

#en

@database_design | Другие наши каналы