DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Визуальное представление структуры btree индекса PostgreSQL

В статье визуализируется структура индекса и показывается, как меняется структура индекса типа btree в PostgreSQL. Это полезно для понимания, как выглядят индексы btree. Также рассматривается FILLFACTOR и пример исследования структуры индекса в целях определения, как перераспределяются индексные записи при включении в структуру индекса новых блоков (страниц). Создадим простую таблицу, индекс, вставим три строки:


Читать: https://habr.com/ru/articles/900440/

#ru

@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?

В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.

Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»

#ru

@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?

В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.

Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»

#ru

@database_design | Другие наши каналы
NVRAM из EEPROM

Дана функция чтения и записи EEPROM dword.

Запись и стирание возможно только по выровненному адресу и пословно.

Надо поверх EEPROM API сделать функцию чтения, записи и стирания для произвольных массивов байт, по произвольному адресу (NVRAM).

Простыми словами надо состыковать Dword API с Byte API.

В этом тексте я представил простой наивный алгоритм решения данной задачи.


Читать: https://habr.com/ru/articles/815639/

#ru

@database_design | Другие наши каналы
Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.

В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения!


Читать: https://habr.com/ru/articles/900840/

#ru

@database_design | Другие наши каналы
👍1
«Основы успеха: Знакомимся с Database Digest от MongoDB»

MongoDB запустила новое цифровое издание Database Digest, которое освещает важнейшую роль данных в современных приложениях. Первая статья фокусируется на том, как современная архитектура данных, соединенная с передовыми технологиями, трансформирует бизнес, открывая новые возможности в эпоху искусственного интеллекта. Узнайте больше на сайте MongoDB! Новые политики безопасности в MongoDB Atlas: что изменилось?

Теперь в общем доступе 7 новых ресурсных политик для усиления безопасности в MongoDB Atlas. Эти политики позволяют организациям автоматизировать контроль безопасности и соответствия нормативам, упрощая управление и ускоряя инновации без замедления работы разработчиков.

Читать подробнее

#en

@database_design | Другие наши каналы
В Европе снова заговорили об отказе от американских платформ и суверенном облаке — анализ ситуации

Разбираемся, в чем заключается проблема с точки зрения европейских регуляторов, какие попытки уже были предприняты и что в ЕС планируют делать дальше.


Читать: https://habr.com/ru/companies/vasexperts/articles/901074/

#ru

@database_design | Другие наши каналы
PostgreSQL Antipatterns: создаем JSON из строки

Я уже не раз поднимал в статьях тему [не]эффективной работы с json[b] в PostgreSQL - и как его лучше превращать в выборку, и как можно "транспонировать". Сегодня же рассмотрим некоторые возможности по его генерации на стороне базы.


Читать: https://habr.com/ru/companies/tensor/articles/901216/

#ru

@database_design | Другие наши каналы
Асинхронно копируем объекты между регионами S3 с помощью Python

Привет, Хабр! Я Александр Гришин, отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. В своей практике часто сталкиваюсь с разными задачами клиентов. Среди них, например: реализовать репликацию данных между удаленными друг от друга регионами, отработать домен отказа «Регион» и повысить уровень отказоустойчивости своих сервисов, убрав привязку к одному городу и инфраструктуре. Сегодня я расскажу, как легко реализовать асинхронную репликацию данных в инфраструктуре Selectel, используя Python и boto3. Погнали!

Читать: https://habr.com/ru/companies/selectel/articles/901060/

#ru

@database_design | Другие наши каналы
Что такое гиперконвергенция и почему за ней будущее

Гиперконвергенция — современный способ сделать проще, эффективнее и быстрее работу всей IT-инфраструктуры. Рассказываем, что это такое и почему она выгодна бизнесу на примере vStack HCP.

Читать: «Что такое гиперконвергенция и почему за ней будущее»

#ru

@database_design | Другие наши каналы
🚀 BI для современных предприятий: Новый подход от DataGenie и MongoDB

Бизнес-аналитика сталкивается с вызовами обработки больших объемов данных. DataGenie в сочетании с MongoDB предлагает интеллектуальный анализ, упрощая работу с данными. MongoDB значительно ускоряет запросы и снижает затраты, позволяя предприятиям принимать уверенные решения. Эра повсеместного распространения данных: Будущее уже здесь

В статье рассматривается развитие эпохи "вездесущих данных" и роль современных баз данных, таких как MongoDB, в этом процессе. Компании, обновляющие свои системы, не только снижают расходы, но и закладывают основу для инноваций, интеграции ИИ и роста.

Читать подробнее

#en

@database_design | Другие наши каналы
Аналитические запросы теста TPC-H в PostgreSQL

В статье рассматривается использование теста TPC-H с PostgreSQL и проблемы, связанные с запросами Q17-Q20 теста.

Введение

Вместе с PostgreSQL поставляется утилит pg_bench с "TPC-B like" тестом. Кроме этого теста были созданы тесты TPC-R для отчётов, TPC-D для OLAP, TPC-W для заказов в веб-магазине, которые не получили распространения. На основе TPC-D был создан более удачный тест TPC-H для хранилищ данных и аналитических запросов ("OLAP нагрузка"). В тесте используется 8 таблиц и 17 ограничений целостности. В TPC-H выделены номинации по размерам обрабатываемых данных от "до 100Гб" до  30-100Тб. Тест TPC-H предназначен для хранилищ данных, включает в себя 22 запроса, которые называют Q1 ... Q22.

Запросы теста TPC-H не меняют данные в таблицах, а значит, для повторных тестирований не нужно пересоздавать или вакуумировать таблицы. В тестах TPC-B, TPC-C, TPC-E запросы довольно простые. В реальных приложениях запросы более сложные, чем в этих тестах. Поэтому для тестирования того, как СУБД выполняет запросы, которые могут встретиться в реальных приложениях, можно использовать все или отдельные запросы из теста TPC-H. Для быстрого аудита производительности различных СУБД используют вариант с 1Гб данных. В этом варианте запросы выполняются быстро, не нужно много памяти под экземпляр СУБД и много места на диске. Можно найти программы или скрипты для большинства СУБД, например, для PostgreSQL, Oracle Database, MySQL. После теста TPC-H появился тест TPC-DS с 99 запросами, но он менее популярен.


Читать: https://habr.com/ru/articles/901528/

#ru

@database_design | Другие наши каналы
Что такое Ansible и как применяется в DWH-проектах? Сравнение Ansible с Puppet, Chef, SaltStack

В статье рассказываем, что такое Ansible и как инструмент может применяться в проектах DWH: от автоматического развертывания и настройки компонентов до восстановления после сбоев и централизованного управления параметрами.

Сравниваем Ansible с другими инструментами для автоматизации управления инфраструктурой: Puppet, Chef, SaltStack.


Читать: https://habr.com/ru/articles/901778/

#ru

@database_design | Другие наши каналы
Как сделать компьютерную память из ржавых гвоздей и нейросети — из медных проволок?


Картинка — Kaboompics, Flatart, Freepik

Сегодня мы поговорим о таком интересном классе электронных компонентов, который носит название «мемристоры» и позволяет даже строить на их основе нейросети.

Их привлекательность заключается в том, что их вполне можно делать даже самостоятельно, из подручных компонентов.

В последнее время мы привыкли, что под понятием нейросетей подразумеваются определённые программные структуры. Однако мемристоры позволяют строить нейросети на физической основе! О_о

Аппаратные физические нейросети… Как вам такое? :-) Весьма близко к тому, что мы видим в природе, кстати говоря…

Читать: https://habr.com/ru/companies/ruvds/articles/900360/

#ru

@database_design | Другие наши каналы
Баланс работы и личной жизни: советы от инженера MongoDB

В интервью с Кайлом Лаем, инженером MongoDB, обсуждаются его профессиональные задачи и подход к работе. Кайл делится своим опытом, как сохранять баланс между работой и личной жизнью, выделяет важность установления границ и преимущества офисного режима. Как MongoDB Преобразовал DataGenie

DataGenie, используя MongoDB, улучшил скорость и эффективность обработки данных. Переход помог сократить время выполнения запросов с 3 секунд до 350 мс, снизить затраты на обработку Spark на 90%, и упростить управление данными. Теперь DataGenie готов к амбициозным функциям и интеграциям.

Читать подробнее

#en

@database_design | Другие наши каналы
Делиться информацией = расти вместе. 4 шага для построения хранилища данных — фундамент базы знаний

Этот текст — эссенция практического опыта креативного специалиста, который помогает бизнесу находить технические решения в области построения базы знаний. Решил поделиться своими заметками об архитектуре хранилища данных (DWH) и написать, почему важно хранить корпоративные данные в едином хранилище, как преодолеть внутренние барьеры (вроде страха критики и синдрома самозванца) для начала обмена знаниями и какими техническими и организационными решениями можно сделать этот процесс удобным и полезным. В статье — живой опыт, конкретные советы и немного вдохновения для тех, кто только начинает делиться знаниями внутри команды.


Читать: https://habr.com/ru/articles/901544/

#ru

@database_design | Другие наши каналы
(Почти) идеальный мини-NAS для мини-стойки

Мини-ПК GMKtec G9  N150 с четырьмя  отсеками NVMe стоит 240  долларов — практически идеальное NAS-устройство для домашней мини-стойки. Он оснащен четырехядерным процессором Intel N150  с интегрированной графикой Intel UHD среднего уровня, 12  ГБ оперативной памяти LPDDR5, двумя портами Ethernet 2,5  Гбит/с, WiFi  6  и, что самое приятное, четырьмя  встроенными слотами M.2  NVMe.

Казалось бы, что не так?

Читать: https://habr.com/ru/companies/selectel/articles/902140/

#ru

@database_design | Другие наши каналы
Стоимостной оптимизатор: сердце гибридной базы данных YDB

Я занимаюсь разработкой баз данных с 1999 года и сейчас работаю над YDB — базой данных, которую мы в Яндексе недавно выложили в опенсорс. Это моя шестая база данных и четвертая — массивно-параллельная. И каждый раз, когда основные задачи решены, я сажусь разрабатывать оптимизатор запросов. Под катом я кратко расскажу о том, что такое оптимизаторы запросов в базах данных и почему их непросто делать.


Читать: https://habr.com/ru/companies/ydb/articles/901816/

#ru

@database_design | Другие наши каналы
JDBC: Как Java научилась дружить с Базами Данных

Представьте, что вы — гид в огромном городе под названием «Базы Данных». Ваша задача — помочь Java-приложениям найти нужную информацию, обновить данные или создать новые таблицы. Но как «разговаривать» с разными СУБД, если у каждой свой язык? Здесь на помощь приходит JDBC — универсальный переводчик, который знает все диалекты.


Читать: https://habr.com/ru/companies/otus/articles/902240/

#ru

@database_design | Другие наши каналы
Создаем картотеку людей в Obsidian максимально лениво или «Тронул мышку — проиграл»

Я уже писал на Хабре статью, что такое СДВГ и как она влияет на жизнь. Жизнь с этим синдромом создаёт свои трудности и я (как имеющий этот синдром) ненавижу и максимально стараюсь избегать любую рутину.

Иногда это доходит до крайности — мне необходимо заполнить какие-то заметки, но они все одинаковые. Ты их копируешь, вставляешь, опять поднимаешь руку к мышке, пытаешься попасть в нужную строку иии... глючит при прокрутке ролик, ты промазываешь и эмоции такие, что хочется выкинуть всю технику в окно.

Поэтому я сделал для себя кучу шаблонов заметок, которые очень быстро заполняются по правилу игры "Тронул мышку — проиграл". Эти шаблоны сильно облегчили мою жизнь и одним таким шаблоном я и хочу поделиться.


Читать: https://habr.com/ru/articles/902656/

#ru

@database_design | Другие наши каналы
Почему COUNT(*) быстрее, чем COUNT(col) — и когда это не так

Привет, Хабр!

Сегодня поговорим про одну из тех тем, что вроде бы тривиальна, но до последней капли грязи тащит за собой внушительный пласт вопросов. Речь пойдёт про COUNT(*) и COUNT(col) в PostgreSQL.


Читать: https://habr.com/ru/companies/otus/articles/901922/

#ru

@database_design | Другие наши каналы