DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
DWH: История поиска альтернативы PostgreSQL и Snowflake. Часть 2

Выбор облачного хранилища данных — задача не из простых: десятки решений, каждая со своими плюсами и подводными камнями. В этой статье — результаты масштабного практического исследования, в ходе которого команда Agritask сравнила производительность, масштабируемость, стоимость и совместимость SQL ведущих платформ: от ClickHouse и BigQuery до Druid и Firebolt. Без маркетинговых обещаний — только реальные тесты, живые выводы и нюансы, которые неочевидны до момента внедрения.


Читать: https://habr.com/ru/companies/otus/articles/900916/

#ru

@database_design | Другие наши каналы
Визуальное представление структуры btree индекса PostgreSQL

В статье визуализируется структура индекса и показывается, как меняется структура индекса типа btree в PostgreSQL. Это полезно для понимания, как выглядят индексы btree. Также рассматривается FILLFACTOR и пример исследования структуры индекса в целях определения, как перераспределяются индексные записи при включении в структуру индекса новых блоков (страниц). Создадим простую таблицу, индекс, вставим три строки:


Читать: https://habr.com/ru/articles/900440/

#ru

@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?

В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.

Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»

#ru

@database_design | Другие наши каналы
PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?

В этой статье сравним и разберём опенсорные СУБД для задач, связанных с аналитикой, на понятном для новичков языке.

Читать: «PostgreSQL vs. ClickHouse vs. DuckDB: какую опенсорс базу выбрать для аналитики в 2025 году?»

#ru

@database_design | Другие наши каналы
NVRAM из EEPROM

Дана функция чтения и записи EEPROM dword.

Запись и стирание возможно только по выровненному адресу и пословно.

Надо поверх EEPROM API сделать функцию чтения, записи и стирания для произвольных массивов байт, по произвольному адресу (NVRAM).

Простыми словами надо состыковать Dword API с Byte API.

В этом тексте я представил простой наивный алгоритм решения данной задачи.


Читать: https://habr.com/ru/articles/815639/

#ru

@database_design | Другие наши каналы
Переход из Oracle в Postgre Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД.

В интервью для «Хабра» Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а где пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже — что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения!


Читать: https://habr.com/ru/articles/900840/

#ru

@database_design | Другие наши каналы
👍1
«Основы успеха: Знакомимся с Database Digest от MongoDB»

MongoDB запустила новое цифровое издание Database Digest, которое освещает важнейшую роль данных в современных приложениях. Первая статья фокусируется на том, как современная архитектура данных, соединенная с передовыми технологиями, трансформирует бизнес, открывая новые возможности в эпоху искусственного интеллекта. Узнайте больше на сайте MongoDB! Новые политики безопасности в MongoDB Atlas: что изменилось?

Теперь в общем доступе 7 новых ресурсных политик для усиления безопасности в MongoDB Atlas. Эти политики позволяют организациям автоматизировать контроль безопасности и соответствия нормативам, упрощая управление и ускоряя инновации без замедления работы разработчиков.

Читать подробнее

#en

@database_design | Другие наши каналы
В Европе снова заговорили об отказе от американских платформ и суверенном облаке — анализ ситуации

Разбираемся, в чем заключается проблема с точки зрения европейских регуляторов, какие попытки уже были предприняты и что в ЕС планируют делать дальше.


Читать: https://habr.com/ru/companies/vasexperts/articles/901074/

#ru

@database_design | Другие наши каналы
PostgreSQL Antipatterns: создаем JSON из строки

Я уже не раз поднимал в статьях тему [не]эффективной работы с json[b] в PostgreSQL - и как его лучше превращать в выборку, и как можно "транспонировать". Сегодня же рассмотрим некоторые возможности по его генерации на стороне базы.


Читать: https://habr.com/ru/companies/tensor/articles/901216/

#ru

@database_design | Другие наши каналы
Асинхронно копируем объекты между регионами S3 с помощью Python

Привет, Хабр! Я Александр Гришин, отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. В своей практике часто сталкиваюсь с разными задачами клиентов. Среди них, например: реализовать репликацию данных между удаленными друг от друга регионами, отработать домен отказа «Регион» и повысить уровень отказоустойчивости своих сервисов, убрав привязку к одному городу и инфраструктуре. Сегодня я расскажу, как легко реализовать асинхронную репликацию данных в инфраструктуре Selectel, используя Python и boto3. Погнали!

Читать: https://habr.com/ru/companies/selectel/articles/901060/

#ru

@database_design | Другие наши каналы
Что такое гиперконвергенция и почему за ней будущее

Гиперконвергенция — современный способ сделать проще, эффективнее и быстрее работу всей IT-инфраструктуры. Рассказываем, что это такое и почему она выгодна бизнесу на примере vStack HCP.

Читать: «Что такое гиперконвергенция и почему за ней будущее»

#ru

@database_design | Другие наши каналы
🚀 BI для современных предприятий: Новый подход от DataGenie и MongoDB

Бизнес-аналитика сталкивается с вызовами обработки больших объемов данных. DataGenie в сочетании с MongoDB предлагает интеллектуальный анализ, упрощая работу с данными. MongoDB значительно ускоряет запросы и снижает затраты, позволяя предприятиям принимать уверенные решения. Эра повсеместного распространения данных: Будущее уже здесь

В статье рассматривается развитие эпохи "вездесущих данных" и роль современных баз данных, таких как MongoDB, в этом процессе. Компании, обновляющие свои системы, не только снижают расходы, но и закладывают основу для инноваций, интеграции ИИ и роста.

Читать подробнее

#en

@database_design | Другие наши каналы
Аналитические запросы теста TPC-H в PostgreSQL

В статье рассматривается использование теста TPC-H с PostgreSQL и проблемы, связанные с запросами Q17-Q20 теста.

Введение

Вместе с PostgreSQL поставляется утилит pg_bench с "TPC-B like" тестом. Кроме этого теста были созданы тесты TPC-R для отчётов, TPC-D для OLAP, TPC-W для заказов в веб-магазине, которые не получили распространения. На основе TPC-D был создан более удачный тест TPC-H для хранилищ данных и аналитических запросов ("OLAP нагрузка"). В тесте используется 8 таблиц и 17 ограничений целостности. В TPC-H выделены номинации по размерам обрабатываемых данных от "до 100Гб" до  30-100Тб. Тест TPC-H предназначен для хранилищ данных, включает в себя 22 запроса, которые называют Q1 ... Q22.

Запросы теста TPC-H не меняют данные в таблицах, а значит, для повторных тестирований не нужно пересоздавать или вакуумировать таблицы. В тестах TPC-B, TPC-C, TPC-E запросы довольно простые. В реальных приложениях запросы более сложные, чем в этих тестах. Поэтому для тестирования того, как СУБД выполняет запросы, которые могут встретиться в реальных приложениях, можно использовать все или отдельные запросы из теста TPC-H. Для быстрого аудита производительности различных СУБД используют вариант с 1Гб данных. В этом варианте запросы выполняются быстро, не нужно много памяти под экземпляр СУБД и много места на диске. Можно найти программы или скрипты для большинства СУБД, например, для PostgreSQL, Oracle Database, MySQL. После теста TPC-H появился тест TPC-DS с 99 запросами, но он менее популярен.


Читать: https://habr.com/ru/articles/901528/

#ru

@database_design | Другие наши каналы
Что такое Ansible и как применяется в DWH-проектах? Сравнение Ansible с Puppet, Chef, SaltStack

В статье рассказываем, что такое Ansible и как инструмент может применяться в проектах DWH: от автоматического развертывания и настройки компонентов до восстановления после сбоев и централизованного управления параметрами.

Сравниваем Ansible с другими инструментами для автоматизации управления инфраструктурой: Puppet, Chef, SaltStack.


Читать: https://habr.com/ru/articles/901778/

#ru

@database_design | Другие наши каналы
Как сделать компьютерную память из ржавых гвоздей и нейросети — из медных проволок?


Картинка — Kaboompics, Flatart, Freepik

Сегодня мы поговорим о таком интересном классе электронных компонентов, который носит название «мемристоры» и позволяет даже строить на их основе нейросети.

Их привлекательность заключается в том, что их вполне можно делать даже самостоятельно, из подручных компонентов.

В последнее время мы привыкли, что под понятием нейросетей подразумеваются определённые программные структуры. Однако мемристоры позволяют строить нейросети на физической основе! О_о

Аппаратные физические нейросети… Как вам такое? :-) Весьма близко к тому, что мы видим в природе, кстати говоря…

Читать: https://habr.com/ru/companies/ruvds/articles/900360/

#ru

@database_design | Другие наши каналы
Баланс работы и личной жизни: советы от инженера MongoDB

В интервью с Кайлом Лаем, инженером MongoDB, обсуждаются его профессиональные задачи и подход к работе. Кайл делится своим опытом, как сохранять баланс между работой и личной жизнью, выделяет важность установления границ и преимущества офисного режима. Как MongoDB Преобразовал DataGenie

DataGenie, используя MongoDB, улучшил скорость и эффективность обработки данных. Переход помог сократить время выполнения запросов с 3 секунд до 350 мс, снизить затраты на обработку Spark на 90%, и упростить управление данными. Теперь DataGenie готов к амбициозным функциям и интеграциям.

Читать подробнее

#en

@database_design | Другие наши каналы
Делиться информацией = расти вместе. 4 шага для построения хранилища данных — фундамент базы знаний

Этот текст — эссенция практического опыта креативного специалиста, который помогает бизнесу находить технические решения в области построения базы знаний. Решил поделиться своими заметками об архитектуре хранилища данных (DWH) и написать, почему важно хранить корпоративные данные в едином хранилище, как преодолеть внутренние барьеры (вроде страха критики и синдрома самозванца) для начала обмена знаниями и какими техническими и организационными решениями можно сделать этот процесс удобным и полезным. В статье — живой опыт, конкретные советы и немного вдохновения для тех, кто только начинает делиться знаниями внутри команды.


Читать: https://habr.com/ru/articles/901544/

#ru

@database_design | Другие наши каналы
(Почти) идеальный мини-NAS для мини-стойки

Мини-ПК GMKtec G9  N150 с четырьмя  отсеками NVMe стоит 240  долларов — практически идеальное NAS-устройство для домашней мини-стойки. Он оснащен четырехядерным процессором Intel N150  с интегрированной графикой Intel UHD среднего уровня, 12  ГБ оперативной памяти LPDDR5, двумя портами Ethernet 2,5  Гбит/с, WiFi  6  и, что самое приятное, четырьмя  встроенными слотами M.2  NVMe.

Казалось бы, что не так?

Читать: https://habr.com/ru/companies/selectel/articles/902140/

#ru

@database_design | Другие наши каналы
Стоимостной оптимизатор: сердце гибридной базы данных YDB

Я занимаюсь разработкой баз данных с 1999 года и сейчас работаю над YDB — базой данных, которую мы в Яндексе недавно выложили в опенсорс. Это моя шестая база данных и четвертая — массивно-параллельная. И каждый раз, когда основные задачи решены, я сажусь разрабатывать оптимизатор запросов. Под катом я кратко расскажу о том, что такое оптимизаторы запросов в базах данных и почему их непросто делать.


Читать: https://habr.com/ru/companies/ydb/articles/901816/

#ru

@database_design | Другие наши каналы
JDBC: Как Java научилась дружить с Базами Данных

Представьте, что вы — гид в огромном городе под названием «Базы Данных». Ваша задача — помочь Java-приложениям найти нужную информацию, обновить данные или создать новые таблицы. Но как «разговаривать» с разными СУБД, если у каждой свой язык? Здесь на помощь приходит JDBC — универсальный переводчик, который знает все диалекты.


Читать: https://habr.com/ru/companies/otus/articles/902240/

#ru

@database_design | Другие наши каналы
Создаем картотеку людей в Obsidian максимально лениво или «Тронул мышку — проиграл»

Я уже писал на Хабре статью, что такое СДВГ и как она влияет на жизнь. Жизнь с этим синдромом создаёт свои трудности и я (как имеющий этот синдром) ненавижу и максимально стараюсь избегать любую рутину.

Иногда это доходит до крайности — мне необходимо заполнить какие-то заметки, но они все одинаковые. Ты их копируешь, вставляешь, опять поднимаешь руку к мышке, пытаешься попасть в нужную строку иии... глючит при прокрутке ролик, ты промазываешь и эмоции такие, что хочется выкинуть всю технику в окно.

Поэтому я сделал для себя кучу шаблонов заметок, которые очень быстро заполняются по правилу игры "Тронул мышку — проиграл". Эти шаблоны сильно облегчили мою жизнь и одним таким шаблоном я и хочу поделиться.


Читать: https://habr.com/ru/articles/902656/

#ru

@database_design | Другие наши каналы