DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Picodata: простое масштабирование Tarantool

Привет! Сегодня я хочу познакомить вас с ПО, которое мы разрабатываем в нашей компанией — кластерной СУБД и сервером приложений на языке Rust. Мы профессионально занимаемся созданием и эксплуатацией решений на основе Tarantool и с некоторых пор начали разработку своего ПО, о котором и пойдёт речь.

Picodata — это дальнейшее развитие истории Tarantool, в которой учтен опыт эксплуатации этой СУБД и предложены решения как архитектурных, так и функциональных недостатков открытой версии Tarantool. Также, наше ПО проще запускать, настраивать и поддерживать в рабочем состоянии благодаря единой точке входа и интеграции всего инструментария в одном исполняемом файле. Мы создавали Picodata как изначально кластерную СУБД, которой удобно пользоваться. Если не верите, что российская СУБД может быть удобной, попробуйте — в конце этой статьи есть раздел Практикум, где можно сразу же попробовать собрать кластер самому на паре-тройке виртуальных машин или на вашем локальном компьютере. Сейчас же будет немного теории о том, как вообще работает распределенный кластер, что именно не так в “ванильном” Tarantool и что нам пришлось сделать чтобы это исправить.
Погрузиться в детали

Читать: https://habr.com/ru/articles/742244/
Нативный способ шифрования данных в Helm

Привет, Хабр! Меня зовут Миняйлов Лев, я старший разработчик и DevOps-инженер Группы "Иннотех".

Хочу поделиться решением задачи шифрования чувствительных данных в Helm, использующим встроенные функции encryptAES/decryptAES.


Читать: https://habr.com/ru/companies/innotech/articles/746132/
Кто управляет информацией — тот владеет миром: как сделать так, чтобы данные генерировали прибыль, а не убытки?

У всех компаний есть разнообразные данные: о клиентах, транзакциях, закупках, оборудовании, доходах и расходах. Но для одних компаний данные – драйвер роста, а другие несут убытки, полагаясь на них. Разница в том, что первые управляют информацией: знают, как и в какой форме она поступает, как ее внести в корпоративные системы, обогатить, и главное - как использовать, а вторые пускают эту работу на самотек и живут в зоопарке информационных систем без единой версии правды.

Это обзорный материал, я расскажу в нем об объектах основных данных, о том, по каким причинам часто возникают ошибки, какими инструментами улучшить качество данных и рассмотрю шаги конкретного проекта по внедрению НСИ.


Читать: https://habr.com/ru/articles/742910/
Японский SSD (sardine state disk)

В декабре 2018 японский студент-химик с ником ni28_xp опубликовал фотографию USB-накопителя, сделанной из анчоуса. Звучит максимально странно даже для Японии, не так ли?


Читать: https://habr.com/ru/companies/cloud4y/articles/746514/
Как сэкономить свои нервы и деньги компании на перестроении структуры больших таблиц без простоя в PostgreSQL

Привет! Меня зовут Васильев Виктор, я DBA в компании UIS и CoMagic. В этой статье на реальных примерах расскажу, как можно сэкономить время разработчика, администратора баз данных и ресурсы сервера(ов), используя утилиту pg_rebuild_table. Сопровождая большие, высоконагруженные системы, с бо’льшей вероятностью каждый сталкивался с кейсами, о которых будет рассказано дальше. Некоторые технические подробности пройду без детализации, чтобы сильно не усложнять и не делать статью очень громоздкой. Лучше отвечу на вопросы в комментариях.


Читать: https://habr.com/ru/articles/743438/
BI по-русски: что умеют BI-решения, доступные отечественному бизнесу

Мы в beeline cloud постоянно изучаем тренды рынка BI: как он меняется с развитием ИИ и ростом спроса на отечественный софт. А сегодня хотим рассказать о том, кто и зачем использует системы бизнес-аналитики, а также посмотреть на возможности ключевых игроков, представленных в России.


Читать: https://habr.com/ru/companies/beeline_cloud/articles/746720/
11 лет хостинга SaaS: история и мой опыт


Источник

Нашему ресурсу Tanda скоро исполняется 11 лет. По этому поводу один из моих читателей высказал идею, что было бы классно поразмышлять на тему опыта, который я получил за долгие годы управления этим приложением.

В итоге я просидел над этой статьёй целую вечность, потому что процессы развёртывания, хостинга и управления инфраструктурой в целом на протяжении десяти лет являлись, пожалуй, наиболее трудной и беспокойной частью моей работы. В основном причина в том, что я постоянно окунался в омут с головой и зачастую не понимал, что делал. К сожалению, когда у вас есть активное приложение, которое используют многие люди, вы не всегда находите время на подобающее изучение матчасти.

Изложенная в этой статье история разбита на несколько этапов, через которые мы прошли. Я написал её, чтобы те, кто окажется на аналогичном пути, могли миновать некоторые из его острых углов.

Читать: https://habr.com/ru/companies/ruvds/articles/743280/
Какие технологии использует Российская медицина? (ручка/клей/оборотка) Часть первая

Я врач хирург, работаю в одной из гос клиник России, и попробую Вам изложить, есть ли электронные карты пациентов, базы данных с мкб, есть ли клинические рекомендации, и как помогает компьютер в жизни штатного врача стационара и поликлиники.


Читать: https://habr.com/ru/articles/747158/
Архитектура аналитической платформы Modus: ETL

Начинаем цикл статей об архитектуре аналитических платформ. Поговорим об общем устройстве и подробнее остановимся на анатомии ETL на примере Modus. Вы узнаете, из каких компонентов состоит аналитическая система, откуда она получает и как работает с данными, и что мы в Modus делаем такого, чтобы оптимизировать эти процессы.


Читать: https://habr.com/ru/companies/modusbi/articles/747866/
Высокодоступный MySQL на конвейере

Что нужно автоматизировать в управляемой базе данных? Какие нас ждут проблемы эксплуатации MySQL в облаках? Разберём существующие решения, позволяющие обеспечивать эффективную конфигурацию под высокую доступность и высокие нагрузки, а также их недостатки и практическое применение.

Поможет нам в этом Дмитрий Смаль, руководитель подразделения Managed MySQL и SQL Server в Яндексе. Каждый день он занимается эксплуатацией и автоматизацией СУБД, а до этого делал нагруженные и не очень web-приложения. В целом любит делать разные интересные штуковины, которые работают! Сегодня мы с ним будем говорить про решение для высокодоступного MySQL.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/754634/
FineBI-g brother is watching you: как мы начали анализировать действия пользователей в Fine

Привет, Хабр! Мы — BI-команда Tele2. В прошлом году, как и многие наши коллеги по рынку, мы столкнулись с проблемой поиска альтернативы BI-платформам покинувших нас вендоров. О том, как подходить к замене платформы, уже много рассказано здесь и на других ресурсах. В этой статье мы остановимся на конкретном кейсе — как мы решили задачу поиска и последующего анализа действий и полномочий наших пользователей, а также взяли под контроль обновление источников. Под катом мы рассказываем, как собрать датасеты в FineBI, на которых можно построить дашборды о дашбордах и получить данные о посещаемости отчетов, их расположении в директориях и доступах к ним пользователей.


Читать: https://habr.com/ru/companies/tele2/articles/754748/
Обзор Infortrend GS 2024U — бюджетная СХД с претензией на нечто большее

Хабр, привет! На связи лаборатория вычислительных решений КРОК, и мы продолжаем рассказывать о тестировании СХД и серверов.

Сегодня в очереди на экзекуцию тайваньская СХД Infortrend GS 2024U. Это железка начального уровня, производитель которой в основном делает бюджетные решения. От нее по умолчанию не ожидаешь ничего особенного, но… Впрочем, не будем забегать вперед. Под катом подробный рассказ о тестировании и о том, как лучше использовать эту СХД на практике.


Читать: https://habr.com/ru/companies/croc/articles/754936/
Опыт горизонтального масштабирования: как мы перешли с Ignite на Platform V DataGrid в антифроде

Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.

Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.


Читать: https://habr.com/ru/companies/sberbank/articles/754934/
Опыт работы с данными или с чем может столкнуться аналитик

В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились.

Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?


Читать: https://habr.com/ru/companies/neoflex/articles/755248/
Виды баз данных. Большой обзор типов СУБД

Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.

В статье мы рассмотрим следующие типы баз данных:


Читать: https://habr.com/ru/companies/amvera/articles/754702/
Виды баз данных. Большой обзор типов СУБД

Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.

В статье мы рассмотрим следующие типы баз данных:


Читать: https://habr.com/ru/companies/amvera/articles/754702/
Базы данных и начало работы с SQL

Эта статья имеет широкий спектр применения и будет актуальна для тех, кто хочет больше узнать о том, как управляются и обрабатываются данные в современном информационном мире, и особенно для людей, которые интересуются программированием и планируют строить карьеру в IT.

Статья предоставит читателю обзор основ баз данных и систем управления базами данных, а также поможет начать начать работу с языком структурированных запросов SQL.


Читать: https://habr.com/ru/companies/first/articles/755832/
👍1
Проектирование базы данных в SAP PowerDesigner

Привет!

Проектирование базы данных - это один из важнейших этапов создания информационной системы. Оно включает в себя определение сущностей, их атрибутов и связей между ними, а также выбор наиболее подходящих типов данных и ограничений целостности.

В данной статье мы рассмотрим процесс проектирования базу данных с нуля (в качестве примера возьмем только один слой БД - витринный, он же Data Mart) с использованием ПО SAP PowerDesigner. В качестве СУБД мы будем использовать Oracle 19c, но вы можете выбрать любую другую, по вашим потребностям (как - об этом чуть ниже).

Рассмотренный в статье инструмент будет интересен системным аналитикам, архитекторам, разработчикам БД и даже бизнес-аналитикам, поскольку помимо создания физических и логических моделей в нем можно рисовать ER-диаграммы, BPMN-модели и многое другое.


Читать: https://habr.com/ru/articles/755284/
👍1
Семантические базы данных: RDF, SPARQL и Linked Data

Семантические базы данных представляют собой специально организованные хранилища данных, где информация не только описывает факты, но и содержит семантические связи между ними. В отличие от традиционных баз данных, которые ограничиваются хранением и извлечением данных, семантические базы данных исследуют глубинные связи и значения, лежащие в основе этих данных.

Основными строительными блоками семантических баз данных являются RDF (Resource Denoscription Framework) – формальный язык для описания ресурсов и их отношений, SPARQL – язык запросов к RDF данным, и Linked Data – концепция объединения данных разных источников через общие семантические структуры.

Следует отметить, что применение семантических баз данных также имеет свои сложности и вызовы, связанные с проектированием семантических моделей, производительностью и масштабируемостью. Однако, в совокупности, их потенциал и перспективы предоставления более глубокого понимания данных и разнообразных приложений делают их одной из наиболее захватывающих технологических областей нашего времени.


Читать: https://habr.com/ru/companies/otus/articles/755440/
DATABASE DESIGN
Photo
What's New in Atlas Charts: Summer 2023 Release Roundup

Atlas Charts, a data visualization tool for MongoDB Atlas, has announced several updates in its summer 2023 release. These updates include expanded customization options in the Charts Embedding SDK, an out-of-the-box billing dashboard, support for candlestick charts, and query execution improvements for larger datasets. The Charts Embedding SDK now allows for greater customization of embedded charts and dashboards. The new billing dashboard simplifies monitoring Atlas billing data. Candlestick charts have been added to support financial data visualization. Query execution has been improved to handle more complex queries and longer rendering times. These updates aim to make Atlas Charts more powerful and user-friendly. Alongside these updates, the Talent Sourcing team at MongoDB, which is responsible for sourcing talent for the company, is highlighted with interviews from team members. MongoDB.local Auckland, an event showcasing MongoDB and its community in New Zealand, was also held recently, with announcements of MongoDB's support for the cloud regions of Microsoft, Amazon, and Google in New Zealand. The text informs the reader about the availability of a MongoDB.local event and encourages them to check if there will be one happening in their city. The specific date mentioned is August 17, 2023.

Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-summer-2023-release-roundup