DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
NoSQL: понятие, виды баз данных и их особенности

NoSQL (что значит «Не только SQL») представляет новый класс систем управления данными, отходящих от реляционного подхода к хранению информации. В противовес традиционным СУБД, таким как MySQL или PostgreSQL, где все данные размещаются в таблицах с фиксированной структурой и строгими связями, NoSQL предлагает более гибкие способы организации и хранения информации. Эта технология не отрицает SQL, а расширяет возможности работы с данными.

Происхождение термина NoSQL имеет интересную историю, которая началась не с технологии, а с названия технической конференции. В 2009 году в Сан-Франциско организаторы мероприятия по базам данных выбрали это название, и оно неожиданно прижилось в индустрии. Любопытно, что за десятилетие до этого, в 1998 году, разработчик Карло Строцци уже использовал название NoSQL для своего проекта, не имевшего отношения к современным нереляционным системам.

Современные NoSQL-решения представлены несколькими основными категориями систем хранения данных. К ним относятся базы данных, работающие с документами (MongoDB возглавляет это направление), хранилища пар ключ-значение (яркий пример — Redis), системы управления графами (где лидирует Neo4j) и колоночные хранилища (такие как ClickHouse). Объединяющей характеристикой этих систем является отказ от классического языка SQL в пользу собственных методов обработки данных.

В отличие от реляционных СУБД, где SQL выступает стандартизированным языком для работы с данными, обеспечивая возможности выборки информации и объединения таблиц посредством операций JOIN и UNION, нереляционные системы разработали собственные уникальные языки запросов. Каждая NoSQL-база данных предлагает свой специализированный синтаксис для манипуляции данными. Рассмотрим конкретные примеры.


Читать: https://habr.com/ru/companies/timeweb/articles/885354/

#ru

@database_design | Другие наши каналы
Почему QR-коды в верхнем регистре меньше, чем в нижнем?

Взгляните на эти два QR-кода. Отсканируйте их, если хотите: обещаю, в них нет ничего опасного.

Слева HTTPS://EDENT.TEL/ в верхнем регистре, а справа — https://edent.tel/ в нижнем.

Можно чётко заметить, что слева QR-код «меньше», то есть в нём меньше битов данных. Оба ведут на один и тот же URl, единственное различие заключается в регистре.

Что здесь происходит?


Читать: https://habr.com/ru/articles/885990/

#ru

@database_design | Другие наши каналы
Что будет интересного в pg_probackup 3

pg_probackup 3 — не просто обновление, а полная перезагрузка системы резервного копирования PostgreSQL. Пока сообщество затаило дыхание в ожидании релиза, мы разберем по косточкам все ключевые изменения: от полностью переработанной архитектуры и нового репликационного протокола до революционной возможности восстановления отдельных баз данных и поддержки FUSE. Узнайте, как LibProbackup3 – полноценный SDK – открывает новые горизонты для интеграции в любую инфраструктуру, а улучшенная поддержка лент и S3, наконец, решает наболевшие проблемы.


Читать: https://habr.com/ru/companies/postgrespro/articles/884432/

#ru

@database_design | Другие наши каналы
Запросы к MongoDB под контролем: более безопасный доступ с Hasura

Компании в здравоохранении и финтехе часто выбирают MongoDB для современных приложений с высокими требованиями к безопасности данных. Платформа Hasura усиливает контроль доступа, обеспечивая детализированные разрешения и упрощая взаимодействие с данными через API. Узнайте, как это работает.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности ALTER TABLE в MariaDB 11.4

Обновление MariaDB Enterprise Server 11.4 предлагает улучшенные возможности для снижения времени простоя операций ALTER TABLE. Новая функция Online Schema Change и оптимистичный ALTER TABLE для репликации позволяют оптимизировать процесс и уменьшить задержки репликации, делая операции менее зависимыми от блокировок. Узнайте, как эти нововведения могут улучшить производительность и уменьшить простои в вашей базе данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Суверенный интернет не есть зло



В недавнем посте разгорелась довольно жёсткая дискуссия про ограничения хранения данных, Чебурнет, Великий китайский файрвол и Кванмён.

Почему-то они воспринимаются как что-то однозначно плохое.

Мне тоже интуитивно кажется, что информация должна быть свободной — с одной стороны. Но с другой стороны, я понимаю, почему без таких систем просто невозможно было обойтись. Примерно как без модерации на форумах: да, с ней легко пережестить, да, она всегда кого-то обижает, но в целом она нужна.

В общем, я хотел бы привести несколько рациональных доводов про плюсы и минусы таких систем, ограничивающих Интернет одной страной.

В целом это вопрос ИБ, но как и в случае с любой другой ИБ, всё зависит от реализации: можно конкретно переборщить.

Первая причина так делать — это банальное выживание в случае отключения глобального сегмента. Причём отключение может быть как политическим вроде истории с Ираном, так и вполне себе атакой на инфраструктуру, как было в Эстонии в 2007 году, когда даже банки приостанавливали операции на несколько дней. Тогда всем стало понятно, что Интернет (точнее, отрезание доступа к нему) можно использовать как оружие.

Читать: https://habr.com/ru/companies/ruvds/articles/886228/

#ru

@database_design | Другие наши каналы
💊2
Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse

Привет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества.

Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH), Data Lake и относительно новую концепцию Lakehouse. Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода.
Всплыть

Читать: https://habr.com/ru/companies/arenadata/articles/885722/

#ru

@database_design | Другие наши каналы
Camunda на проде: восемь типичных ошибок

Итак, вы смоделировали все процессы, написали бизнес-логику и задеплоили все на сервер. Запускаем наши процессы на проде! Поехали? – Но дальше разложено множество граблей, на которые обычно наступают все, кто только начинает эксплуатировать BPM, в том числе и на движке Camunda 7. Эта статья сэкономит вам много времени и успокоит нервы – потому что ситуации, описанные ниже, могут изрядно их попортить, если вы будете не готовы.


Читать: https://habr.com/ru/companies/haulmont/articles/886620/

#ru

@database_design | Другие наши каналы
Как фильтры Блума в 10 раз ускорили SQLite



Это интригующая история о том, как исследователи с помощью грамотного использования фильтров Блума смогли в 10 раз ускорить аналитические запросы в SQLite. Ниже я приведу свой краткий обзор работы «SQLite: Past, Present, and Future (2022)», и объясню некоторые внутренние особенности баз данных, включая механизм реализации соединений.

Читать: https://habr.com/ru/companies/ruvds/articles/885830/

#ru

@database_design | Другие наши каналы
Чем заменить базу знаний Confluence? Проверили 4 российских сервиса и делимся результатами

Привет, я Оля, работаю продактом в IT-компании. На меня упала задача выбрать замену базы знаний Confluence. Директор решил, что в силу профессии я смогу объективно выбрать альтернативу :)

Я собрала небольшую рабочую группу из четырёх человек: меня, техписателя, HR и разработчика. Протестировали четыре российских сервиса: Minerva Knowledge, «Битрикс24», Ewa Wiki и «ПланФикс».

Делюсь нашим опытом: что зашло, что не понравилось и на чём в итоге остановились
Читать

Читать: https://habr.com/ru/articles/886794/

#ru

@database_design | Другие наши каналы
Уже с 26 марта 2025 года MongoDB планирует сделать двухфакторную аутентификацию (MFA) обязательной для всех пользователей MongoDB Atlas. Такой шаг обусловлен стремлением компании повысить уровень защиты данных от несанкционированного доступа, учитывая, что 31% утечек данных происходит из-за кражи учетных данных. Подключение MFA сократит риск нарушения безопасности на 99.22%. Как квантование улучшает работу с векторными данными

Квантование векторных данных существенно снижает потребление памяти и ускоряет поиск. MongoDB Atlas предлагает автоматическую систему квантования, которая снижает нагрузку и увеличивает эффективность обработки. Особенно полезно при работе с миллионами векторов. Узнайте больше на сайте MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы
Упрощение работы с Exadata на Cloud@Customer

Текст: OCI Ansible коллекция стала мощным инструментом для автоматизации развертывания Exadata Database Service на Cloud@Customer. Это решение обеспечивает гибкость и надежность, позволяя пользователям легко управлять сложными ИТ-инфраструктурами и оптимизировать рабочие процессы.

Читать подробнее

#en

@database_design | Другие наши каналы
9.000.000 рублей прибыли в первый месяц: профессиональный подход к аналитике маркетплейсов

Мощный инструмент аналитики, который буквально перевернул наш подход к работе с маркетплейсами. Благодаря ему мы смогли выйти на прибыль в 9 млн рублей уже в первый месяц использования!


Читать: https://habr.com/ru/articles/887346/

#ru

@database_design | Другие наши каналы
Obsidian: Типы данных

Этой статьей я хотел бы начать серию обучающих материалов, в которой поделюсь всем, что мне известно про редактирование текста и организацию работы в Obsidianи с Markdown файлами.

Покажу интересные способы использования markdown заметок для решения разных задач.


Читать: https://habr.com/ru/articles/887482/

#ru

@database_design | Другие наши каналы
MultiDirectory: российская альтернатива Active Directory с 2FA, SSO и совместимостью с AD

MultiDirectory от компании МУЛЬТИФАКТОР — современная служба каталогов для централизованного хранения данных и управления информацией о пользователях, группах и сетевых ресурсах. Она помогает российским компаниям администрировать инфраструктуру с помощью удобных инструментов и гибких механизмов для поиска и фильтрации данных. Рассказываем об особенностях и функционале MultiDirectory.

Читать: «MultiDirectory: российская альтернатива Active Directory с 2FA, SSO и совместимостью с AD»

#ru

@database_design | Другие наши каналы
MongoDB улучшает AI с Voyage AI

Текст: MongoDB приобрела Voyage AI для усиления своих AI-приложений. Интеграция упростит разработку и повысит точность поиска и обработки данных, помогая компаниям быстрее внедрять AI-решения и улучшать бизнес-процессы. Узнайте больше на сайте MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
100+ ТБ на одном диске: как HAMR, HDMR и другие технологии изменят хранение данных

Первый жесткий диск, появившийся в 1956 году, весил тонну и мог хранить всего 5 МБ данных — этого хватило бы для одной песни в формате MP3. Сегодня мы легко помещаем на флешку размером с палец тысячи таких песен, а жесткие диски вмещают десятки терабайт. Но даже этого уже недостаточно: объем данных в мире растет экспоненциально и в этом году составит 181 зеттабайт.

Прорывные технологии уже на этапе тестирования — скоро на рынке появятся первые HAMR- и HDMR-диски, которые используют тепло и нанотехнологии, чтобы преодолеть физические ограничения современных носителей. Эти технологии обещают жесткие диски емкостью до 120 ТБ и выше.

На горизонте еще более смелые решения: хранение данных в молекулах ДНК, кварцевые носители, способные сохранять информацию миллиарды лет, и многое другое. Давайте разберемся, что будет в ближайшее время происходить в этой сфере.


Читать: https://habr.com/ru/companies/mclouds/articles/887530/

#ru

@database_design | Другие наши каналы
OpenDJ: Использование реляционной СУБД в качестве LDAP каталога

В данной статье мы настроим службу каталогов LDAP OpenDJ таким образом, чтобы она использовала базу данных PostgreSQL в качестве хранилища данных.


Читать: https://habr.com/ru/articles/887636/

#ru

@database_design | Другие наши каналы
Мультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python

Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки.

Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.

Читать: https://habr.com/ru/companies/selectel/articles/887698/

#ru

@database_design | Другие наши каналы
👎1
​​Интеграция MongoDB и LangChain4j: Революция в Java AI

MongoDB анонсировала интеграцию с LangChain4j, упрощая создание AI-приложений на Java. Теперь разработчики смогут внедрять Vector Search от MongoDB Atlas и интегрировать большие языковые модели. Это открывает новые горизонты для создания инновационных AI решений в Java. Неудачи и успехи: опыт обновления баз данных в MongoDB

Текст: Команда MongoDB рассказала о сложностях обновления своих внутренних кластеров до версии 8.0. Обнаружены уникальные баги, решены проблемы с индексами и достигнуто ускорение операций. Этот опыт помогает улучшать продукт до релиза для клиентов. Присоединяйтесь к сообществу MongoDB для новостей и событий.

Читать подробнее

#en

@database_design | Другие наши каналы
Резинка, постепенно ломающая старые жёсткие диски



В рамках моей работы над будущим постом об утерянном и наконец-то найденном фрагменте истории Mac я экспериментировал со старыми жёсткими дисками SCSI под брендом Apple, выпускавшимися Quantum и Conner в 1990-х. В этой статье я расскажу о хорошо известном в мире винтажных компьютеров факте, который, думаю, будет интересен читателям.

Дело в том, что многие из этих жёстких дисков уже отказываются работать. Это очень распространённая проблема у старых моделей Quantum ProDrive, например, LPS и ELS. Шпиндель раскручивается, но мы не слышим ожидаемого паттерна щёлкающих звуков запуска, а спустя несколько секунд он снова останавливается.

Читать: https://habr.com/ru/companies/ruvds/articles/888154/

#ru

@database_design | Другие наши каналы