DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Создаем картотеку людей в Obsidian максимально лениво или «Тронул мышку — проиграл»

Я уже писал на Хабре статью, что такое СДВГ и как она влияет на жизнь. Жизнь с этим синдромом создаёт свои трудности и я (как имеющий этот синдром) ненавижу и максимально стараюсь избегать любую рутину.

Иногда это доходит до крайности — мне необходимо заполнить какие-то заметки, но они все одинаковые. Ты их копируешь, вставляешь, опять поднимаешь руку к мышке, пытаешься попасть в нужную строку иии... глючит при прокрутке ролик, ты промазываешь и эмоции такие, что хочется выкинуть всю технику в окно.

Поэтому я сделал для себя кучу шаблонов заметок, которые очень быстро заполняются по правилу игры "Тронул мышку — проиграл". Эти шаблоны сильно облегчили мою жизнь и одним таким шаблоном я и хочу поделиться.


Читать: https://habr.com/ru/articles/902656/

#ru

@database_design | Другие наши каналы
Почему COUNT(*) быстрее, чем COUNT(col) — и когда это не так

Привет, Хабр!

Сегодня поговорим про одну из тех тем, что вроде бы тривиальна, но до последней капли грязи тащит за собой внушительный пласт вопросов. Речь пойдёт про COUNT(*) и COUNT(col) в PostgreSQL.


Читать: https://habr.com/ru/companies/otus/articles/901922/

#ru

@database_design | Другие наши каналы
Измерение аудитории блога с помощью OpenTelemetry

Мне интересно следить, какие статьи в моём блоге наиболее популярны, и сколько людей заглядывает в блог каждый день. Этот блог прошел через несколько этапов, позволяющих оценить эти показатели. Сначала это была Google Аналитика, но делиться всей этой информацией с Google не очень комфортно. Поэтому я перешёл на Matomo, развернутый на сервере CHATON: Libréon.

TL;DR

Хотите отслеживать трафик на статическом блоге без Matomo и Google Analytics?
Рассказываю, как с помощью OpenTelemetry, Prometheus, Grafana и небольшого самописного скрипта на JS (Otela) можно элегантно и эффективно следить за посещаемостью — при этом полностью сохранив контроль над своими данными.

Читать: https://habr.com/ru/companies/piter/articles/902732/

#ru

@database_design | Другие наши каналы
Новости в формате аудио с MongoDB и ИИ

Текст поста: Представьте, что каждое утро вы просыпаетесь под звуки подкаста с последними новостями, созданного искусственным интеллектом без участия человека. Это стало возможным благодаря MongoDB и генеративному ИИ, которые автоматизируют обработку и озвучивание новостей. Узнайте больше о будущем новостного аудио-контента! Как MongoDB помогает DataGenie раскрыть потенциал бизнеса

DataGenie использует MongoDB для повышения гибкости и скорости обработки данных, предлагая компаниям аналитические решения в сферах розничной торговли, здравоохранения и финансов. Новые возможности позволяют улучшать взаимодействие с клиентами и оптимизировать управление ресурсами.

Читать подробнее

#en

@database_design | Другие наши каналы
Фокус на разделение: что такое реестр IVF?

IVF — это индекс на основе разделенных векторов, который используется для улучшения эффективности поиска. В отличие от HNSW, который хранится в памяти, IVF использует кластеризацию для сужения области поиска, обеспечивая более быстрый доступ к данным.

Читать подробнее

#en

@database_design | Другие наши каналы
Книга: «Elasticsearch для разработчиков: индексирование, анализ, поиск и агрегирование данных. 2-е изд.»

Привет, Хаброжители!

Вы знакомы с Elasticsearch? Это мощный инструмент для работы с большими объемами данных. Его гибкость, масштабируемость и высокая производительность делают его незаменимым в современных IT-решениях. Книга Анурага Шриваставы «Elasticsearch для разработчиков» — это подробное руководство, которое шаг за шагом раскрывает все аспекты работы с этой технологией: от базовых принципов до сложных сценариев использования.

Шривастава начинает с основ, постепенно погружая читателя в мир Elasticsearch, и к концу книги даже новичок сможет уверенно работать с индексами, запросами, агрегациями и геоданными. Практические примеры и четкие объяснения помогают закрепить знания, а структура книги позволяет изучать материал в удобном темпе.

Читать: https://habr.com/ru/companies/piter/articles/901740/

#ru

@database_design | Другие наши каналы
Drupal интегрируется с MongoDB для оптимизации производительности

Текст: В статье описывается сотрудничество Дэвида Беккера с MongoDB для разработки драйвера, позволяющего интегрировать эту документно-ориентированную базу данных с Drupal. Использование MongoDB может существенно улучшить производительность и масштабируемость Drupal, делая его более конкурентоспособным в цифровом мире. Автоматизация новостей с MongoDB и ИИ

В 2025 году медиа активно используют MongoDB и генеративный ИИ для создания подкастов. Эта технология позволяет хранить данные статей и использовать AI для преобразования текста в качественные аудиоформаты. Это не только ускоряет процессы, но и открывает новые возможности для бизнеса.

Читать подробнее

#en

@database_design | Другие наши каналы
Параметры конфигурации мастера, отслеживаемые репликами PostgreSQL

Значения восьми параметров конфигурации мастера (primary, ведущего сервера PostgreSQL) сохраняются в управляющих файлах и изменения их значений передаются через журнал (WAL) на реплики. Если реплика открыта для запросов (hot_standby=on), то значения пяти числовых параметров на реплике должны быть не меньше, чем на мастере, иначе процесс startup прекратит накат (replay) журнальных записей. А после рестарта экземпляры реплик не запустятся. В статье рассматриваются эти параметры особенности изменения их значений.

Значения пяти числовых параметров конфигурации, сохраненных в управляющем файле кластера, можно посмотреть утилитой pg_controldata:


Читать: https://habr.com/ru/articles/903030/

#ru

@database_design | Другие наши каналы
Методы расширения атрибутивного состава таблиц БД

Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили?

Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве.

Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.


Читать: https://habr.com/ru/companies/T1Holding/articles/903546/

#ru

@database_design | Другие наши каналы
Упростите управление базами данных с MariaDB и Kubernetes

Kubernetes — это стандарт в оркестрации контейнеров, но управление stateful-приложениями усложнено. Оператор MariaDB Enterprise для Kubernetes предлагает автоматизированное решение для развертывания и управления платформой MariaDB в кластерах Kubernetes. Узнайте больше по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы
Как MongoDB и ИИ трансформируют устаревшие системы

Текст: Компания MongoDB интегрирует новейшие достижения ИИ для модернизации устаревших систем. Благодаря AI Forward Deployed Engineer создан новый подход к разработке, решающий проблемы с масштабом и скоростью. Это оптимальная помощь компаниям, стремящимся к инновациям. Присоединяйтесь к революции! Перспективы Drupal с MongoDB

В сообществе Drupal обсуждается интеграция с MongoDB, что позволит улучшить производительность и масштабируемость. MongoDB помогает хранить данные в формате JSON, ускоряя доступ к ним и обеспечивая конкурентоспособность Drupal в современном ландшафте пользовательских приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
PostgreSQL: грабли, на которые мы наступаем… снова

СУБД PostgreSQL является одной из самых популярных реляционных баз данных с открытым исходным кодом, и благодаря почти 40-летней истории развития она является отличным выбором для приложений любого размера. Но многие начинающие администраторы и разработчики совершают одни и те же ошибки при работе с этой СУБД. В этой статье мы рассмотрим некоторые из них.


Читать: https://habr.com/ru/companies/otus/articles/902942/

#ru

@database_design | Другие наши каналы
Obsidian: Шаблоны

В этой статье я расскажу про то, как можно автоматизировать некоторые задачи с помощью встроенного плагина Шаблоны и подготовлю себя и вас к самому крупному и исчерпывающему руководству по плагину Templater , который я выпущу следующей публикацией.


Читать: https://habr.com/ru/articles/903934/

#ru

@database_design | Другие наши каналы
Переосмысление поиска с Voyage AI и MongoDB

Ваша информация найдёт вас! MongoDB и Voyage AI работают над улучшением AI-поиска, интегрируя передовые модели в Atlas. Это позволит разработчикам получить точные результаты поиска для сложных задач в здравоохранении, праве и финансах без сложности настройки. Узнайте больше на блогах MongoDB! MongoDB: Прорыв в развитии Drupal

Текст поста: Интеграция MongoDB с Drupal открывает новые горизонты для создания пользовательских приложений. Эта комбинация повышает производительность и масштабируемость, особенно для крупных проектов с миллионами пользователей. Узнайте, как MongoDB меняет игру для сайтов с высокой активностью. Вливайтесь в команду MongoDB!

Ищете возможность работать с передовыми технологиями ИИ в динамичной среде? MongoDB предлагает роль, где вы сможете решать реальные бизнес-задачи и сотрудничать с клиентами. Присоединяйтесь к нашей новаторской команде и создавайте будущее софта!

Читать подробнее

#en

@database_design | Другие наши каналы
Отвечает ли CRM за сохранность ПД и как не нарушить закон при хранении ПД в обычной таблице

Сегодня утром вы открыли глаза и четко осознали: бизнесу нужно развиваться!  Отлично, используйте все легальные доступные инструменты.

Только, пожалуйста, не развивайте свое дело, пренебрегая обязательными пунктами ведения бизнеса, которые установило законодательство. Я о работе с персональными данными. Не устаю напоминать, потому что это действительно важно.

Сегодня разбираю законность хранения ПД в обычных таблицах и CRM-системах. Вам нужно это знать, даже если в вашей компании работает три человека
Узнать про хранение ПД в таблицах и CRM

Читать: https://habr.com/ru/articles/903794/

#ru

@database_design | Другие наши каналы
Новый способ ускорить откат операций

Пост для вас: Представляем инновационную функцию, разработанную Alibaba Cloud, которая значительно ускоряет процесс отката крупных транзакций при запуске сервера. Теперь даже длинные операции не вызовут длительного простоя, обеспечивая более эффективную работу систем. подробнее [здесь](https://mariadb.com/resources/blog/rollback-prepared-transactions-asynchronously-during-binlog-crash-recovery/).

Читать подробнее

#en

@database_design | Другие наши каналы
Оптимизация коммитов в MariaDB 11.7

В статье от Libing Song из Alibaba Cloud рассказывается о новой функции в MariaDB Server 11.7, ускоряющей коммиты больших транзакций и повышающей стабильность сервера. Эта функция полезна для репликаций, поддерживающих крупные транзакции.

Читать подробнее

#en

@database_design | Другие наши каналы
Контролируем качество данных с помощью Python

В работе с данными одной из самых больших трудностей является обеспечение их качества. В процессе анализа и обработки информации приходится сталкиваться с множеством проблем, таких как отсутствие нужных значений, неправильно отформатированные данные или ошибки, появляющиеся при сборе данных с веб-ресурсов.

В этой статье мы рассмотрим, как с помощью Python можно автоматизировать процесс проверки и очистки данных, используя популярные библиотеки, такие как pandas и pyspark. Мы исследуем практические подходы к подготовке данных для анализа, включая поиск аномалий, постобработку и работу с пустыми значениями, что поможет обеспечить высокое качество данных для дальнейших исследований и принятия решений.


Читать: https://habr.com/ru/companies/otus/articles/903634/

#ru

@database_design | Другие наши каналы
Low-code и No-code: 10 задач программиста, которые они точно решат

Low-code и no-code — не просто модный тренд, а мощные инструменты, которые уже сегодня решают задачи программистов: от создания MVP и автоматизации процессов до админок и найма. Разбираем 10 кейсов, где без кода — быстрее и эффективнее.

Читать: «Low-code и No-code: 10 задач программиста, которые они точно решат»

#ru

@database_design | Другие наши каналы
Как мы автоматизировали учет в IT-команде и почему это не всегда было радужно

Опыт автоматизации финучета в небольшой IT-команде — честно, с мемами и фейлами. Как ушли от Excel, почему сначала все пошло не по плану, что сэкономили, где накосячили и зачем все-таки это сделали. Без волшебных кнопок, но с выводами, которые помогут другим не наступить на те же грабли.


Читать: https://habr.com/ru/articles/904422/

#ru

@database_design | Другие наши каналы
Как писать запросы для табличных моделей с помощью DAX

В этой статье мы погрузимся в мир запросов DAX для табличных моделей данных. ДAX (Data Analysis Expressions) — это мощный язык запросов, который используется для анализа и обработки данных в Power BI и других продуктах Microsoft. Мы рассмотрим, как с помощью DAX можно выполнять эффективные запросы к данным, начиная с простых операций, таких как получение всех строк из таблицы, и заканчивая более сложными задачами, например, использованием локальных мер и фильтрации данных.

Статья будет полезна как новичкам, так и опытным пользователям, стремящимся глубже понять возможности DAX и научиться использовать его для быстрой и точной аналитики.


Читать: https://habr.com/ru/companies/otus/articles/904444/

#ru

@database_design | Другие наши каналы