DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
PLAID оптимизировал обработку потоковых данных в реальном времени с помощью MongoDB Atlas Stream Processing. Это позволило снизить затраты, упростить управление и масштабировать систему, сохранив при этом эффективность передачи данных в Google BigQuery. Оптимизация индексов MongoDB: почему встроенные объекты могут замедлять запросы. В статье разбирают случаи, когда избыточное и неправильное индексирование больших вложенных объектов приводит к снижению производительности и как этого избежать для ускорения работы базы данных. Оптимизация MongoDB: как правильно использовать составные и частичные индексы для улучшения производительности базы данных. В статье разбираются ошибки при создании индексов и советы, как подобрать эффективные индексы под разные запросы и сократить нагрузку на систему.

Читать подробнее

#en

@database_design | Другие наши каналы
Вендорские СХД vs open-source-решения: с чем лучше экономить при работе с «железом»

Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.

В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула.


Читать: https://habr.com/ru/companies/runity/articles/927848/

#ru

@database_design | Другие наши каналы
Как индексы на вложенных объектах влияют на производительность MongoDB

Тяжелые и обширные индексы на вложенных объектах могут приводить к замедлению запросов из-за недостатка памяти для кеша. Важно оптимизировать структуру индексов, чтобы избежать проблем с производительностью при работе с большими данными. Как правильно настроить индексы в MongoDB для высокой производительности
Статья объясняет, почему важно создавать составные и частичные индексы, чтобы ускорить операции поиска и избежать лишней нагрузки на систему. Оптимальный выбор индексов помогает эффективно масштабировать базу данных с ростом приложения. Как PLAID сократил расходы и упростил обработку данных в реальном времени с помощью MongoDB Atlas Stream Processing. Новое решение снизило затраты, повысило масштабируемость и упростило управление потоками данных, заменив дорогие Kafka-коннекторы и улучшив интеграцию с BigQuery.

Читать подробнее

#en

@database_design | Другие наши каналы
10 библиотек Python, которые меняют карьеру

10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.

Читать: «10 библиотек Python, которые меняют карьеру»

#ru

@database_design | Другие наши каналы
Обзор сервера ITPOD-SY4108G-D12R-G4: мощная платформа для AI/ML вычислений

Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.

В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.


Читать: https://habr.com/ru/companies/itglobalcom/articles/928716/

#ru

@database_design | Другие наши каналы
Новое в Oracle Database 23ai Release Update 7 для разработчиков. Обновление предлагает расширенные возможности и улучшения, которые помогут создавать более эффективные и интеллектуальные приложения с поддержкой искусственного интеллекта. Подробности о нововведениях ждут вас в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности безопасности Oracle Database 19c и 23ai: с обновлением базы данных в июле 2025 года появится поддержка многофакторной аутентификации для локальных пользователей, включая традиционные аккаунты типа SCOTT/TIGER.

Читать подробнее

#en

@database_design | Другие наши каналы
Windows Home Server: взгляд на домашний сервер Microsoft, который не прижился

Время мчится с бешеной скоростью. Кажется, что релиз этой операционной системы был совсем недавно, а на самом деле прошло уже 18 лет. За это время мир не раз менялся, а вместе с ним изменились и потребности пользователей. Сегодня с высоты прожитых лет попробуем разобраться, что пошло не так в развитии Windows Home Server (WHS) и почему перспективный изначально проект в итоге свернули.


Читать: https://habr.com/ru/companies/ru_mts/articles/928850/

#ru

@database_design | Другие наши каналы
Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов

Свежая статистика, исследования и советы экспертов: как российским IT-специалистам найти работу за границей в 2025 году.

Читать: «Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов»

#ru

@database_design | Другие наши каналы
Лучшие бесплатные программы для поиска дубликатов фото

Вам знакомо это чувство лёгкой паники, когда ваш ноутбук внезапно начинает жалобно пищать, а на экране возникает зловещее предупреждение: «Диск почти заполнен»? Со мной это тоже недавно случилось. Я открыл «Проводник» и остолбенел – мой внешний диск на 1 ТБ был забит под завязку – на 95%!

Виновниками оказались не фильмы и не игры, а гигантское кладбище фотографий. Двенадцать папок с безликим именем «DCIM», горы скриншотов, которые я копировал по пять раз «на всякий случай», и целые россыпи почти одинаковых снимков заката, сделанных в режиме серийной съёмки. Попытка вручную найти идентичные фото напоминала поиск иголки в стоге сена размером с Сибирь.

В предыдущей статье я разбирал, как лучше сортировать фото, и ещё тогда я понял: пора объявлять войну дубликатам. И вот этот момент настал. После тестирования более 15 инструментов (и кучи потраченных нервов) я отобрал 5 бесплатных программ, которые реально помогают решить проблему. Этим опытом и поделюсь.


Читать: https://habr.com/ru/articles/928938/

#ru

@database_design | Другие наши каналы
Ошибки, которые не случились: C++ и compile‑time проверка SQL-запросов

В этой статье мы посмотрим, как можно реализовать полную compile‑time валидацию SQL‑запросов на основе схемы базы данных, встраиваемой прямо в код. Без магии, без рантайма, без сторонних тулов. Только стандартный C++ и ваша структура БД. Валидация таблиц, столбцов, типов аргументов и их количества — всё на compile‑time.

Представьте, если бы компилятор сам указывал «такой таблицы нет», «несуществующий столбец», «несовместимые типы» — до запуска программы. Такой подход полностью устраняет «сюрпризы» во время исполнения и исключает класс ошибок, связанных с генерацией SQL во время работы программы. Ваша программа даже не соберётся.


Читать: https://habr.com/ru/articles/929052/

#ru

@database_design | Другие наши каналы
Обзор рынка платформ защиты данных от KuppingerCole

В отчёте аналитика Alexei Balaganski рассматривается текущее состояние рынка платформ по защите данных и подчёркивается необходимость сильной защиты в условиях растущих угроз и новых регуляций.

Читать подробнее

#en

@database_design | Другие наши каналы
Использование метрик для мониторинга облачных баз данных на примере PostgreSQL

Если вы работаете с базами данных, то вам определенно стоит иметь понимание о производительности кластера СУБД. Для этого можно использовать базовые метрики. А можно — метрики от DBaaS в сочетании с Grafana. Они позволяют строить кастомные графики, которые могут быть полезны в той или иной ситуации.

Привет! Меня зовут Рамиль Адильбеков, я DevOps-инженер в Selectel. В этой статье покажу, как можно настроить базовый стек Prometheus/Grafana, подключить метрики от кластера облачных баз данных и загрузить дашборд.


Читать: https://habr.com/ru/companies/selectel/articles/928854/

#ru

@database_design | Другие наши каналы
«Эра Flink 2.0»: что реально меняется в архитектуре real‑time вычислений

Apache Flink 2.0 — первый мажорный релиз после 1.0 (2016), закрывающий многолетний цикл эволюции архитектуры и устраняющий накопленные болевые точки масштабирования потоковых платформ: усложняющуюся конфигурацию, ограниченность локального состояния, разрыв между batch и streaming, устаревшие API и операционную стоимость при росте AI/real‑time сценариев. В команде BitDive мы уже используем Flink 2.0 для низколатентной обработки потоковых метрик и трассировок (агрегация, выделение аномалий) — это позволило ускорить recovery и снизить стоимость вычислений по сравнению с линией 1.20.x.


Читать: https://habr.com/ru/articles/929222/

#ru

@database_design | Другие наши каналы
Google Datastream теперь поддерживает MongoDB для интеграции с BigQuery. Это упрощает потоковую передачу данных в реальном времени, улучшая аналитические возможности и ускоряя внедрение ИИ. Новая функция помогает компаниям быстрее принимать решения на основе актуальных данных. CentralReach и Base39 используют MongoDB Atlas и AI для улучшения сервисов: автоматизация ухода за пациентами с аутизмом и ускоренный кредитный анализ. Их решения повышают точность, снижая затраты и сокращая сроки обработки. Подробнее о современных AI-приложениях в бизнесе.

Читать подробнее

#en

@database_design | Другие наши каналы
Интеллектуальный финансовый помощник на базе MongoDB и IBM Watsonx.ai
Финансовые компании используют интеграцию MongoDB Atlas с IBM Watsonx.ai для создания умных ассистентов. Такая система обрабатывает сложные запросы, обеспечивает быстрый доступ к данным и предоставляет персонализированные финансовые рекомендации в реальном времени. Новое в интеграции MongoDB и Google BigQuery

Google Datastream теперь поддерживает MongoDB как источник данных, что позволяет в реальном времени реплицировать изменения в BigQuery. Это упрощает аналитику, ускоряет принятие решений и развивает AI-проекты благодаря свежим и точным данным.

Читать подробнее

#en

@database_design | Другие наши каналы
Синхронность разумений

Имеются фундаментальные вопросы о природе, подняв которые, течение времени несколько замедляется, с точки зрения наличия эталонов длин дня и ночи. Таким образом поддерживаются достаточно исходные среды, течение времени в которых более размеренно.

Но что способствует поднятию вопросов, когда имеется некоторое понимание, что наше отражение в зеркале, есть простейшее доказательство того, что человек это не утопичная идея?

Для понимания, можно предположить нечто, вопросом о чём может задаться совсем не глупая девчушка, в период своей чувственной юности: "Есть воздуха воображение? А чем нам усмирить его движение? Ведь есть пера предназначение!"...

Живого ж появление от дураков явления, что ни на есть, знамение.

По чему только какая-то навязчивая идея нас ведёт к природе, на позволяя заметить, что всё в ней живое может просто жить?

Человеческий промысел человеческому промыслу рознь, с точки зрения формирования общего целеполагания. При условии, что надежда природы, может формировать запрос на человека, а грамотный Космос удовлетворять потребность при наличии достаточно общего целеполагания.

Что мы немножко попутали, с детства зная, с чего начинается т.н. сотворение мира, описанное в Торе?

Творец не создал воздух. По сему не лишним было бы задаться вопросом на тему о том, почему же летающие букашки бьются об стекло, в условиях наличия рядом открытого окна?

Не таким ли образом они демонстрируют недостатки синхронности разумений, устремляясь туда, куда путь держать невозможно, даже находясь в некотором подобии человека?


Читать: https://habr.com/ru/articles/929696/

#ru

@database_design | Другие наши каналы
Альтернатива чатам с ИИ для анализа и оптимизации SQL запросов

Всем привет!

Экспериментировал с оптимизацией SQL запросов в ChatGPT и Claude. В какой-то момент понял, что это превращается в одно и то же: Напиши промт → вставь SQL → подожди → поправь → повтори


Читать: https://habr.com/ru/articles/929730/

#ru

@database_design | Другие наши каналы
Новый уровень интеграции ИИ с Oracle Database

Статья рассказывает о Model Context Protocol, который упрощает подключение ИИ и больших языковых моделей к базе данных Oracle. Благодаря Oracle MCP Server интеграция становится быстрой и безопасной без необходимости создавать индивидуальные решения.

Читать подробнее

#en

@database_design | Другие наши каналы
Выбираем российский хостинг в 2025: подборка на любой запрос

В этом материале — семь проверенных российских хостингов для разных задач: от стартапа до корпоративного проекта. Каждый прошел тестирование на аптайм (время бесперебойной работы), безопасность и доступность поддержки.

Читать: «Выбираем российский хостинг в 2025: подборка на любой запрос»

#ru

@database_design | Другие наши каналы
pg_dphyp: учим PostgreSQL соединять таблицы по-другому

Большая часть времени планировщика запросов в СУБД тратится на поиск оптимального способа соединения таблиц. В PostgreSQL используется два алгоритма: алгоритм динамического программирования, также называемый DPsize, и генетический — GEQO. В других СУБД реализовано еще множество других алгоритмов. DPhyp — алгоритм соединения на основе гиперграфов — уже используется такими СУБД как MySQL и YDB. Я задался вопросом: можно ли реализовать его в PostgreSQL? Оказывается, можно. Так и зародилось расширение pg_dphyp для PostgreSQL, реализующее альтернативный алгоритм соединения таблиц. В статье я не описываю подробно сам алгоритм, привожу только концептуальное описание его идеи, а рассказываю вот о чем:

-- Какие решения пришлось принять, чтобы добавить алгоритм DPhyp в существующую кодовую базу без изменения ядра;
-- Как GPLv2 помог найти эффективный алгоритм обхода соседей;
-- Как проиндексировали неиндексируемое гиперрёбра;
-- Планирование какого запроса смогли ускорить в 600 раз;
-- Какой изъян в работе существующего планировщика был найден.

Но главный сюжетный поворот — в конце...


Читать: https://habr.com/ru/companies/tantor/articles/929980/

#ru

@database_design | Другие наши каналы