DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Oracle Database 19c теперь поддерживается на Exadata Database Service с инфраструктурой Exascale. Это важное обновление для стабильных и критичных задач с возможностью плавного перехода на Oracle Database 23ai в будущем.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз MariaDB Connector/J 3.5.6 уже доступен! Обновление содержит важные улучшения и исправления, повышающие стабильность и производительность. Подробности и скачивание доступны на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Circles использует MongoDB для масштабирования Jetpac — инновационного решения в сфере международной связи, запущенного всего за 6 недель. Благодаря MongoDB Atlas компания ускорила развитие и расширилась до 200 стран, демонстрируя стремительный рост и технологическое лидерство. Память агентов — ключ к эффективной работе мультиагентных систем. Исследования показывают, что без продуманной архитектуры памяти совместная работа агентов приводит к ошибкам и потерям эффективности. Новая дисциплина — memory engineering — решает эти проблемы, обеспечивая координацию и масштабируемость команд ИИ. Почему память решает проблемы команд ИИ-агентов

Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми.

Читать подробнее

#en

@database_design | Другие наши каналы
Регулярные выражения в PostgreSQL

Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных.

Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим:

Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.


Читать: https://habr.com/ru/articles/946274/

#ru

@database_design | Другие наши каналы
Новая эра масштабируемого ИИ: SDK Stagehand и MongoDB Atlas создают мощную платформу для управления сложными веб-данными и эффективной памяти многоагентных систем. Продуманная архитектура памяти обеспечивает координацию и высокую производительность ИИ.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы ускорили заливку данных в YandexDB в 40 раз

Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory.

В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении.


Читать: https://habr.com/ru/companies/flocktory/articles/946454/

#ru

@database_design | Другие наши каналы
Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали

Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.

В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».

Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.

В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉


Читать: https://habr.com/ru/companies/tbank/articles/946450/

#ru

@database_design | Другие наши каналы
Новый Oracle Database 23ai открывает новые возможности для бизнеса: интеграция векторного поиска, пространственных графов и генеративного ИИ позволяет эффективнее работать с корпоративными данными и ускоряет принятие решений в сложных задачах.

Читать подробнее

#en

@database_design | Другие наши каналы
Автомобили в кино. Kaggle-датасет на 1,75 миллиона строк

На imcdb.org энтузиасты уже два десятка лет отмечают автомобили в фильмах: кадры, марки, модели. Верифицируют находки на форуме, спорят о деталях. В итоге появилась крупнейшая база “машин-актёров” в кино: 1,75 млн страниц с кадрами и описаниями транспорта из фильмов разных стран. Я собрал всё это в один датасет.


Читать: https://habr.com/ru/articles/946808/

#ru

@database_design | Другие наши каналы
espanso — малоизвестный шедерв для повышения личной продуктивности

Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.


Читать: https://habr.com/ru/articles/946548/

#ru

@database_design | Другие наши каналы
espanso — малоизвестный шедерв для повышения личной продуктивности

Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.


Читать: https://habr.com/ru/articles/946548/

#ru

@database_design | Другие наши каналы
Логирование соединений в PostgreSQL

В статье рассматривается логирование соединений с базами данных кластера PostgreSQL. Системы мониторинга создают сессии для сбора метрик и проверки доступности экземпляра. Это оздаёт большое число записей в диагностическом журнале кластера, затрудняя его анализ. Администраторы ищут возможность отключения логирования для сессий мониторинга. Такая возможность есть только у параметра log_disconnections. Приводится пример, как с его помощью отключить логирование при создании сессии. Также рассматриваются особенности использования расширений pgaudit и pgaudittofile, которые позволяют выводить логирование соединений в отдельный файл аудита.


Читать: https://habr.com/ru/articles/946916/

#ru

@database_design | Другие наши каналы
Векторный поиск в Elasticsearch: dense_vector, HNSW и фильтрация по атрибутам

Привет, Хабр!

В современном поиске всё чаще используется поиск «по смыслу» с помощью векторных эмбеддингов. Вместо привычного анализа текста по словам мы представляем документы и запросы в виде многомерных векторов и ищем ближайших соседей по евклидовому или косинусному расстоянию. Это позволяет, например, находить документы, схожие по смыслу, а не только по точному совпадению слов. В Elasticsearch поддержка такого поиска реализована через поле dense_vector и алгоритм HNSW (Hierarchical Navigable Small World) для быстрого приближённого поиска ближайших соседей.

В этой статье разберём, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.


Читать: https://habr.com/ru/companies/otus/articles/946162/

#ru

@database_design | Другие наши каналы
Очередной бенчмарк VictoriaMetrics против Prometheus

Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.


Читать: https://habr.com/ru/companies/cinimex/articles/943772/

#ru

@database_design | Другие наши каналы
Очередной бенчмарк VictoriaMetrics против Prometheus

Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.


Читать: https://habr.com/ru/companies/cinimex/articles/943772/

#ru

@database_design | Другие наши каналы
Postgres Pro TDE — security and performance

TDE comes in many flavors — from encryption at the TAM level to full-cluster encryption and tablespace markers. We take a close look at Percona, Cybertec/EDB, Pangolin/Fujitsu, and show where you lose performance and reliability, and where you gain flexibility.

On top of that, Vasily Bernstein, Deputy head of product development, and Vladimir Abramov, senior security engineer, will share how Postgres Pro Enterprise implements key rotation without rewriting entire tables — and why AES-GCM was the clear choice.


Читать: https://habr.com/ru/companies/postgrespro/articles/943590/

#ru

@database_design | Другие наши каналы
Защита чувствительных данных становится приоритетом для компаний. Технология Data Redaction позволяет скрывать персональную и финансовую информацию в результатах запросов без изменения исходных данных и необходимости менять приложения. Узнайте, как это работает.

Читать подробнее

#en

@database_design | Другие наши каналы
Как MongoDB и LTIMindtree ускоряют внедрение AI в бизнесе
Платформа BlueVerse Foundry на базе MongoDB Atlas помогает компаниям быстро масштабировать AI-решения без кода, обеспечивая гибкость, безопасность и производительность. Ген AI перестает быть экспериментом и становится реальным инструментом для роста. MongoDB Atlas и Stagehand: новая эра автоматизации и ИИ
Традиционные инструменты автоматизации часто ломаются при изменениях сайтов. Stagehand с использованием ИИ и MongoDB Atlas позволяют надежно собирать данные и быстро запускать проекты, облегчая создание масштабируемых AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые идеи для эффективного моделирования данных в MongoDB. В статье рассказывают про три ключевых подхода: контроль схемы с версиифкацией, использование агрегационных конвейеров и паттерн единой коллекции. Эти методы помогают строить быстрые и масштабируемые приложения. Новая эра AI: как MongoDB и LTIMindtree ускоряют внедрение

Партнёрство LTIMindtree и MongoDB создало платформу BlueVerse Foundry — no-code решение для быстрого масштабирования AI в бизнесе. Гибкая база данных и готовые инструменты помогают уйти от затяжных экспериментов к реальным результатам.

Читать подробнее

#en

@database_design | Другие наши каналы
Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры.

Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре.

Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году.

Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.


Читать: https://habr.com/ru/companies/hstx/articles/947190/

#ru

@database_design | Другие наши каналы
Логирование (аудит) соединений в PostgreSQL

В статье рассматривается логирование соединений с базами данных кластера PostgreSQL. Системы мониторинга создают сессии для сбора метрик и проверки доступности экземпляра. Это создаёт большое число записей в диагностическом журнале кластера, затрудняя его анализ. Администраторы ищут возможность отключения логирования для сессий мониторинга. Такая возможность есть только у параметра log_disconnections. Приводится пример, как с его помощью отключить логирование при создании сессии. Также рассматриваются особенности использования расширений pgaudit и pgaudittofile, которые позволяют выводить логирование соединений в отдельный файл аудита.


Читать: https://habr.com/ru/companies/tantor/articles/946916/

#ru

@database_design | Другие наши каналы