Эффективное кеширование данных без проблем с TTL стало реальностью. В новой статье раскрывается подход к созданию высокопроизводительного и постоянно синхронизированного кеша, который обеспечивает стабильность и скорость работы приложений. Подробнее о технологии и преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Как мы в ВТБ автоматизировали мажорное обновление PostgreSQL
Привет, Habr! На связи эксперты команды сервиса WatchDog — Дмитрий Коновалов и Геннадий Переломов.
В ВТБ, у нашего основного заказчика, мы развиваем сервисы автоматизации сопровождения баз данных. Одной из ключевых СУБД в инфраструктуре является PostgreSQL. Поддержка её в актуальном состоянии требует периодических мажорных обновлений, которые остаются одной из самых трудоёмких задач для DBA, особенно в ночные или выходные технологические окна.
В этой статье мы расскажем, как разработали внутренний сервис, позволяющий администраторам прикладных систем запускать мажорное обновление PostgreSQL в один клик и без участия DBA.
Читать: https://habr.com/ru/companies/vtb/articles/945942/
#ru
@database_design | Другие наши каналы
Привет, Habr! На связи эксперты команды сервиса WatchDog — Дмитрий Коновалов и Геннадий Переломов.
В ВТБ, у нашего основного заказчика, мы развиваем сервисы автоматизации сопровождения баз данных. Одной из ключевых СУБД в инфраструктуре является PostgreSQL. Поддержка её в актуальном состоянии требует периодических мажорных обновлений, которые остаются одной из самых трудоёмких задач для DBA, особенно в ночные или выходные технологические окна.
В этой статье мы расскажем, как разработали внутренний сервис, позволяющий администраторам прикладных систем запускать мажорное обновление PostgreSQL в один клик и без участия DBA.
Читать: https://habr.com/ru/companies/vtb/articles/945942/
#ru
@database_design | Другие наши каналы
Практические кейсы применения нового модуля «СХД» в DCImanager: от проблем к решениям
В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы.
Читать: https://habr.com/ru/companies/ispsystem/articles/945892/
#ru
@database_design | Другие наши каналы
В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы.
Читать: https://habr.com/ru/companies/ispsystem/articles/945892/
#ru
@database_design | Другие наши каналы
Портим данные с удовольствием
Поговорим о том, что такое ненастоящие (или фейковые) данные, для чего они нужны, как отличить «подделку» от оригинала. А ещё о том, что SQL — лучший DSL для работы и с базами данных, и с ненастоящими данными.
Читать: https://habr.com/ru/companies/postgrespro/articles/909514/
#ru
@database_design | Другие наши каналы
Поговорим о том, что такое ненастоящие (или фейковые) данные, для чего они нужны, как отличить «подделку» от оригинала. А ещё о том, что SQL — лучший DSL для работы и с базами данных, и с ненастоящими данными.
Читать: https://habr.com/ru/companies/postgrespro/articles/909514/
#ru
@database_design | Другие наши каналы
Почему многoагентным системам необходима инженерия памяти
Многие сбои в многoагентных ИИ возникают не из-за плохой коммуникации, а из-за отсутствия общей памяти. Инженерия памяти обеспечивает координацию, снижает дублирование работы и оптимизирует ресурсы, что критически важно для масштабируемых систем. Как эффективно обрабатывать документы на больших данных? В статье описывается архитектура на базе AWS S3, LlamaParse и Confluent Cloud, которая в реальном времени парсит, структурирует и обогащает документы для быстрых поисковых и аналитических сервисов. MongoDB и Vercel: новая эра для AI-приложений
MongoDB Atlas теперь доступен в Vercel Marketplace, обеспечивая простое хранение и поиск данных для AI-приложений. Интеграция упрощает разработку и масштабирование, объединяя мощь гибкой базы данных и удобство платформы Vercel.
Читать подробнее
#en
@database_design | Другие наши каналы
Многие сбои в многoагентных ИИ возникают не из-за плохой коммуникации, а из-за отсутствия общей памяти. Инженерия памяти обеспечивает координацию, снижает дублирование работы и оптимизирует ресурсы, что критически важно для масштабируемых систем. Как эффективно обрабатывать документы на больших данных? В статье описывается архитектура на базе AWS S3, LlamaParse и Confluent Cloud, которая в реальном времени парсит, структурирует и обогащает документы для быстрых поисковых и аналитических сервисов. MongoDB и Vercel: новая эра для AI-приложений
MongoDB Atlas теперь доступен в Vercel Marketplace, обеспечивая простое хранение и поиск данных для AI-приложений. Интеграция упрощает разработку и масштабирование, объединяя мощь гибкой базы данных и удобство платформы Vercel.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Database 19c теперь поддерживается на Exadata Database Service с инфраструктурой Exascale. Это важное обновление для стабильных и критичных задач с возможностью плавного перехода на Oracle Database 23ai в будущем.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Новый релиз MariaDB Connector/J 3.5.6 уже доступен! Обновление содержит важные улучшения и исправления, повышающие стабильность и производительность. Подробности и скачивание доступны на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Java Connector 3.5.6 now available | MariaDB
MariaDB is pleased to announce the immediate availability of the MariaDB Connector/J 3.5.6 release.
Circles использует MongoDB для масштабирования Jetpac — инновационного решения в сфере международной связи, запущенного всего за 6 недель. Благодаря MongoDB Atlas компания ускорила развитие и расширилась до 200 стран, демонстрируя стремительный рост и технологическое лидерство. Память агентов — ключ к эффективной работе мультиагентных систем. Исследования показывают, что без продуманной архитектуры памяти совместная работа агентов приводит к ошибкам и потерям эффективности. Новая дисциплина — memory engineering — решает эти проблемы, обеспечивая координацию и масштабируемость команд ИИ. Почему память решает проблемы команд ИИ-агентов
Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми.
Читать подробнее
#en
@database_design | Другие наши каналы
Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми.
Читать подробнее
#en
@database_design | Другие наши каналы
Регулярные выражения в PostgreSQL
Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных.
Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим:
Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.
Читать: https://habr.com/ru/articles/946274/
#ru
@database_design | Другие наши каналы
Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных.
Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим:
Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.
Читать: https://habr.com/ru/articles/946274/
#ru
@database_design | Другие наши каналы
Новая эра масштабируемого ИИ: SDK Stagehand и MongoDB Atlas создают мощную платформу для управления сложными веб-данными и эффективной памяти многоагентных систем. Продуманная архитектура памяти обеспечивает координацию и высокую производительность ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Как мы ускорили заливку данных в YandexDB в 40 раз
Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory.
В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении.
Читать: https://habr.com/ru/companies/flocktory/articles/946454/
#ru
@database_design | Другие наши каналы
Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory.
В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении.
Читать: https://habr.com/ru/companies/flocktory/articles/946454/
#ru
@database_design | Другие наши каналы
Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@database_design | Другие наши каналы
Новый Oracle Database 23ai открывает новые возможности для бизнеса: интеграция векторного поиска, пространственных графов и генеративного ИИ позволяет эффективнее работать с корпоративными данными и ускоряет принятие решений в сложных задачах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Oracle Database 23ai: Vector Search, Spatial Graphs, and Grounded Generative AI in Enterprise Data Systems
Автомобили в кино. Kaggle-датасет на 1,75 миллиона строк
На imcdb.org энтузиасты уже два десятка лет отмечают автомобили в фильмах: кадры, марки, модели. Верифицируют находки на форуме, спорят о деталях. В итоге появилась крупнейшая база “машин-актёров” в кино: 1,75 млн страниц с кадрами и описаниями транспорта из фильмов разных стран. Я собрал всё это в один датасет.
Читать: https://habr.com/ru/articles/946808/
#ru
@database_design | Другие наши каналы
На imcdb.org энтузиасты уже два десятка лет отмечают автомобили в фильмах: кадры, марки, модели. Верифицируют находки на форуме, спорят о деталях. В итоге появилась крупнейшая база “машин-актёров” в кино: 1,75 млн страниц с кадрами и описаниями транспорта из фильмов разных стран. Я собрал всё это в один датасет.
Читать: https://habr.com/ru/articles/946808/
#ru
@database_design | Другие наши каналы
espanso — малоизвестный шедерв для повышения личной продуктивности
Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.
Читать: https://habr.com/ru/articles/946548/
#ru
@database_design | Другие наши каналы
Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.
Читать: https://habr.com/ru/articles/946548/
#ru
@database_design | Другие наши каналы
espanso — малоизвестный шедерв для повышения личной продуктивности
Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.
Читать: https://habr.com/ru/articles/946548/
#ru
@database_design | Другие наши каналы
Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.
Читать: https://habr.com/ru/articles/946548/
#ru
@database_design | Другие наши каналы
Логирование соединений в PostgreSQL
В статье рассматривается логирование соединений с базами данных кластера PostgreSQL. Системы мониторинга создают сессии для сбора метрик и проверки доступности экземпляра. Это оздаёт большое число записей в диагностическом журнале кластера, затрудняя его анализ. Администраторы ищут возможность отключения логирования для сессий мониторинга. Такая возможность есть только у параметра log_disconnections. Приводится пример, как с его помощью отключить логирование при создании сессии. Также рассматриваются особенности использования расширений pgaudit и pgaudittofile, которые позволяют выводить логирование соединений в отдельный файл аудита.
Читать: https://habr.com/ru/articles/946916/
#ru
@database_design | Другие наши каналы
В статье рассматривается логирование соединений с базами данных кластера PostgreSQL. Системы мониторинга создают сессии для сбора метрик и проверки доступности экземпляра. Это оздаёт большое число записей в диагностическом журнале кластера, затрудняя его анализ. Администраторы ищут возможность отключения логирования для сессий мониторинга. Такая возможность есть только у параметра log_disconnections. Приводится пример, как с его помощью отключить логирование при создании сессии. Также рассматриваются особенности использования расширений pgaudit и pgaudittofile, которые позволяют выводить логирование соединений в отдельный файл аудита.
Читать: https://habr.com/ru/articles/946916/
#ru
@database_design | Другие наши каналы
Векторный поиск в Elasticsearch: dense_vector, HNSW и фильтрация по атрибутам
Привет, Хабр!
В современном поиске всё чаще используется поиск «по смыслу» с помощью векторных эмбеддингов. Вместо привычного анализа текста по словам мы представляем документы и запросы в виде многомерных векторов и ищем ближайших соседей по евклидовому или косинусному расстоянию. Это позволяет, например, находить документы, схожие по смыслу, а не только по точному совпадению слов. В Elasticsearch поддержка такого поиска реализована через поле
В этой статье разберём, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.
Читать: https://habr.com/ru/companies/otus/articles/946162/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
В современном поиске всё чаще используется поиск «по смыслу» с помощью векторных эмбеддингов. Вместо привычного анализа текста по словам мы представляем документы и запросы в виде многомерных векторов и ищем ближайших соседей по евклидовому или косинусному расстоянию. Это позволяет, например, находить документы, схожие по смыслу, а не только по точному совпадению слов. В Elasticsearch поддержка такого поиска реализована через поле
dense_vector и алгоритм HNSW (Hierarchical Navigable Small World) для быстрого приближённого поиска ближайших соседей. В этой статье разберём, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.
Читать: https://habr.com/ru/companies/otus/articles/946162/
#ru
@database_design | Другие наши каналы
Очередной бенчмарк VictoriaMetrics против Prometheus
Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.
Читать: https://habr.com/ru/companies/cinimex/articles/943772/
#ru
@database_design | Другие наши каналы
Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.
Читать: https://habr.com/ru/companies/cinimex/articles/943772/
#ru
@database_design | Другие наши каналы
Очередной бенчмарк VictoriaMetrics против Prometheus
Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.
Читать: https://habr.com/ru/companies/cinimex/articles/943772/
#ru
@database_design | Другие наши каналы
Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.
Читать: https://habr.com/ru/companies/cinimex/articles/943772/
#ru
@database_design | Другие наши каналы
Postgres Pro TDE — security and performance
TDE comes in many flavors — from encryption at the TAM level to full-cluster encryption and tablespace markers. We take a close look at Percona, Cybertec/EDB, Pangolin/Fujitsu, and show where you lose performance and reliability, and where you gain flexibility.
On top of that, Vasily Bernstein, Deputy head of product development, and Vladimir Abramov, senior security engineer, will share how Postgres Pro Enterprise implements key rotation without rewriting entire tables — and why AES-GCM was the clear choice.
Читать: https://habr.com/ru/companies/postgrespro/articles/943590/
#ru
@database_design | Другие наши каналы
TDE comes in many flavors — from encryption at the TAM level to full-cluster encryption and tablespace markers. We take a close look at Percona, Cybertec/EDB, Pangolin/Fujitsu, and show where you lose performance and reliability, and where you gain flexibility.
On top of that, Vasily Bernstein, Deputy head of product development, and Vladimir Abramov, senior security engineer, will share how Postgres Pro Enterprise implements key rotation without rewriting entire tables — and why AES-GCM was the clear choice.
Читать: https://habr.com/ru/companies/postgrespro/articles/943590/
#ru
@database_design | Другие наши каналы