DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как MongoDB помогает брендам выигрывать в эпоху ИИ
Мир e-commerce меняется: теперь покупку принимает не человек, а ИИ-агент. Чтобы быть заметным для таких агентов, брендам нужно обеспечивать доступность данных в удобном для машин формате. MongoDB с её гибким хранилищем данных — ключ к успеху в новом агентском коммерсе. Автоматизация клиентской поддержки в банковской сфере выходит на новый уровень. Благодаря интеграции MongoDB и Confluent создаётся система с множеством AI-агентов, которая быстро распознаёт, анализирует и решает типовые жалобы клиентов, снижая нагрузку на операторов и повышая качество сервиса. Автоматизация решений в службе поддержки с помощью AI и событийных систем становится реальностью. Использование MongoDB и Confluent Cloud позволяет быстро обрабатывать запросы, снижать затраты и обеспечивать точный аудит. Современные архитектуры меняют подход к обслуживанию клиентов.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые rerank-2.5 и rerank-2.5-lite значительно повышают точность поиска и впервые поддерживают управление релевантностью через инструкции на естественном языке. Модели обрабатывают в 8 раз больше контекста и превосходят конкурентов по большинству задач. Доступны через Voyage AI. Почему цены на акции различаются на сайтах? Причина — сложность и дороговизна сбора и обработки данных. Разные источники используют разные методы и объёмы информации, что приводит к небольшим расхождениям. Крупные компании, как Bloomberg, обеспечивают наиболее точные и полные данные. Новый уровень торговли с AI: почему MongoDB Atlas важен для ритейла. Статья рассказывает, как удалённый MCP-сервер с MongoDB Atlas помогает магазинам безопасно и быстро предоставлять актуальные данные продуктового каталога AI-агентам, обеспечивая скорость, масштабируемость и защиту.

Читать подробнее

#en

@database_design | Другие наши каналы
Реальное обновление данных в MongoDB без затратных join-запросов становится реальностью с MongoDB Atlas Stream Processing. Новый подход позволяет создавать актуальные, оптимизированные для чтения представления, повышая производительность и снижая нагрузку на базу. Многоагентные системы на базе MongoDB и Confluent меняют подход к сервису поддержки. Разделение задач между специализированными AI-агентами повышает точность и скорость обработки запросов, снижая издержки и улучшая клиентский опыт. Новая эра онлайн-торговли: AI-агенты меняют правила игры

Покупатели всё чаще доверяют выбор искусственному интеллекту, что меняет традиционные стратегии продаж. Чтобы бренд оставался заметным, требуется организовать данные так, чтобы AI мог их быстро и точно обработать. MongoDB помогает подготовиться к этому будущему уже сейчас.

Читать подробнее

#en

@database_design | Другие наши каналы
Что стоит за дистрибуцией Greenplum?

Что известно про Greenplum?
Это MPP система на базе PostgreSQL, которая нужна, чтобы работать с большими объемами данных и делать OLAP. Отлично, но лично меня не устраивает это поверхностное знание, хочется узнать, что внутри. Какие алгоритмы использует Greenplum в своих процессах. Я хочу начать с дистрибуции, и приглашаю вас с собой в это путешествие.
Что внутри?

Читать: https://habr.com/ru/companies/beget/articles/940662/

#ru

@database_design | Другие наши каналы
ЦОД как сервис, сисадмин как разработчик: как менялись модели

Когда-то каждую машину в корпоративных серверных мы знали по имени, слышали, как она дышит, и гордились аптаймом, измеряемым сотнями дней. Но за этой романтикой стояли ночи без сна, куча ручной работы и горы проводов. Сегодня же целый ЦОД умещается в несколько сотен строк конфигурационного кода. В статье — о том, как к этому пришла индустрия и как вместе с моделями менялся портрет типичного сисадмина.
Читать

Читать: https://habr.com/ru/companies/ruvds/articles/945378/

#ru

@database_design | Другие наши каналы
Пять производительных паттернов кэширования, которые ускорят ваш микросервис

В современных микросервисных архитектурах кэширование играет ключевую роль в обеспечении высокой производительности, масштабируемости и отказоустойчивости систем. Правильное применение паттернов кэширования позволяет значительно снизить нагрузку на базы данных, уменьшить время отклика и повысить общую пропускную способность системы.


Читать: https://habr.com/ru/companies/otus/articles/945604/

#ru

@database_design | Другие наши каналы
Визуализация обмена с 1С: синхронизация заказов, остатков и контрагентов для e-commerce

Привет! Это Илья, руководитель проектов в Webest. Расскажу о том, как мы построили обмен между интернет-магазином и 1С. Реализовали двусторонний обмен через очереди, ввели приоритеты для разных типов данных и сделали прозрачный мониторинг в админке Orchid.


Читать: https://habr.com/ru/articles/945736/

#ru

@database_design | Другие наши каналы
О «залипании» процесса checkpoint и archive_timeout в Postgres

Добрый день, коллеги!

Недавно мы столкнулись со следующей проблемой при тестировании СУБД PostgresPro под высокой нагрузкой: процесс представлял собой массированную многопоточную заливку данных на протяжении многих часов,а данных было около 20 ТБ, потоков — 75.

В процессе загрузки наблюдалось следующее явление: через некоторое время процесс checkpointer переставал делать контрольные точки в зависимости от других параметров БД либо сразу, либо через 2-3 часа.



Читать: https://habr.com/ru/companies/gnivc/articles/945742/

#ru

@database_design | Другие наши каналы
Как построить масштабируемый конвейер обработки документов? В статье рассказали, как с помощью LlamaParse, Confluent Cloud и MongoDB создавать потоковую систему для умного разбора, анализа и хранения больших объёмов документов в реальном времени с применением машинного обучения. Как AI меняет онлайн-шопинг и почему MongoDB важен для брендов

Пост: В эру AI покупатели всё чаще доверяют решения ИИ-агентам, меняя привычный путь выбора товара. MongoDB помогает брендам сделать каталоги доступными для этих агентов, обеспечивая гибкость, скорость и безопасность в новом мире agentic commerce. Новая эра обработки данных с MongoDB Atlas Stream Processing

Пост: Старые методы с предвычислением данных уже не работают для реального времени. MongoDB Atlas Stream Processing позволяет создавать непрерывно обновляемые коллекции с оптимизированными запросами, решая проблемы с объединениями и обеспечивая молниеносный доступ к данным.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB Atlas теперь доступен в Vercel Marketplace. Интеграция упрощает работу с базой данных прямо из экосистемы Vercel, ускоряя создание, масштабирование и адаптацию AI-приложений с высокой производительностью и гибкостью. MongoDB Atlas Stream Processing позволяет создавать высокопроизводительные, непрерывно обновляемые модели чтения в реальном времени. Интегрированное решение упрощает реализацию архитектуры CQRS без сложностей управления потоками данных и снижает задержки при выполнении запросов. Гибкое хранение и поиск в MongoDB: как база данных сочетает в себе управление векторными эмбеддингами и сложными документами. Архитектура с многопоточностью и Schema Registry обеспечивает стабильную обработку и масштабируемость для современных AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
Эффективное кеширование данных без проблем с TTL стало реальностью. В новой статье раскрывается подход к созданию высокопроизводительного и постоянно синхронизированного кеша, который обеспечивает стабильность и скорость работы приложений. Подробнее о технологии и преимуществах.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы в ВТБ автоматизировали мажорное обновление PostgreSQL

Привет, Habr! На связи эксперты команды сервиса WatchDog — Дмитрий Коновалов и Геннадий Переломов.

В ВТБ, у нашего основного заказчика, мы развиваем сервисы автоматизации сопровождения баз данных. Одной из ключевых СУБД в инфраструктуре является PostgreSQL. Поддержка её в актуальном состоянии требует периодических мажорных обновлений, которые остаются одной из самых трудоёмких задач для DBA, особенно в ночные или выходные технологические окна.

В этой статье мы расскажем, как разработали внутренний сервис, позволяющий администраторам прикладных систем запускать мажорное обновление PostgreSQL в один клик и без участия DBA.


Читать: https://habr.com/ru/companies/vtb/articles/945942/

#ru

@database_design | Другие наши каналы
Практические кейсы применения нового модуля «СХД» в DCImanager: от проблем к решениям

В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы.


Читать: https://habr.com/ru/companies/ispsystem/articles/945892/

#ru

@database_design | Другие наши каналы
Портим данные с удовольствием

Поговорим о том, что такое ненастоящие (или фейковые) данные, для чего они нужны, как отличить «подделку» от оригинала. А ещё о том, что SQL — лучший DSL для работы и с базами данных, и с ненастоящими данными.


Читать: https://habr.com/ru/companies/postgrespro/articles/909514/

#ru

@database_design | Другие наши каналы
Почему многoагентным системам необходима инженерия памяти
Многие сбои в многoагентных ИИ возникают не из-за плохой коммуникации, а из-за отсутствия общей памяти. Инженерия памяти обеспечивает координацию, снижает дублирование работы и оптимизирует ресурсы, что критически важно для масштабируемых систем. Как эффективно обрабатывать документы на больших данных? В статье описывается архитектура на базе AWS S3, LlamaParse и Confluent Cloud, которая в реальном времени парсит, структурирует и обогащает документы для быстрых поисковых и аналитических сервисов. MongoDB и Vercel: новая эра для AI-приложений

MongoDB Atlas теперь доступен в Vercel Marketplace, обеспечивая простое хранение и поиск данных для AI-приложений. Интеграция упрощает разработку и масштабирование, объединяя мощь гибкой базы данных и удобство платформы Vercel.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle Database 19c теперь поддерживается на Exadata Database Service с инфраструктурой Exascale. Это важное обновление для стабильных и критичных задач с возможностью плавного перехода на Oracle Database 23ai в будущем.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз MariaDB Connector/J 3.5.6 уже доступен! Обновление содержит важные улучшения и исправления, повышающие стабильность и производительность. Подробности и скачивание доступны на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Circles использует MongoDB для масштабирования Jetpac — инновационного решения в сфере международной связи, запущенного всего за 6 недель. Благодаря MongoDB Atlas компания ускорила развитие и расширилась до 200 стран, демонстрируя стремительный рост и технологическое лидерство. Память агентов — ключ к эффективной работе мультиагентных систем. Исследования показывают, что без продуманной архитектуры памяти совместная работа агентов приводит к ошибкам и потерям эффективности. Новая дисциплина — memory engineering — решает эти проблемы, обеспечивая координацию и масштабируемость команд ИИ. Почему память решает проблемы команд ИИ-агентов

Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми.

Читать подробнее

#en

@database_design | Другие наши каналы
Регулярные выражения в PostgreSQL

Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных.

Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим:

Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.


Читать: https://habr.com/ru/articles/946274/

#ru

@database_design | Другие наши каналы
Новая эра масштабируемого ИИ: SDK Stagehand и MongoDB Atlas создают мощную платформу для управления сложными веб-данными и эффективной памяти многоагентных систем. Продуманная архитектура памяти обеспечивает координацию и высокую производительность ИИ.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы ускорили заливку данных в YandexDB в 40 раз

Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory.

В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении.


Читать: https://habr.com/ru/companies/flocktory/articles/946454/

#ru

@database_design | Другие наши каналы