Визуализация обмена с 1С: синхронизация заказов, остатков и контрагентов для e-commerce

Привет! Это Илья, руководитель проектов в Webest. Расскажу о том, как мы построили обмен между интернет-магазином и 1С. Реализовали двусторонний обмен через очереди, ввели приоритеты для разных типов данных и сделали прозрачный мониторинг в админке Orchid.


Читать: https://habr.com/ru/articles/945736/

#ru

@database_design | Другие наши каналы

О «залипании» процесса checkpoint и archive_timeout в Postgres

Добрый день, коллеги!

Недавно мы столкнулись со следующей проблемой при тестировании СУБД PostgresPro под высокой нагрузкой: процесс представлял собой массированную многопоточную заливку данных на протяжении многих часов,а данных было около 20 ТБ, потоков — 75.

В процессе загрузки наблюдалось следующее явление: через некоторое время процесс checkpointer переставал делать контрольные точки в зависимости от других параметров БД либо сразу, либо через 2-3 часа.



Читать: https://habr.com/ru/companies/gnivc/articles/945742/

#ru

@database_design | Другие наши каналы

Как построить масштабируемый конвейер обработки документов? В статье рассказали, как с помощью LlamaParse, Confluent Cloud и MongoDB создавать потоковую систему для умного разбора, анализа и хранения больших объёмов документов в реальном времени с применением машинного обучения. Как AI меняет онлайн-шопинг и почему MongoDB важен для брендов

Пост: В эру AI покупатели всё чаще доверяют решения ИИ-агентам, меняя привычный путь выбора товара. MongoDB помогает брендам сделать каталоги доступными для этих агентов, обеспечивая гибкость, скорость и безопасность в новом мире agentic commerce. Новая эра обработки данных с MongoDB Atlas Stream Processing

Пост: Старые методы с предвычислением данных уже не работают для реального времени. MongoDB Atlas Stream Processing позволяет создавать непрерывно обновляемые коллекции с оптимизированными запросами, решая проблемы с объединениями и обеспечивая молниеносный доступ к данным.

Читать подробнее

#en

@database_design | Другие наши каналы

MongoDB Atlas теперь доступен в Vercel Marketplace. Интеграция упрощает работу с базой данных прямо из экосистемы Vercel, ускоряя создание, масштабирование и адаптацию AI-приложений с высокой производительностью и гибкостью. MongoDB Atlas Stream Processing позволяет создавать высокопроизводительные, непрерывно обновляемые модели чтения в реальном времени. Интегрированное решение упрощает реализацию архитектуры CQRS без сложностей управления потоками данных и снижает задержки при выполнении запросов. Гибкое хранение и поиск в MongoDB: как база данных сочетает в себе управление векторными эмбеддингами и сложными документами. Архитектура с многопоточностью и Schema Registry обеспечивает стабильную обработку и масштабируемость для современных AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы

Эффективное кеширование данных без проблем с TTL стало реальностью. В новой статье раскрывается подход к созданию высокопроизводительного и постоянно синхронизированного кеша, который обеспечивает стабильность и скорость работы приложений. Подробнее о технологии и преимуществах.

Читать подробнее

#en

@database_design | Другие наши каналы

Как мы в ВТБ автоматизировали мажорное обновление PostgreSQL

Привет, Habr! На связи эксперты команды сервиса WatchDog — Дмитрий Коновалов и Геннадий Переломов.

В ВТБ, у нашего основного заказчика, мы развиваем сервисы автоматизации сопровождения баз данных. Одной из ключевых СУБД в инфраструктуре является PostgreSQL. Поддержка её в актуальном состоянии требует периодических мажорных обновлений, которые остаются одной из самых трудоёмких задач для DBA, особенно в ночные или выходные технологические окна.

В этой статье мы расскажем, как разработали внутренний сервис, позволяющий администраторам прикладных систем запускать мажорное обновление PostgreSQL в один клик и без участия DBA.


Читать: https://habr.com/ru/companies/vtb/articles/945942/

#ru

@database_design | Другие наши каналы

Практические кейсы применения нового модуля «СХД» в DCImanager: от проблем к решениям

В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы.


Читать: https://habr.com/ru/companies/ispsystem/articles/945892/

#ru

@database_design | Другие наши каналы

Портим данные с удовольствием

Поговорим о том, что такое ненастоящие (или фейковые) данные, для чего они нужны, как отличить «подделку» от оригинала. А ещё о том, что SQL — лучший DSL для работы и с базами данных, и с ненастоящими данными.


Читать: https://habr.com/ru/companies/postgrespro/articles/909514/

#ru

@database_design | Другие наши каналы

Почему многoагентным системам необходима инженерия памяти
Многие сбои в многoагентных ИИ возникают не из-за плохой коммуникации, а из-за отсутствия общей памяти. Инженерия памяти обеспечивает координацию, снижает дублирование работы и оптимизирует ресурсы, что критически важно для масштабируемых систем. Как эффективно обрабатывать документы на больших данных? В статье описывается архитектура на базе AWS S3, LlamaParse и Confluent Cloud, которая в реальном времени парсит, структурирует и обогащает документы для быстрых поисковых и аналитических сервисов. MongoDB и Vercel: новая эра для AI-приложений

MongoDB Atlas теперь доступен в Vercel Marketplace, обеспечивая простое хранение и поиск данных для AI-приложений. Интеграция упрощает разработку и масштабирование, объединяя мощь гибкой базы данных и удобство платформы Vercel.

Читать подробнее

#en

@database_design | Другие наши каналы

Oracle Database 19c теперь поддерживается на Exadata Database Service с инфраструктурой Exascale. Это важное обновление для стабильных и критичных задач с возможностью плавного перехода на Oracle Database 23ai в будущем.

Читать подробнее

#en

@database_design | Другие наши каналы

Новый релиз MariaDB Connector/J 3.5.6 уже доступен! Обновление содержит важные улучшения и исправления, повышающие стабильность и производительность. Подробности и скачивание доступны на официальном сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы

Circles использует MongoDB для масштабирования Jetpac — инновационного решения в сфере международной связи, запущенного всего за 6 недель. Благодаря MongoDB Atlas компания ускорила развитие и расширилась до 200 стран, демонстрируя стремительный рост и технологическое лидерство. Память агентов — ключ к эффективной работе мультиагентных систем. Исследования показывают, что без продуманной архитектуры памяти совместная работа агентов приводит к ошибкам и потерям эффективности. Новая дисциплина — memory engineering — решает эти проблемы, обеспечивая координацию и масштабируемость команд ИИ. Почему память решает проблемы команд ИИ-агентов

Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми.

Читать подробнее

#en

@database_design | Другие наши каналы

Регулярные выражения в PostgreSQL

Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных.

Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим:

Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.


Читать: https://habr.com/ru/articles/946274/

#ru

@database_design | Другие наши каналы

Новая эра масштабируемого ИИ: SDK Stagehand и MongoDB Atlas создают мощную платформу для управления сложными веб-данными и эффективной памяти многоагентных систем. Продуманная архитектура памяти обеспечивает координацию и высокую производительность ИИ.

Читать подробнее

#en

@database_design | Другие наши каналы

Как мы ускорили заливку данных в YandexDB в 40 раз

Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory.

В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении.


Читать: https://habr.com/ru/companies/flocktory/articles/946454/

#ru

@database_design | Другие наши каналы

Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали

Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.

В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».

Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.

В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉


Читать: https://habr.com/ru/companies/tbank/articles/946450/

#ru

@database_design | Другие наши каналы

Новый Oracle Database 23ai открывает новые возможности для бизнеса: интеграция векторного поиска, пространственных графов и генеративного ИИ позволяет эффективнее работать с корпоративными данными и ускоряет принятие решений в сложных задачах.

Читать подробнее

#en

@database_design | Другие наши каналы

Автомобили в кино. Kaggle-датасет на 1,75 миллиона строк

На imcdb.org энтузиасты уже два десятка лет отмечают автомобили в фильмах: кадры, марки, модели. Верифицируют находки на форуме, спорят о деталях. В итоге появилась крупнейшая база “машин-актёров” в кино: 1,75 млн страниц с кадрами и описаниями транспорта из фильмов разных стран. Я собрал всё это в один датасет.


Читать: https://habr.com/ru/articles/946808/

#ru

@database_design | Другие наши каналы

espanso — малоизвестный шедерв для повышения личной продуктивности

Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.


Читать: https://habr.com/ru/articles/946548/

#ru

@database_design | Другие наши каналы

espanso — малоизвестный шедерв для повышения личной продуктивности

Герой обзора - утилита espanso, позволяющая на лету заменять текстовые фрагменты.
Опять прога на Rust. И опять впечатление "ух ты!", как от ruff и uv.


Читать: https://habr.com/ru/articles/946548/

#ru

@database_design | Другие наши каналы

Логирование соединений в PostgreSQL

В статье рассматривается логирование соединений с базами данных кластера PostgreSQL. Системы мониторинга создают сессии для сбора метрик и проверки доступности экземпляра. Это оздаёт большое число записей в диагностическом журнале кластера, затрудняя его анализ. Администраторы ищут возможность отключения логирования для сессий мониторинга. Такая возможность есть только у параметра log_disconnections. Приводится пример, как с его помощью отключить логирование при создании сессии. Также рассматриваются особенности использования расширений pgaudit и pgaudittofile, которые позволяют выводить логирование соединений в отдельный файл аудита.


Читать: https://habr.com/ru/articles/946916/

#ru

@database_design | Другие наши каналы