Руководство по pgcrypto — шифрование внутри PostgreSQL. Часть 2
Привет, Хабр! На связи снова Антон Дятлов, инженер по защите информации в Selectel. Буквально несколько дней назад мы с вами рассмотрели установку и безопасную настройку pgcrypto и изучили его основные возможности. Пришло время перейти к практическому применению этих знаний.
В этой статье разберем конкретные сценарии использования pgcrypto в реальных проектах и углубимся в вопросы производительности и проблемы индексирования зашифрованных данных. Отдельно я сформулировал чек-лист лучших практик безопасности и сравнил pgcrypto с альтернативными подходами, чтобы вы могли сделать осознанный выбор для своей архитектуры. Прошу под кат!
Читать: https://habr.com/ru/companies/selectel/articles/925948/
#ru
@database_design | Другие наши каналы
Привет, Хабр! На связи снова Антон Дятлов, инженер по защите информации в Selectel. Буквально несколько дней назад мы с вами рассмотрели установку и безопасную настройку pgcrypto и изучили его основные возможности. Пришло время перейти к практическому применению этих знаний.
В этой статье разберем конкретные сценарии использования pgcrypto в реальных проектах и углубимся в вопросы производительности и проблемы индексирования зашифрованных данных. Отдельно я сформулировал чек-лист лучших практик безопасности и сравнил pgcrypto с альтернативными подходами, чтобы вы могли сделать осознанный выбор для своей архитектуры. Прошу под кат!
Читать: https://habr.com/ru/companies/selectel/articles/925948/
#ru
@database_design | Другие наши каналы
Новый уровень качества: voyage-3.5 и voyage-3.5-lite представляют улучшенные модели эмбеддингов с высокой точностью поиска и сниженной стоимостью. Они превосходят OpenAI-v3-large, экономя до 83% на векторных базах данных и открывают новые возможности для внедрения. Эволюция ИИ: Anthropic и Cognition предлагают разные подходы к созданию агентов. Ключ к надежности и эффективности — сложное управление памятью. Anthropic ориентируется на мультиагентные системы для исследований, Cognition — на единые агенты для диалоговых задач. Почему память важна для успешных AI-агентов
Статья раскрывает, что в развитии AI ключевую роль играет не только контекст, но и надежная память. Успешные агенты требуют устойчивых систем хранения и обновления знаний для работы с длинными и сложными задачами.
Читать подробнее
#en
@database_design | Другие наши каналы
Статья раскрывает, что в развитии AI ключевую роль играет не только контекст, но и надежная память. Успешные агенты требуют устойчивых систем хранения и обновления знаний для работы с длинными и сложными задачами.
Читать подробнее
#en
@database_design | Другие наши каналы
Пример создания патча для PostgreSQL
На апрельской конференции PG BootCamp 2025 в Екатеринбурге был представлен доклад Артёма Бугаенко о том, как сделать статистику Postgres более детализированной, не повышая DST. Однако если посмотреть на доклад под немного другим углом, то ему отлично подошло бы название «Пример создания патча для PostgreSQL». Примеры правки логики планировщика есть во многих патчах, но объяснение того, куда и какой код нужно вставлять в многочисленные файлы исходного кода PostgreSQL, встречается нечасто. Можно встретить примеры описания того, как добавить параметры конфигурации, а вот пример того, как добавить опцию в команду SQL, найти подчас затруднительно. Поэтому если вам требуется добавить в какую-либо команду свою опцию, можно использовать статью, доклад и предложенный докладчиком патч как руководство.
Читать: https://habr.com/ru/companies/tantor/articles/926386/
#ru
@database_design | Другие наши каналы
На апрельской конференции PG BootCamp 2025 в Екатеринбурге был представлен доклад Артёма Бугаенко о том, как сделать статистику Postgres более детализированной, не повышая DST. Однако если посмотреть на доклад под немного другим углом, то ему отлично подошло бы название «Пример создания патча для PostgreSQL». Примеры правки логики планировщика есть во многих патчах, но объяснение того, куда и какой код нужно вставлять в многочисленные файлы исходного кода PostgreSQL, встречается нечасто. Можно встретить примеры описания того, как добавить параметры конфигурации, а вот пример того, как добавить опцию в команду SQL, найти подчас затруднительно. Поэтому если вам требуется добавить в какую-либо команду свою опцию, можно использовать статью, доклад и предложенный докладчиком патч как руководство.
Читать: https://habr.com/ru/companies/tantor/articles/926386/
#ru
@database_design | Другие наши каналы
Развёртывание боевого кластера Cassandra. Часть 2
Это продолжение цикла, рассказывающего о практике развёртывания производственного кластера Cassandra. В первой части мы начали продвигаться вот по такому плану:
1. Анализ рабочей нагрузки и требований
2. Разработка схемы данных
3. Настройка хостовых машин
= ВЫ НАХОДИТЕСЬ ЗДЕСЬ =
4. Настройка конфигурации Cassandra
5. Настройка топологии кластера
6. Подключение Prometheus Cassandra Exporter
7. Подключение Prometheus Node Exporter
8. Вывод всех метрик в Grafana
9. Проведение нагрузочного тестирования
10. Дополнительный тюнинг по результатам теста
Продолжим?
Читать: https://habr.com/ru/articles/927132/
#ru
@database_design | Другие наши каналы
Это продолжение цикла, рассказывающего о практике развёртывания производственного кластера Cassandra. В первой части мы начали продвигаться вот по такому плану:
1. Анализ рабочей нагрузки и требований
2. Разработка схемы данных
3. Настройка хостовых машин
= ВЫ НАХОДИТЕСЬ ЗДЕСЬ =
4. Настройка конфигурации Cassandra
5. Настройка топологии кластера
6. Подключение Prometheus Cassandra Exporter
7. Подключение Prometheus Node Exporter
8. Вывод всех метрик в Grafana
9. Проведение нагрузочного тестирования
10. Дополнительный тюнинг по результатам теста
Продолжим?
Читать: https://habr.com/ru/articles/927132/
#ru
@database_design | Другие наши каналы
Цифровые чеки в ритейле меняют правила игры: с помощью MongoDB магазины получают полные данные о покупателях и мгновенно предлагают персонализированные рекомендации. Это улучшает опыт покупок, увеличивает доходы и снижает затраты на бумагу. Как создать надёжных AI-агентов? Исследования Anthropic и Cognition показывают: ключ к успеху — эффективное управление памятью. Многоагентные системы подходят для сложных исследований, а одногентные — для диалогов и кода. Главное — строить именно memory-augmented AI. Продвинутая архитектура ИИ: зачем агентам нужна усиленная память. Исследование Anthropic показывает, что эффективное управление памятью и многозадачность агентов важны для глубокого анализа и надежной работы. Новые подходы к памяти станут ключом в развитии ИИ.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Новый уровень безопасности кода с Kingfisher от MongoDB. Этот быстрый open-source инструмент не только обнаруживает секреты в репозиториях, но и проверяет их актуальность в реальном времени, снижая ложные срабатывания и повышая защиту от утечек. Подробнее на официальном блоге MongoDB. Цифровые чеки меняют ритейл: с помощью MongoDB розничные сети собирают и объединяют данные покупок из разных магазинов в единую платформу. Это ускоряет персонализацию, улучшает сервис и снижает затраты, делая опыт клиента удобнее и эффективнее. Как Anthropic меняет подход к AI-агентам
Исследования Anthropic показывают, что ключ к эффективным AI-агентам — не только большие контекстные окна, но и продвинутое управление памятью и систематическое наблюдение за поведением агентов. Это помогает улучшить стабильность и производительность в сложных задачах.
Читать подробнее
#en
@database_design | Другие наши каналы
Исследования Anthropic показывают, что ключ к эффективным AI-агентам — не только большие контекстные окна, но и продвинутое управление памятью и систематическое наблюдение за поведением агентов. Это помогает улучшить стабильность и производительность в сложных задачах.
Читать подробнее
#en
@database_design | Другие наши каналы
Как создать память ИИ, которая думает как человек?
Статья рассказывает о новой архитектуре памяти для ИИ на базе MongoDB Atlas, AWS и Claude. Такая система не просто хранит данные, а оценивает важность, укрепляет знания и забывает лишнее — как наш мозг. Это шаг к более естественным и персональным AI. Как создать надежных AI-агентов? Анализ двух подходов показывает: ключ к эффективности — продвинутое управление памятью. Мультиагентные системы хороши для сложных исследований, а одиночные — для диалога и кода. Главное — строить AI с долговременной и согласованной памятью. Как обеспечить надежную память и управление контекстом в многоагентных системах? Новое исследование Anthropic показывает, что успех таких решений зависит от слаженной работы памяти, сжатия контекста и учёта поведения агентов. Подробнее — в свежем обзоре.
Читать подробнее
#en
@database_design | Другие наши каналы
Статья рассказывает о новой архитектуре памяти для ИИ на базе MongoDB Atlas, AWS и Claude. Такая система не просто хранит данные, а оценивает важность, укрепляет знания и забывает лишнее — как наш мозг. Это шаг к более естественным и персональным AI. Как создать надежных AI-агентов? Анализ двух подходов показывает: ключ к эффективности — продвинутое управление памятью. Мультиагентные системы хороши для сложных исследований, а одиночные — для диалога и кода. Главное — строить AI с долговременной и согласованной памятью. Как обеспечить надежную память и управление контекстом в многоагентных системах? Новое исследование Anthropic показывает, что успех таких решений зависит от слаженной работы памяти, сжатия контекста и учёта поведения агентов. Подробнее — в свежем обзоре.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности Spring Data MongoDB 4.5.0: теперь поддерживается векторный поиск и шифрование данных при запросах. Это упрощает интеграцию умных функций в Java-приложения и повышает защиту чувствительной информации. Подробнее о релизе — на официальном блоге MongoDB. Память — ключ к эффективности ИИ-агентов. Anthropic и Cognition предлагают разные архитектуры, но сходятся в одном: без продуманного управления памятью агенты теряют надежность и способность к обучению. Важно строить именно memory-augmented AI для устойчивой работы. Почему надежная память важна для AI-агентов
Текст: Исследования показывают, что для эффективной работы AI-агентов недостаточно лишь контекстного окна. Важна устойчивая память, обеспечивающая сохранение и обновление знаний в сложных задачах. «Memory Engineering» становится ключевым направлением в развитии искусственного интеллекта.
Читать подробнее
#en
@database_design | Другие наши каналы
Текст: Исследования показывают, что для эффективной работы AI-агентов недостаточно лишь контекстного окна. Важна устойчивая память, обеспечивающая сохранение и обновление знаний в сложных задачах. «Memory Engineering» становится ключевым направлением в развитии искусственного интеллекта.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB и deepset упростили создание AI-приложений с помощью интеграции RAG и векторного поиска. Это позволяет быстрее разрабатывать масштабируемые и безопасные решения с точным анализом данных для разных отраслей — от медицины до финансов и образования. Как устроены современные AI-агенты с памятью
В статье обсуждаются подходы Anthropic и Cognition к созданию AI-агентов с памятью. Multi-agent системы подходят для глубинных исследований, а одноагентные — для диалогов и кода. Главное — эффективное управление памятью для надежной работы агентов. Почему память важна для успешных AI-агентов
Статья раскрывает, что для эффективной работы AI-агентов одного контекста недостаточно — нужны продвинутые системы памяти. Управление памятью становится ключевой задачей в разработке умных и надежных агентов будущего.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье обсуждаются подходы Anthropic и Cognition к созданию AI-агентов с памятью. Multi-agent системы подходят для глубинных исследований, а одноагентные — для диалогов и кода. Главное — эффективное управление памятью для надежной работы агентов. Почему память важна для успешных AI-агентов
Статья раскрывает, что для эффективной работы AI-агентов одного контекста недостаточно — нужны продвинутые системы памяти. Управление памятью становится ключевой задачей в разработке умных и надежных агентов будущего.
Читать подробнее
#en
@database_design | Другие наши каналы
Полный доступ к API MongoDB Atlas через CLI
Теперь в MongoDB Atlas CLI доступны все функции Administration API, включая новые возможности в первые дни их выхода. Это упрощает автоматизацию, ускоряет работу и избавляет от переключения между интерфейсами. Полное покрытие API и управление версиями обеспечивают надежность скриптов. Как строить надёжных AI-агентов с памятью
Память — главный вызов для AI-агентов. Anthropic и Cognition предлагают разные подходы: многозадачные системы для глубоких исследований и одноботные — для диалогов и кода. Оба сходятся в одном: надёжность зависит от эффективного управления памятью. Почему память становится ключом в развитии AI-агентов
В статье раскрывается важность надежной и устойчивой памяти для AI-агентов. Успех будущих приложений зависит от умения эффективно хранить и обновлять знания в долгих рабочих процессах, что становится новым направлением в AI-инженерии.
Читать подробнее
#en
@database_design | Другие наши каналы
Теперь в MongoDB Atlas CLI доступны все функции Administration API, включая новые возможности в первые дни их выхода. Это упрощает автоматизацию, ускоряет работу и избавляет от переключения между интерфейсами. Полное покрытие API и управление версиями обеспечивают надежность скриптов. Как строить надёжных AI-агентов с памятью
Память — главный вызов для AI-агентов. Anthropic и Cognition предлагают разные подходы: многозадачные системы для глубоких исследований и одноботные — для диалогов и кода. Оба сходятся в одном: надёжность зависит от эффективного управления памятью. Почему память становится ключом в развитии AI-агентов
В статье раскрывается важность надежной и устойчивой памяти для AI-агентов. Успех будущих приложений зависит от умения эффективно хранить и обновлять знания в долгих рабочих процессах, что становится новым направлением в AI-инженерии.
Читать подробнее
#en
@database_design | Другие наши каналы
Динамическое усиление релевантности в MongoDB Atlas Search
Новая техника embedded scoring позволяет встроить логику повышения значимости поисковых терминов прямо в документы, обеспечивая гибкое и точное ранжирование. Это улучшает видимость экспертного контента, трендов и акций без усложнения запросов. Полное покрытие MongoDB Atlas API в Atlas CLI
Теперь все функции MongoDB Atlas Administration API доступны напрямую из CLI. Это ускоряет работу, упрощает автоматизацию и позволяет управлять инфраструктурой быстрее и удобнее, без ожиданий и обходных путей. Подробности в официальной документации. Как Anthropic решает проблему памяти у AI-агентов
Исследования Anthropic показывают, что надежная память и управление контекстом — ключ к эффективной работе многозадачных AI-агентов. Их подход помогает избегать ошибок и улучшает взаимодействие между подагентами, обеспечивая целостность данных и стабильность работы.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая техника embedded scoring позволяет встроить логику повышения значимости поисковых терминов прямо в документы, обеспечивая гибкое и точное ранжирование. Это улучшает видимость экспертного контента, трендов и акций без усложнения запросов. Полное покрытие MongoDB Atlas API в Atlas CLI
Теперь все функции MongoDB Atlas Administration API доступны напрямую из CLI. Это ускоряет работу, упрощает автоматизацию и позволяет управлять инфраструктурой быстрее и удобнее, без ожиданий и обходных путей. Подробности в официальной документации. Как Anthropic решает проблему памяти у AI-агентов
Исследования Anthropic показывают, что надежная память и управление контекстом — ключ к эффективной работе многозадачных AI-агентов. Их подход помогает избегать ошибок и улучшает взаимодействие между подагентами, обеспечивая целостность данных и стабильность работы.
Читать подробнее
#en
@database_design | Другие наши каналы
Нативный гибридный поиск в MongoDB Atlas объединил текстовый и векторный поиск с помощью $rankFusion. Это повышает точность выдачи и упрощает разработку, избавляя от необходимости использовать отдельные движки. Новая функция уже улучшила результаты AI-чатбота на 30%. Внимание к памяти – ключ к успеху в развитии AI-агентов. Статья сравнивает подходы Anthropic и Cognition: многозадачные системы против единого агента. Оба приходят к одному выводу – без эффективного управления памятью достичь надежности и интеллекта невозможно. Как эффективно управлять памятью AI-агентов? Исследования Anthropic показывают: для масштабируемых multi-agent систем важны сжатие контекста, надежная долгосрочная память и транзакции с гарантией целостности данных, которые упрощает MongoDB с ACID-поддержкой.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Intellect Design ускорила модернизацию своего финансового платформенного решения в 2 раза благодаря MongoDB и генеративному ИИ. Обновление улучшило производительность, снизило время разработки и открыло новые возможности для использования ИИ в управлении капиталом. Память — ключ к надежным AI-агентам: исследование Anthropic и Cognition показывает, что мультиагентные системы и одиночные агенты требуют продвинутого управления памятью для устойчивой работы. Выбор архитектуры зависит от задачи: глубокий ресерч или разговорный помощник. Как память меняет будущее ИИ-агентов
Исследования показывают: для эффективной работы ИИ-агентов недостаточно расширенного контекста. Ключевую роль играет надежная память, которая обеспечивает долговременное хранение и обновление данных, позволяя агентам сохранять полноту и точность знаний в сложных задачах.
Читать подробнее
#en
@database_design | Другие наши каналы
Исследования показывают: для эффективной работы ИИ-агентов недостаточно расширенного контекста. Ключевую роль играет надежная память, которая обеспечивает долговременное хранение и обновление данных, позволяя агентам сохранять полноту и точность знаний в сложных задачах.
Читать подробнее
#en
@database_design | Другие наши каналы
Инновации в ритейле с MongoDB Atlas
Unified commerce помогает розничным компаниям объединять данные из разных каналов для создания персонализированного опыта и оптимизации процессов. MongoDB Atlas обеспечивает быструю интеграцию, масштабируемость и поддержку AI, что снижает издержки и повышает лояльность клиентов. Узнайте подробнее! Как Intellect Design и MongoDB ускоряют управление капиталом до 200% и повышают точность анализа ESG свыше 90%. Совместный проект модернизировал ключевые процессы платформы Wealth Management, внедрив AI и масштабируемую архитектуру для анализа данных тысяч компаний. Как повысить эффективность AI-агентов? Исследование Anthropic показывает, что ключ к успеху — это не только большие контекстные окна, но и надежная, масштабируемая память. Правильное управление памятью и системная отладка улучшают работу агентов и делают их более надежными.
Читать подробнее
#en
@database_design | Другие наши каналы
Unified commerce помогает розничным компаниям объединять данные из разных каналов для создания персонализированного опыта и оптимизации процессов. MongoDB Atlas обеспечивает быструю интеграцию, масштабируемость и поддержку AI, что снижает издержки и повышает лояльность клиентов. Узнайте подробнее! Как Intellect Design и MongoDB ускоряют управление капиталом до 200% и повышают точность анализа ESG свыше 90%. Совместный проект модернизировал ключевые процессы платформы Wealth Management, внедрив AI и масштабируемую архитектуру для анализа данных тысяч компаний. Как повысить эффективность AI-агентов? Исследование Anthropic показывает, что ключ к успеху — это не только большие контекстные окна, но и надежная, масштабируемая память. Правильное управление памятью и системная отладка улучшают работу агентов и делают их более надежными.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB расширяет возможности для госструктур, стремясь получить FedRAMP High и DoD Impact Level 5 – высокие уровни безопасности для работы с особо чувствительными данными. Это позволит обеспечивать защиту и поддержку критически важных государственных сервисов в облаке. Как память меняет будущее AI-агентов
Исследования Anthropic и Cognition показывают, что ключ к надежным и умным AI-агентам — продвинутое управление памятью. Многоагентные системы и одиночные агенты требуют разных подходов, но без эффективной памяти невозможна стабильная работа и развитие. Новые подходы к памяти и управлению агентами в ИИ
Память и управление знаниями — ключ к эффективной работе мультиагентных систем. Исследования Anthropic подчеркивают важность постоянной памяти и надежной координации, а MongoDB обеспечивает необходимую инфраструктуру для стабильной работы таких систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Исследования Anthropic и Cognition показывают, что ключ к надежным и умным AI-агентам — продвинутое управление памятью. Многоагентные системы и одиночные агенты требуют разных подходов, но без эффективной памяти невозможна стабильная работа и развитие. Новые подходы к памяти и управлению агентами в ИИ
Память и управление знаниями — ключ к эффективной работе мультиагентных систем. Исследования Anthropic подчеркивают важность постоянной памяти и надежной координации, а MongoDB обеспечивает необходимую инфраструктуру для стабильной работы таких систем.
Читать подробнее
#en
@database_design | Другие наши каналы
LangChain облегчает работу с MongoDB через естественный язык
LangChain представил Text-to-MQL — инструмент, который превращает запросы на обычном языке в команды MongoDB. Это упрощает разработку приложений и интерфейсов без глубоких знаний баз данных. Новые возможности для удобной работы с данными!
Читать подробнее
#en
@database_design | Другие наши каналы
LangChain представил Text-to-MQL — инструмент, который превращает запросы на обычном языке в команды MongoDB. Это упрощает разработку приложений и интерфейсов без глубоких знаний баз данных. Новые возможности для удобной работы с данными!
Читать подробнее
#en
@database_design | Другие наши каналы
Как эффективно моделировать данные подключённых автомобилей в MongoDB
Современные автомобили генерируют огромные объёмы разнородных данных. В статье рассказывается, как использование стандарта Vehicle Signal Specification в сочетании с MongoDB помогает создавать гибкие и масштабируемые модели данных для управления сигналами и аналитики в реальном времени. Надёжное взаимодействие с MongoDB через естественный язык
LangChain представил интеграцию для удобной работы с MongoDB: запросы на естественном языке, проверка корректности запросов и гибкая настройка. Это упрощает создание интеллектуальных агентов и приложений с доступом к данным. Новые стандарты оценки и памяти для AI-агентов
Исследования Anthropic и партнёрство с Galileo показывают, что для развития агентных систем важно внедрение надёжных механизмов памяти и новых метрик оценки. Управление памятью и координация взаимодействия агентов становятся ключевыми вызовами в создании масштабируемых AI-приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Современные автомобили генерируют огромные объёмы разнородных данных. В статье рассказывается, как использование стандарта Vehicle Signal Specification в сочетании с MongoDB помогает создавать гибкие и масштабируемые модели данных для управления сигналами и аналитики в реальном времени. Надёжное взаимодействие с MongoDB через естественный язык
LangChain представил интеграцию для удобной работы с MongoDB: запросы на естественном языке, проверка корректности запросов и гибкая настройка. Это упрощает создание интеллектуальных агентов и приложений с доступом к данным. Новые стандарты оценки и памяти для AI-агентов
Исследования Anthropic и партнёрство с Galileo показывают, что для развития агентных систем важно внедрение надёжных механизмов памяти и новых метрик оценки. Управление памятью и координация взаимодействия агентов становятся ключевыми вызовами в создании масштабируемых AI-приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая безопасная модель динамической перенастройки MongoDB создана с помощью формального метода TLA+, что позволило устранить ошибки старых протоколов и повысить надежность без усложнения системы. Исследование также проливает свет на современные подходы к управлению памятью в AI-агентах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Новый уровень анализа запросов в MongoDB Atlas помогает выявлять самые ресурсоёмкие операции и быстро находить причины проблем. В отдельном исследовании подчёркивается важность согласованности конфигураций для безопасной работы систем. Также раскрыты секреты эффективного управления памятью AI-агентов для повышения их надёжности.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
PostgreSQL: что нужно знать о счётчике транзакций
Статья погружает в сложности счетчика транзакций PostgreSQL и MVCC в условиях высокой нагрузки. Разберитесь, почему 32-битные xid создают проблемы и как 64-битные идентификаторы транзакций решают их.
Читать: «PostgreSQL: что нужно знать о счётчике транзакций»
#ru
@database_design | Другие наши каналы
Статья погружает в сложности счетчика транзакций PostgreSQL и MVCC в условиях высокой нагрузки. Разберитесь, почему 32-битные xid создают проблемы и как 64-битные идентификаторы транзакций решают их.
Читать: «PostgreSQL: что нужно знать о счётчике транзакций»
#ru
@database_design | Другие наши каналы
Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы
Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse.
Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.
Читать: https://habr.com/ru/companies/magnit/articles/926834/
#ru
@database_design | Другие наши каналы
Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse.
Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.
Читать: https://habr.com/ru/companies/magnit/articles/926834/
#ru
@database_design | Другие наши каналы