Расширение jsquery для PostgreSQL — точные и быстрые выборки из JSONB
Привет, Хабр! Это Антон Дятлов, инженер по защите информации в Selectel. В современных базах данных JSON — де-факто стандарт для хранения полуструктурированных сведений. PostgreSQL предлагает два специализированных типа для работы с ним: json и jsonb. Первый хранит точную текстовую копию документа со всеми пробелами и порядком ключей. Второй применяет оптимизированный бинарный формат.
Рассказываем про jsquery — расширение, которое предоставляет полноценный язык для формулирования выборок. Появляется возможность писать декларативные, понятные и очень быстрые инструкции для работы с
Читать: https://habr.com/ru/companies/selectel/articles/928922/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Это Антон Дятлов, инженер по защите информации в Selectel. В современных базах данных JSON — де-факто стандарт для хранения полуструктурированных сведений. PostgreSQL предлагает два специализированных типа для работы с ним: json и jsonb. Первый хранит точную текстовую копию документа со всеми пробелами и порядком ключей. Второй применяет оптимизированный бинарный формат.
Рассказываем про jsquery — расширение, которое предоставляет полноценный язык для формулирования выборок. Появляется возможность писать декларативные, понятные и очень быстрые инструкции для работы с
jsonb-полями.Читать: https://habr.com/ru/companies/selectel/articles/928922/
#ru
@database_design | Другие наши каналы
Работа с временными таблицами в PostgreSQL
При создании временных таблиц в PostgreSQL изменяются до 13 таблиц системного каталога, при этом особенно сильно разрастаются
Читать: https://habr.com/ru/companies/tantor/articles/930038/
#ru
@database_design | Другие наши каналы
При создании временных таблиц в PostgreSQL изменяются до 13 таблиц системного каталога, при этом особенно сильно разрастаются
pg_attribute, pg_class, pg_depend и pg_type. Массовое создание и усечение временных таблиц активно применяется, в том числе в 1C:ERP. В статье рассматриваются особенности работы с временными таблицами и описано решение проблемы раздувания таблиц системного каталога, реализованное в СУБД Tantor Postgres.Читать: https://habr.com/ru/companies/tantor/articles/930038/
#ru
@database_design | Другие наши каналы
Новая эра DevOps: как Kubernetes, Crossplane и MongoDB Atlas упрощают управление облачной инфраструктурой. Автоматизация создания проектов, кластеров и пользователей через один объект Kubernetes улучшает безопасность и ускоряет процессы разработки.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Расчет RFM-модели в чистом SQL на примере магазина котиков: коротко
Привет, Хабр!
Сегодня мы рассмотрим, как реализовать RFM‑модель в чистом SQL на примере магазина котиков.
Читать: https://habr.com/ru/companies/otus/articles/930740/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Сегодня мы рассмотрим, как реализовать RFM‑модель в чистом SQL на примере магазина котиков.
Читать: https://habr.com/ru/companies/otus/articles/930740/
#ru
@database_design | Другие наши каналы
Автоматизация управления MongoDB Atlas с помощью Crossplane и Kubernetes
В статье раскрывается, как Crossplane упрощает создание и настройку окружений MongoDB Atlas через Kubernetes, позволяя быстро развертывать проекты и управлять инфраструктурой без сложных ручных процессов. Такой подход повышает гибкость и прозрачность работы команд.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье раскрывается, как Crossplane упрощает создание и настройку окружений MongoDB Atlas через Kubernetes, позволяя быстро развертывать проекты и управлять инфраструктурой без сложных ручных процессов. Такой подход повышает гибкость и прозрачность работы команд.
Читать подробнее
#en
@database_design | Другие наши каналы
Оптимизация Redis для высоких нагрузок: полное руководство
Привет, Хабр! На связи Александр Горьев, ведущий разработчик в Selectel. Сегодня в фокусе нашего внимания Redis — высокопроизводительное хранилище «ключ-значение», работающее в оперативной памяти. Скорость, простота и богатый набор структур сделали Redis очень популярным.
На старте Redis часто воспринимается как инструмент, который отлично работает «из коробки». Действительно, при небольшом объеме данных и малом числе клиентов он стабильно быстр даже с настройками по умолчанию. Однако с ростом нагрузки и усложнением архитектуры появляются проблемы. Ситуация усугубляется тем, что у каждого сценария свои требования к конфигурации и нет универсального набора параметров.
Мы рассмотрим целостный подход к оптимизации: от управления памятью и клиентскими подключениями — до выбора структур данных, настройки механизмов персистентности и использования встроенных инструментов мониторинга. Перейдем от запоздалого решения проблем к упреждающей стратегии и планированию мощностей.
Читать: https://habr.com/ru/companies/selectel/articles/931760/
#ru
@database_design | Другие наши каналы
Привет, Хабр! На связи Александр Горьев, ведущий разработчик в Selectel. Сегодня в фокусе нашего внимания Redis — высокопроизводительное хранилище «ключ-значение», работающее в оперативной памяти. Скорость, простота и богатый набор структур сделали Redis очень популярным.
На старте Redis часто воспринимается как инструмент, который отлично работает «из коробки». Действительно, при небольшом объеме данных и малом числе клиентов он стабильно быстр даже с настройками по умолчанию. Однако с ростом нагрузки и усложнением архитектуры появляются проблемы. Ситуация усугубляется тем, что у каждого сценария свои требования к конфигурации и нет универсального набора параметров.
Мы рассмотрим целостный подход к оптимизации: от управления памятью и клиентскими подключениями — до выбора структур данных, настройки механизмов персистентности и использования встроенных инструментов мониторинга. Перейдем от запоздалого решения проблем к упреждающей стратегии и планированию мощностей.
Читать: https://habr.com/ru/companies/selectel/articles/931760/
#ru
@database_design | Другие наши каналы
Как перестать сомневаться и подать доклад на IT-конференцию
Привет, Хабр! За то время, пока существует Онтико, мы подготовили вместе со спикерами тысячи докладов. И точно знаем, что спикер тоже человек и как любой человек он может сомневаться.
Мы поговорили с психологами и опытными докладчиками, чтобы разобрать страхи, знакомые каждому начинающему спикеру. В этой статье – пошаговый разбор, как выбрать тему, которую точно примут, как перестать бояться недостатка опыта и подготовить доклад без выгорания.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/931950/
#ru
@database_design | Другие наши каналы
Привет, Хабр! За то время, пока существует Онтико, мы подготовили вместе со спикерами тысячи докладов. И точно знаем, что спикер тоже человек и как любой человек он может сомневаться.
Мы поговорили с психологами и опытными докладчиками, чтобы разобрать страхи, знакомые каждому начинающему спикеру. В этой статье – пошаговый разбор, как выбрать тему, которую точно примут, как перестать бояться недостатка опыта и подготовить доклад без выгорания.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/931950/
#ru
@database_design | Другие наши каналы
Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025
Обзор лучших альтернатив Notion для ведения базы знаний в IT-проектах в 2025 году. Сравнение функционала, интеграций и удобства для разработчиков и команд.
Читать: «Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025»
#ru
@database_design | Другие наши каналы
Обзор лучших альтернатив Notion для ведения базы знаний в IT-проектах в 2025 году. Сравнение функционала, интеграций и удобства для разработчиков и команд.
Читать: «Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025»
#ru
@database_design | Другие наши каналы
Хакерская атака обрушила IT-системы нескольких московских клиник
Кибератака парализовала ИТ-системы клиник Москвы: недоступны базы пациентов, сайты и онлайн-запись, пострадали «Семейный доктор» и др
Читать: «Хакерская атака обрушила IT-системы нескольких московских клиник»
#ru
@database_design | Другие наши каналы
Кибератака парализовала ИТ-системы клиник Москвы: недоступны базы пациентов, сайты и онлайн-запись, пострадали «Семейный доктор» и др
Читать: «Хакерская атака обрушила IT-системы нескольких московских клиник»
#ru
@database_design | Другие наши каналы
Тестируем новую версию менеджера паролей Пассворк: обзор изменений от интерфейса до доступа по API
Привет, Хабр! Меня зовут Кирилл Белов (@KirillBelovTest на Хабре), я инженер по автоматизации тестирования. На работе я администрирую виртуальные машины и часто задумываюсь о том, насколько надежен доступ к той или иной виртуалке или сервису, который на ней запущен. На Хабре у меня уже почти два десятка статей, и сегодня я хочу рассказать о сервисе управления паролями Пассворк.
У нас в компании тоже используется корпоративный менеджер паролей, поэтому мне было особенно интересно сравнить функциональность Пассворка и нашего текущего менеджера. Перед тем как попробовать новую версию, я прочитал обзорную статью, где уже был подробный разбор возможностей.
Мне не хочется повторяться, поэтому я сосредоточусь только на нововведениях версии 7.0: изменении групп и ролей, улучшении пользовательского интерфейса, повышении безопасности, а также обновленной версии Python connector. Разбирать буду коробочную версию сервиса. За подробностями добро пожаловать под кат!
Читать: https://habr.com/ru/specials/928596/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Кирилл Белов (@KirillBelovTest на Хабре), я инженер по автоматизации тестирования. На работе я администрирую виртуальные машины и часто задумываюсь о том, насколько надежен доступ к той или иной виртуалке или сервису, который на ней запущен. На Хабре у меня уже почти два десятка статей, и сегодня я хочу рассказать о сервисе управления паролями Пассворк.
У нас в компании тоже используется корпоративный менеджер паролей, поэтому мне было особенно интересно сравнить функциональность Пассворка и нашего текущего менеджера. Перед тем как попробовать новую версию, я прочитал обзорную статью, где уже был подробный разбор возможностей.
Мне не хочется повторяться, поэтому я сосредоточусь только на нововведениях версии 7.0: изменении групп и ролей, улучшении пользовательского интерфейса, повышении безопасности, а также обновленной версии Python connector. Разбирать буду коробочную версию сервиса. За подробностями добро пожаловать под кат!
Читать: https://habr.com/ru/specials/928596/
#ru
@database_design | Другие наши каналы
Новые возможности MongoDB Atlas: потоковая обработка теперь поддерживает вызов AWS Lambda для умных трансформаций данных в реальном времени. Query Shape Insights помогает быстро выявлять ресурсоёмкие запросы. А с Crossplane автоматизация развёртывания Atlas через Kubernetes становится проще и эффективнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы
Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке.
В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent.
Погрузиться в чертоги
Читать: https://habr.com/ru/companies/simbirsoft/articles/932460/
#ru
@database_design | Другие наши каналы
Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке.
В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent.
Погрузиться в чертоги
Читать: https://habr.com/ru/companies/simbirsoft/articles/932460/
#ru
@database_design | Другие наши каналы
ЦОДы Cloud4Y в МО: что нового на стройплощадках? Часть 6
Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.
<cut
Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров.
Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data.
И главное — новые дата-центры станут частью единой экосистемы Cloud4Y.
Читать: https://habr.com/ru/companies/cloud4y/articles/932482/
#ru
@database_design | Другие наши каналы
Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.
<cut
Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров.
Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data.
И главное — новые дата-центры станут частью единой экосистемы Cloud4Y.
Читать: https://habr.com/ru/companies/cloud4y/articles/932482/
#ru
@database_design | Другие наши каналы
Оптимизация MongoDB с AI и автоматизация управления через Kubernetes
Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой.
Читать подробнее
#en
@database_design | Другие наши каналы
Автоматизация MongoDB Atlas с Crossplane упрощает создание и настройку облачной инфраструктуры через Kubernetes, интегрируясь с CI/CD. В статье также рассказывается о применении AI от AppMap для анализа и оптимизации работы приложений на базе MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Практический CQRS и Event Sourcing на Go
Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных.
Читать: https://habr.com/ru/articles/932510/
#ru
@database_design | Другие наши каналы
Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных.
Читать: https://habr.com/ru/articles/932510/
#ru
@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/932502/
#ru
@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/932502/
#ru
@database_design | Другие наши каналы
Построение долговечного хранилища данных
Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.
Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.
Читать: https://habr.com/ru/companies/ozontech/articles/926178/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.
Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.
Читать: https://habr.com/ru/companies/ozontech/articles/926178/
#ru
@database_design | Другие наши каналы
Полгода с S3 — полет нормальный: как мы пронесли объектное хранилище на Ceph от запуска до выхода из беты
Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.
В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.
Читать: https://habr.com/ru/companies/runity/articles/932720/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.
В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.
Читать: https://habr.com/ru/companies/runity/articles/932720/
#ru
@database_design | Другие наши каналы
Ускоренная экстракция данных из SAP-систем в DWH и Lakehouse: наш опыт интеграции
В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP.
На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA.
В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/
#ru
@database_design | Другие наши каналы
В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP.
На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA.
В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/
#ru
@database_design | Другие наши каналы
Shardman и Citus: как масштабировать СУБД Postgres Pro
Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму.
Читать: https://habr.com/ru/companies/postgrespro/articles/932572/
#ru
@database_design | Другие наши каналы
Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму.
Читать: https://habr.com/ru/companies/postgrespro/articles/932572/
#ru
@database_design | Другие наши каналы