Расчет RFM-модели в чистом SQL на примере магазина котиков: коротко
Привет, Хабр!
Сегодня мы рассмотрим, как реализовать RFM‑модель в чистом SQL на примере магазина котиков.
Читать: https://habr.com/ru/companies/otus/articles/930740/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Сегодня мы рассмотрим, как реализовать RFM‑модель в чистом SQL на примере магазина котиков.
Читать: https://habr.com/ru/companies/otus/articles/930740/
#ru
@database_design | Другие наши каналы
Автоматизация управления MongoDB Atlas с помощью Crossplane и Kubernetes
В статье раскрывается, как Crossplane упрощает создание и настройку окружений MongoDB Atlas через Kubernetes, позволяя быстро развертывать проекты и управлять инфраструктурой без сложных ручных процессов. Такой подход повышает гибкость и прозрачность работы команд.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье раскрывается, как Crossplane упрощает создание и настройку окружений MongoDB Atlas через Kubernetes, позволяя быстро развертывать проекты и управлять инфраструктурой без сложных ручных процессов. Такой подход повышает гибкость и прозрачность работы команд.
Читать подробнее
#en
@database_design | Другие наши каналы
Оптимизация Redis для высоких нагрузок: полное руководство
Привет, Хабр! На связи Александр Горьев, ведущий разработчик в Selectel. Сегодня в фокусе нашего внимания Redis — высокопроизводительное хранилище «ключ-значение», работающее в оперативной памяти. Скорость, простота и богатый набор структур сделали Redis очень популярным.
На старте Redis часто воспринимается как инструмент, который отлично работает «из коробки». Действительно, при небольшом объеме данных и малом числе клиентов он стабильно быстр даже с настройками по умолчанию. Однако с ростом нагрузки и усложнением архитектуры появляются проблемы. Ситуация усугубляется тем, что у каждого сценария свои требования к конфигурации и нет универсального набора параметров.
Мы рассмотрим целостный подход к оптимизации: от управления памятью и клиентскими подключениями — до выбора структур данных, настройки механизмов персистентности и использования встроенных инструментов мониторинга. Перейдем от запоздалого решения проблем к упреждающей стратегии и планированию мощностей.
Читать: https://habr.com/ru/companies/selectel/articles/931760/
#ru
@database_design | Другие наши каналы
Привет, Хабр! На связи Александр Горьев, ведущий разработчик в Selectel. Сегодня в фокусе нашего внимания Redis — высокопроизводительное хранилище «ключ-значение», работающее в оперативной памяти. Скорость, простота и богатый набор структур сделали Redis очень популярным.
На старте Redis часто воспринимается как инструмент, который отлично работает «из коробки». Действительно, при небольшом объеме данных и малом числе клиентов он стабильно быстр даже с настройками по умолчанию. Однако с ростом нагрузки и усложнением архитектуры появляются проблемы. Ситуация усугубляется тем, что у каждого сценария свои требования к конфигурации и нет универсального набора параметров.
Мы рассмотрим целостный подход к оптимизации: от управления памятью и клиентскими подключениями — до выбора структур данных, настройки механизмов персистентности и использования встроенных инструментов мониторинга. Перейдем от запоздалого решения проблем к упреждающей стратегии и планированию мощностей.
Читать: https://habr.com/ru/companies/selectel/articles/931760/
#ru
@database_design | Другие наши каналы
Как перестать сомневаться и подать доклад на IT-конференцию
Привет, Хабр! За то время, пока существует Онтико, мы подготовили вместе со спикерами тысячи докладов. И точно знаем, что спикер тоже человек и как любой человек он может сомневаться.
Мы поговорили с психологами и опытными докладчиками, чтобы разобрать страхи, знакомые каждому начинающему спикеру. В этой статье – пошаговый разбор, как выбрать тему, которую точно примут, как перестать бояться недостатка опыта и подготовить доклад без выгорания.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/931950/
#ru
@database_design | Другие наши каналы
Привет, Хабр! За то время, пока существует Онтико, мы подготовили вместе со спикерами тысячи докладов. И точно знаем, что спикер тоже человек и как любой человек он может сомневаться.
Мы поговорили с психологами и опытными докладчиками, чтобы разобрать страхи, знакомые каждому начинающему спикеру. В этой статье – пошаговый разбор, как выбрать тему, которую точно примут, как перестать бояться недостатка опыта и подготовить доклад без выгорания.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/931950/
#ru
@database_design | Другие наши каналы
Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025
Обзор лучших альтернатив Notion для ведения базы знаний в IT-проектах в 2025 году. Сравнение функционала, интеграций и удобства для разработчиков и команд.
Читать: «Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025»
#ru
@database_design | Другие наши каналы
Обзор лучших альтернатив Notion для ведения базы знаний в IT-проектах в 2025 году. Сравнение функционала, интеграций и удобства для разработчиков и команд.
Читать: «Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025»
#ru
@database_design | Другие наши каналы
Хакерская атака обрушила IT-системы нескольких московских клиник
Кибератака парализовала ИТ-системы клиник Москвы: недоступны базы пациентов, сайты и онлайн-запись, пострадали «Семейный доктор» и др
Читать: «Хакерская атака обрушила IT-системы нескольких московских клиник»
#ru
@database_design | Другие наши каналы
Кибератака парализовала ИТ-системы клиник Москвы: недоступны базы пациентов, сайты и онлайн-запись, пострадали «Семейный доктор» и др
Читать: «Хакерская атака обрушила IT-системы нескольких московских клиник»
#ru
@database_design | Другие наши каналы
Тестируем новую версию менеджера паролей Пассворк: обзор изменений от интерфейса до доступа по API
Привет, Хабр! Меня зовут Кирилл Белов (@KirillBelovTest на Хабре), я инженер по автоматизации тестирования. На работе я администрирую виртуальные машины и часто задумываюсь о том, насколько надежен доступ к той или иной виртуалке или сервису, который на ней запущен. На Хабре у меня уже почти два десятка статей, и сегодня я хочу рассказать о сервисе управления паролями Пассворк.
У нас в компании тоже используется корпоративный менеджер паролей, поэтому мне было особенно интересно сравнить функциональность Пассворка и нашего текущего менеджера. Перед тем как попробовать новую версию, я прочитал обзорную статью, где уже был подробный разбор возможностей.
Мне не хочется повторяться, поэтому я сосредоточусь только на нововведениях версии 7.0: изменении групп и ролей, улучшении пользовательского интерфейса, повышении безопасности, а также обновленной версии Python connector. Разбирать буду коробочную версию сервиса. За подробностями добро пожаловать под кат!
Читать: https://habr.com/ru/specials/928596/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Кирилл Белов (@KirillBelovTest на Хабре), я инженер по автоматизации тестирования. На работе я администрирую виртуальные машины и часто задумываюсь о том, насколько надежен доступ к той или иной виртуалке или сервису, который на ней запущен. На Хабре у меня уже почти два десятка статей, и сегодня я хочу рассказать о сервисе управления паролями Пассворк.
У нас в компании тоже используется корпоративный менеджер паролей, поэтому мне было особенно интересно сравнить функциональность Пассворка и нашего текущего менеджера. Перед тем как попробовать новую версию, я прочитал обзорную статью, где уже был подробный разбор возможностей.
Мне не хочется повторяться, поэтому я сосредоточусь только на нововведениях версии 7.0: изменении групп и ролей, улучшении пользовательского интерфейса, повышении безопасности, а также обновленной версии Python connector. Разбирать буду коробочную версию сервиса. За подробностями добро пожаловать под кат!
Читать: https://habr.com/ru/specials/928596/
#ru
@database_design | Другие наши каналы
Новые возможности MongoDB Atlas: потоковая обработка теперь поддерживает вызов AWS Lambda для умных трансформаций данных в реальном времени. Query Shape Insights помогает быстро выявлять ресурсоёмкие запросы. А с Crossplane автоматизация развёртывания Atlas через Kubernetes становится проще и эффективнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы
Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке.
В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent.
Погрузиться в чертоги
Читать: https://habr.com/ru/companies/simbirsoft/articles/932460/
#ru
@database_design | Другие наши каналы
Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке.
В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent.
Погрузиться в чертоги
Читать: https://habr.com/ru/companies/simbirsoft/articles/932460/
#ru
@database_design | Другие наши каналы
ЦОДы Cloud4Y в МО: что нового на стройплощадках? Часть 6
Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.
<cut
Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров.
Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data.
И главное — новые дата-центры станут частью единой экосистемы Cloud4Y.
Читать: https://habr.com/ru/companies/cloud4y/articles/932482/
#ru
@database_design | Другие наши каналы
Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.
<cut
Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров.
Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data.
И главное — новые дата-центры станут частью единой экосистемы Cloud4Y.
Читать: https://habr.com/ru/companies/cloud4y/articles/932482/
#ru
@database_design | Другие наши каналы
Оптимизация MongoDB с AI и автоматизация управления через Kubernetes
Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой.
Читать подробнее
#en
@database_design | Другие наши каналы
Автоматизация MongoDB Atlas с Crossplane упрощает создание и настройку облачной инфраструктуры через Kubernetes, интегрируясь с CI/CD. В статье также рассказывается о применении AI от AppMap для анализа и оптимизации работы приложений на базе MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Практический CQRS и Event Sourcing на Go
Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных.
Читать: https://habr.com/ru/articles/932510/
#ru
@database_design | Другие наши каналы
Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных.
Читать: https://habr.com/ru/articles/932510/
#ru
@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/932502/
#ru
@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/932502/
#ru
@database_design | Другие наши каналы
Построение долговечного хранилища данных
Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.
Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.
Читать: https://habr.com/ru/companies/ozontech/articles/926178/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей.
Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon.
Читать: https://habr.com/ru/companies/ozontech/articles/926178/
#ru
@database_design | Другие наши каналы
Полгода с S3 — полет нормальный: как мы пронесли объектное хранилище на Ceph от запуска до выхода из беты
Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.
В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.
Читать: https://habr.com/ru/companies/runity/articles/932720/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.
В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.
Читать: https://habr.com/ru/companies/runity/articles/932720/
#ru
@database_design | Другие наши каналы
Ускоренная экстракция данных из SAP-систем в DWH и Lakehouse: наш опыт интеграции
В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP.
На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA.
В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/
#ru
@database_design | Другие наши каналы
В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP.
На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA.
В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/
#ru
@database_design | Другие наши каналы
Shardman и Citus: как масштабировать СУБД Postgres Pro
Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму.
Читать: https://habr.com/ru/companies/postgrespro/articles/932572/
#ru
@database_design | Другие наши каналы
Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму.
Читать: https://habr.com/ru/companies/postgrespro/articles/932572/
#ru
@database_design | Другие наши каналы
Выжимаем максимум из Postgres на RTABench Q0
Время от времени приходится слышать мнение, что Postgres никуда не годится для решения задач аналитики. При при этом, в качестве аргументации приводятся в пример результаты тестирования на TPC-H или ClickBench. Что ж, когда стоит простая задача перебрать 100 млн строк на диске и посчитать набор агрегатов над ними - формат хранения и распараллеливания действительно сильно ограничивают нас в возможностях оптимизации СУБД. Однако когда запросы высоко селективны, им по факту требуется не так много строк таблицы и фокус внимания смещается на порядок JOINов, кэширование промежуточных результатов и минимизацию операций сортировки. В этом случае Postgres, имеющий весьма широкий выбор различных стратегий выполнения запроса, может получить преимущество ...
Читать: https://habr.com/ru/articles/931410/
#ru
@database_design | Другие наши каналы
Время от времени приходится слышать мнение, что Postgres никуда не годится для решения задач аналитики. При при этом, в качестве аргументации приводятся в пример результаты тестирования на TPC-H или ClickBench. Что ж, когда стоит простая задача перебрать 100 млн строк на диске и посчитать набор агрегатов над ними - формат хранения и распараллеливания действительно сильно ограничивают нас в возможностях оптимизации СУБД. Однако когда запросы высоко селективны, им по факту требуется не так много строк таблицы и фокус внимания смещается на порядок JOINов, кэширование промежуточных результатов и минимизацию операций сортировки. В этом случае Postgres, имеющий весьма широкий выбор различных стратегий выполнения запроса, может получить преимущество ...
Читать: https://habr.com/ru/articles/931410/
#ru
@database_design | Другие наши каналы
Больше, чем аналитика: как Process Mining помогает ритейлу экономить и повышать выручку
Процессная аналитика (Process Mining) — это методология сбора и анализа информации о бизнес-процессах. Она помогает составить реальную схему процессов, разобраться в их работе и найти узкие места, требующие вашего внимания. Также процессная аналитика помогает выявлять «нетипичные» пути прохождения и прогнозировать работу бизнес-процессов.
Мы рассмотрим подробнее эту методологию и особенности её применения. А также на нескольких примерах из практики М.Видео-Эльдорадо и Т1 покажем, чем процессная аналитика может быть полезна в компании.
Читать: https://habr.com/ru/companies/mvideo/articles/933160/
#ru
@database_design | Другие наши каналы
Процессная аналитика (Process Mining) — это методология сбора и анализа информации о бизнес-процессах. Она помогает составить реальную схему процессов, разобраться в их работе и найти узкие места, требующие вашего внимания. Также процессная аналитика помогает выявлять «нетипичные» пути прохождения и прогнозировать работу бизнес-процессов.
Мы рассмотрим подробнее эту методологию и особенности её применения. А также на нескольких примерах из практики М.Видео-Эльдорадо и Т1 покажем, чем процессная аналитика может быть полезна в компании.
Читать: https://habr.com/ru/companies/mvideo/articles/933160/
#ru
@database_design | Другие наши каналы
👍3
Как я от нечего делать замедлил Postgres в 42 000 раз
Всех постоянно интересует, как сделать Postgres быстрее, эффективнее и всё такое, но никто не задумывался, как её замедлить. Да, большинству этих людей платят за то, чтобы они повышали скорость, но ко мне это не относится. Недавно я писал более полезное руководство, и мне вдруг пришла мысль, что кто-то должен попробовать создать такую конфигурацию Postgres, которая будет настроена на максимально медленную обработку запросов. Зачем? Сложно сказать, но вот такая возникла мысль.
Читать: https://habr.com/ru/companies/ruvds/articles/932278/
#ru
@database_design | Другие наши каналы
Всех постоянно интересует, как сделать Postgres быстрее, эффективнее и всё такое, но никто не задумывался, как её замедлить. Да, большинству этих людей платят за то, чтобы они повышали скорость, но ко мне это не относится. Недавно я писал более полезное руководство, и мне вдруг пришла мысль, что кто-то должен попробовать создать такую конфигурацию Postgres, которая будет настроена на максимально медленную обработку запросов. Зачем? Сложно сказать, но вот такая возникла мысль.
Читать: https://habr.com/ru/companies/ruvds/articles/932278/
#ru
@database_design | Другие наши каналы