Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…

Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша задача — делать так, чтобы каждый быстро и удобно получал нужную информацию без лишней суеты и ожиданий.

Поэтому мы стараемся все автоматизировать и оптимизировать. Сегодня расскажу, как решаем эти задачи, а ещё про собственные хранилища аналитиков и bus-фактор.


Читать: https://habr.com/ru/companies/profi_ru/articles/910768/

#ru

@database_design | Другие наши каналы

Как заставить вашу базу данных летать, а не ползать. Часть 1 масштабирование и репликация

Всем привет! Меня зовут Илья Криволапов, тружусь системным аналитиком в SENSE на проекте одного из цветных банков РФ. В профессии я уже пятый год и, несмотря на фамилию, ломал прод всего лишь несколько незначительных раз (надеюсь).

На досуге я преподаю в университете дисциплину «Хранение и обработка больших объемов данных» и за все время у меня накопилось много полезной информации. Непростительно хранить такой клад у себя в столе, поэтому я подготовил для читателей Хабра ультимативный гайд по оптимизации или хорошему такому, грамотному проектированию баз данных с расчетом на масштабирование.

Всего в цикле будет 3 статьи. В первой поговорим о двух разных подходах масштабирования БД и о том, как лучше его делать и как лучше не делать (Никогда. Пожалуйста).

Кому будет полезно? Всем отвечающим за «здоровье» базы данных: DBA, архитекторам, DevOps-инженерам, аналитикам и разработчикам.

Согласны? Узнали? Тогда поехали!


Читать: https://habr.com/ru/companies/it_sense/articles/910632/

#ru

@database_design | Другие наши каналы

Переносите базы данных в облако Oracle с минимальными усилиями. В статье рассказывается о DMS — удобном графическом инструменте, который управляет миграцией и использует проверенные сервисы Oracle для безопасной и без простоев пересадки данных.

Читать подробнее

#en

@database_design | Другие наши каналы

Новый мастер-класс от Oracle LiveLabs предлагает пошаговое руководство по поиску по сходству с использованием Oracle Autonomous Database и открытых данных национальных парков США. Отличный способ познакомиться с возможностями AI Vector Search и применить их на практике.

Читать подробнее

#en

@database_design | Другие наши каналы

Новые горизонты с MongoDB: адаптация и инновации
В свежем обзоре рассказывается, как компании вроде LG U+ и Citizens Bank используют MongoDB для повышения эффективности, реального времени и внедрения ИИ, чтобы оставаться лидерами в быстро меняющемся мире данных и технологий. Ojje создаёт гибкую образовательную платформу с помощью MongoDB, обеспечивая масштабируемость и безопасность данных. Скоро появятся новые STEM-материалы и инструменты для учителей, а также проект Ojje at Home для поддержки чтения в семьях. Будущее образования меняется.

Читать подробнее

#en

@database_design | Другие наши каналы

Чем отличается обработка ПД Интернет-магазином от обработки ПД любым другим сайтом: это нужно знать бизнесу

Что общего между... Нет, не ежиком и молоком или карандашом и ботинком… А между маленьким и крупным Интернет-магазином?

Так как я юрист для бизнеса, а не психиатр, мой вопрос проще. Но если вам интересно, что там с ежиком, молоком, карандашом и ботинком, отвечу здесь, чтобы вы не ушли искать, так как дальше будет крайне важно для тех, кто продает что-либо в Сети
Узнать про молоко, ежиков и обработку ПД

Читать: https://habr.com/ru/articles/910974/

#ru

@database_design | Другие наши каналы

Проблема мягкого удаления (deleted_at) и как её решить

Привет, Хабр!

В этой статье рассмотрим классическую проблему «мягкого удаления» на уровне схемы баз данных и её влияние на аналитику.

Почти в каждой системе встречается требование «не удалять данные окончательно».


Читать: https://habr.com/ru/companies/otus/articles/910882/

#ru

@database_design | Другие наши каналы

Как использовать RBAC в OCI для доступа к ORDS

В статье показано, как применять RBAC-права в JWT от OCI IAM для защиты API Oracle REST Data Services. Первая часть руководства посвящена тестированию и работе с инструментом Insomnia.

Читать подробнее

#en

@database_design | Другие наши каналы

Как использовать RBAC в OCI для защиты API через JWT

Вторая часть инструкции показывает, как с помощью примера на JavaScript протестировать доступ к защищённым ресурсам Oracle REST Data Services, используя RBAC в JSON Web Token от Oracle Cloud Infrastructure.

Читать подробнее

#en

@database_design | Другие наши каналы

Секционируй и властвуй: делимся нетайными знаниями о секционировании в Postgres Pro

В арсенале Postgres Pro есть мощное, но порой недооцененное оружие — декларативное секционирование. Оно только звучит сложно, а на деле позволяет элегантно «нарезать» гигантские таблицы, превращая их из неповоротливых монстров в управляемые и быстрые структуры. Делимся нетайными знаниями, которые помогут оптимизировать запросы и упростить жизнь.


Читать: https://habr.com/ru/companies/postgrespro/articles/911492/

#ru

@database_design | Другие наши каналы

Оцените возможности MariaDB MaxScale 25.01 бесплатно! MaxScale Trial — это временный бесплатный доступ ко всем функциям мощного прокси для баз данных: продвинутое маршрутизирование запросов, балансировка нагрузки и гибкая фильтрация ждут вас. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы

Автономные AI-агенты меняют обработку страховых случаев, помогая ускорить оценку ущерба и повысить точность решений. В новой статье обсуждается, как такие системы с MongoDB облегчают работу страховщиков и улучшают клиентский опыт. BioIntelliSense и Enpal трансформируют свои отрасли с помощью MongoDB Atlas. Биотехнологии и возобновляемая энергетика получают масштабируемые решения для обработки больших потоков данных в реальном времени, экономя ресурсы и ускоряя инновации. Узнайте подробности в статье.

Читать подробнее

#en

@database_design | Другие наши каналы

Новое слово в базах данных: объединение SQL и NoSQL. В статье рассказывается, как сочетание JSON-документов и реляционных возможностей открывает новые горизонты для разработки и управления данными. Узнайте, что это значит для будущего технологий.

Читать подробнее

#en

@database_design | Другие наши каналы

Правильный порядок колонок в B-tree индексах PostgreSQL или правило ESR

Когда в проекте используется составной B-tree индекс, важно не просто "создать индекс", а сделать это правильно — иначе запросы могут не только не ускориться, но и начать работать медленнее. Возникает логичный вопрос: как выбрать порядок колонок, чтобы индекс действительно работал эффективно? Брутфорсом? По интуиции? По селективности?

В этой статье я расскажу, как подходить к построению составных индексов в PostgreSQL, на что реально влияет порядок колонок. Также разберём простое правило ESR, которое помогает упростить выбор и получать стабильный прирост производительности на всех стендах.


Читать: https://habr.com/ru/articles/911688/

#ru

@database_design | Другие наши каналы

«Светлые планы на будущее»: новые RISC-V процессоры, GPU и СХД

Всем привет! Меня зовут Сергей Ковалёв, я менеджер по развитию выделенных серверов. В этом теплом майском дайджесте собрал новинки серверного железа и другие новости из мира технологий. В апреле производители хоть и не очень нас баловали, зато охотно делились планами на будущее. Подробности под катом!

Читать: https://habr.com/ru/companies/selectel/articles/911702/

#ru

@database_design | Другие наши каналы

Снапшоты, клоны и не только: как устроен и что умеет маппер в СХД TATLIN

Привет, Хабр! Меня зовут Алексей, я главный эксперт по разработке ПО в компании YADRO. В этой статье я расскажу об устройстве такого важного программного компонента СХД, как маппер, о реализуемой с его помощью функциональности TATLIN.UNIFIED — полноценных тонких томах, снапшотах, клонах — и о планах по развитию этого компонента.


Читать: https://habr.com/ru/companies/yadro/articles/911514/

#ru

@database_design | Другие наши каналы

Как мы учили по-доброму шутить LLM и у нас получилось (почти)

Чувство юмора, как известно, присуще не всем людям и тем более не всем ИИ-системам. Чтобы ваш чат-бот или ИИ-ассистент мог шутить, нужна основа в виде большой языковой модели типа GPT-4o и ей подобных, API к которым стоит дорого. А что если чувство юмора нужно «привить» сервису, базирующемуся на открытой LLM с меньшим количеством параметров? Причем так, чтобы модель не выдавала шутки, за которые в приличном обществе, мягко скажем, можно получить порицание, выражающееся не только в словесной форме.

Способность открытых LLM шутить, причем по-доброму, могла бы расширить применение ИИ во многих сферах – образовании, терапии, обслуживании клиентов. Так что мы с коллегами из Лаборатории естественного языка НИУ ВШЭ задались этим вопросом и попытались разработать собственную методологию курирования (фильтрации и аннотирования) наборов данных для генерации доброго юмора на малых LM. По всем научным канонам мы ее описали и оценили в этом препринте. А здесь я постараюсь рассказать о ней чуть короче и менее научно.

Спойлер: мы были несовершенны на этапе аннотирования, что сыграло с нами злую шутку на этапе тестирования на английском, но в целом метод оказался рабочим.


Читать: https://habr.com/ru/companies/mts_ai/articles/911860/

#ru

@database_design | Другие наши каналы

Повышаем эффективность хранения данных до 300 раз с помощью таблиц SCD-2

Всем привет, меня зовут Василий. С 2021 года работаю в роли инженера данных в Х5 Tech, успел за это время познакомиться с несколькими интересными проектами и подходами в области обработки данных, об одном из которых пойдет речь далее.

В этой статье расскажу о том, как можно повысить эффективность хранения данных за счет уменьшения их дублирования.

Разберем, что из себя представляют Slowly Changing Dimensions-2 (далее SCD-2) таблицы и самостоятельно реализуем на PySpark алгоритм сохранения данных в них. Попутно поговорим о том, как находить изменения в любой таблице, даже если отсутствуют поля для выбора изменившихся записей, и научимся получать из созданной SCD-2 таблицы срезы на требуемую дату в прошлом.


Читать: https://habr.com/ru/companies/X5Tech/articles/911716/

#ru

@database_design | Другие наши каналы

Унифицированная архитектура баз данных для AI снижает сложности разработки и обеспечивает консистентность данных благодаря атомарным операциям. MongoDB Atlas объединяет в себе векторный поиск и транзакции, упрощая масштабирование и ускоряя внедрение AI-функций без синхронизации нескольких систем. Единая архитектура MongoDB с векторным поиском упрощает работу с данными, объединяя хранение документов и их векторных представлений. Это устраняет проблемы синхронизации, повышает надежность и ускоряет разработку AI-приложений без сложных механизмов согласования и «призрачных» документов. Технологии меняют бизнес: как компании используют MongoDB для адаптации и инноваций. В статьях рассказывается о реальных историях успеха LG U+, Citizens Bank и других, которые внедряют AI и облачные решения для повышения эффективности и безопасности. Узнайте больше!

Читать подробнее

#en

@database_design | Другие наши каналы

Прощание с Atlas Device Sync: как WeKan и MongoDB помогут безболезненно перейти на новые технологии и построить современные приложения с высокой производительностью и масштабируемостью. Узнайте, как подготовиться к миграции и обеспечить будущее ваших продуктов. Как упростить AI-поиск: разделённая архитектура с двумя базами данных требует сложной синхронизации и увеличивает риски рассогласования данных. В отличие от неё, unified-архитектура MongoDB Atlas объединяет в одном хранилище операции с векторами и основными данными, повышая надёжность и снижая сложность разработки. Единая архитектура данных в MongoDB решает проблему рассинхронизации между документами и векторными индексами. Благодаря транзакциям обновления и удаление выполняются одновременно, исключая «призрачные» документы и улучшая точность поиска и надежность AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы