DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Знакомство со слоем абстракции Netflix для хранилищ данных типа «ключ-значение»

Наша компания — Netflix — способна организовывать бесперебойную, высококачественную потоковую передачу видео миллионам пользователей благодаря своей надёжной глобальной серверной инфраструктуре. В самом центре этой инфраструктуры лежит множество онлайновых распределённых баз данных. Среди них — Apache Cassandra — NoSQL-СУБД, известная высокой доступностью и хорошей масштабируемостью. Cassandra играет роль опорной технологии для множества самых разных возможностей Netflix: от механизма входа пользователя в систему — до хранения истории просмотренных материалов и до поддержки аналитики реального времени и прямых трансляций.

Со временем появлялись новые базы данных типа «ключ-значение» (Key-Value, KV), владельцы сервисов вводили в строй новый функционал. В результате мы столкнулись с массой сложностей, связанных с неправильным использованием хранилищ данных. Во-первых — разработчикам сложно оперировать такими понятиями, как производительность хранилищ данных, согласованность и устойчивость данных. Ведь речь идёт о взаимодействии со сложной системой глобальных масштабов, представленной множеством хранилищ. Во-вторых — разработчикам приходилось постоянно переучиваться, осваивая новые подходы к моделированию данных и распространённые, но очень важные паттерны доступа к данным. В перечень сложностей, встающих перед разработчиками, входят высокие задержки, которым подвержен небольшой процент запросов, находящихся в «хвосте» распределения задержек (tail latency) и идемпотентность операций. Тут же можно упомянуть и поддержку работы «широких» разделов хранилищ с множеством строк, и работу в условиях, когда для хранения данных применяется единственный «толстый» столбец, и медленную пагинацию ответов. Кроме того — наши системы были связаны с множеством собственных API разных баз данных — с API, которые постоянно развивались, и в которых иногда появлялись изменения, нарушающие обратную совместимость. Всё это привело к тому, что инженеры, в масштабах всей организации, тратили много времени на поддержку и оптимизацию механизмов доступа к данным наших микросервисов.


Читать: https://habr.com/ru/companies/wunderfund/articles/864430/

#ru

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Защита данных в облаке: решение от MongoDB

Статья на блоге MongoDB обсуждает проблему "тихой" порчи данных в облаке и решения, которые компания внедрила для ее выявления и исправления. MongoDB Atlas использует передовые технологии для мониторинга и ремонта данных, обеспечивая надежную защиту пользователей даже в масштабных облачных системах. Онлайн и офлайн подходы к проверке целостности данных в MongoDB

MongoDB использует инновационную систему онлайн-сканирования целостности данных для предотвращения повреждения информации без прерывания работы баз данных. В случае обнаружения несоответствий данные могут быть восстановлены с помощью автоматизированного ресинка. Эта гибкость позволяет эффективно управлять данными. MongoDB и AWS: Новые достижения на AWS re:Invent 2024

MongoDB была признана AWS Technology Partner of the Year и показала новые интеграции с AWS. Основные направления - оптимизация затрат на генеративный ИИ и развитие инфраструктуры для инновационных приложений. Подробнее о сотрудничестве читайте на нашем сайте.

Читать подробнее

#en

@database_design | Другие наши каналы
Apache Flink: Flink Table API & SQL, часть 2

Table API — это API для взаимодействия с данными в табличном виде. Если рассматривать аналогию со Spark, то наша таблица в Table API — это датафреймы в Spark. Нет четкой структуры, каждая точка потока — таблица, то есть после преобразования таблицы нам возвращается таблица, как это происходит и в Spark.

Так же, как и Spark, Table API использует свой диалект SQL, который можно использовать над таблицами. Таблицу мы можем зарегистрировать в каталоге Table API и обращаться к ней с помощью SQL, используя команду Execute SQL. Все преобразования можно делать как обращаясь к таблице напрямую, через метод, так и при помощи SQL, то есть при помощи Select можно создать новую таблицу. Может запускаться как приложение, так и интерактивно SQL-запросами. То есть если у вас развернут Flink-кластер, то можно к нему подключиться при помощи Flink SQL, вбивать команды, создавать каталоги, подключаться к каталогам и проворачивать, например, батчевые SQL-запросы, которые перетягивать данные.

Главная фишка: источники и приемники могут создаваться и конфигурироваться при помощи DDL SQL.


Читать: https://habr.com/ru/companies/beeline_tech/articles/863936/

#ru

@database_design | Другие наши каналы
Oracle GDS: Мощный инструмент для бизнеса

Oracle Global Data Services (GDS) обеспечивает непрерывную доступность систем и управляет нагрузкой в корпоративной среде. Узнайте, как GDS помогает оптимизировать производительность и повысить отказоустойчивость ваших IT-систем.

Читать подробнее

#en

@database_design | Другие наши каналы
Новшества в Oracle Autonomous Health Framework

Обновление Oracle Autonomous Health Framework 24.11 предлагает улучшенные функции для настройки производительности баз данных, выявления и устранения проблем с отказами экземпляров. Также добавлены новые проверки лучших практик и последние исправления уязвимостей.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Goodnotes и успех создания цифрового маркетплейса с MongoDB

Goodnotes, стремясь заменить бумажные блокноты, запустили маркетплейс с использованием MongoDB Atlas. Популярность платформы выросла, предложив пользователям доступ к разнообразному содержимому, от планеров до стикеров, на множестве платформ. MongoDB Atlas обеспечил масштабируемость и удобную интеграцию. Как MongoDB Atlas борется с тихой порчей данных

MongoDB Atlas внедряет меры для борьбы с тихой порчей данных в облачной среде. Несмотря на редкость таких сбоев, они становятся неизбежными на масштабах глобальных систем. Решение включает проактивный мониторинг, выявление и восстановление поврежденных данных, используя резервные копии и репликацию. Как MongoDB справляется с повреждением данных

MongoDB внедрила онлайн-сканирование для проверки консистентности данных, не нарушая работу систем. Это позволяет масштабировать процессы обнаружения и восстановления повреждений с минимальными затратами. В случае выявления несоответствий, данные восстанавливаются через resync, используя снимки облачных провайдеров.

Читать подробнее

#en

@database_design | Другие наши каналы
Ваша DCAP не справляется: еще раз об идеальных vs достижимых требованиях к системе файлового аудита

Привет, Хабр! На связи Алексей Парфентьев, я в «СёрчИнформ» заведую инновациями и аналитикой. Каждый год мы изучаем, чем и как защищают данные российские компании (кстати, недавно делились первыми результатами этого года). Увидели, что доля внедрения DCAP-решений с 2021 года выросла почти в 10 раз (с 2,5% до 21%). Эта цифра меня зацепила – и вот я тут.

Вот в чем дело. DCAP – не новичок на рынке, первые полноценные российские решения появились пять лет назад, зарубежные гранды вроде Varonis известны и того дольше. На сегодня, на волне спроса почти каждый отечественный вендор DLP выпустил или начал разрабатывать собственную DCAP-систему. И при этом ни у заказчиков, ни у вендоров пока нет консенсуса, что DCAP точно должны уметь!

На практике это значит, что системы на рынке часто сходятся только в заявленных задачах: это аудит, классификация и защита данных в корпоративных хранилищах (Data-Centric Audit and Protection – см. классификацию по Gartner). А решают их все по-своему. Я решил разобраться, от чего это зависит, какие преимущества и риски у разных подходов и какой вариант – оптимальный.


Читать: https://habr.com/ru/companies/searchinform/articles/865316/

#ru

@database_design | Другие наши каналы
Новые обновления для MariaDB Enterprise Server

Вышли новые обновления для версий MariaDB Enterprise Server 10.6.20-16 и 10.5.27-21. Среди новинок — новые поля для отслеживания задержек репликации и представление Schema для данных о паролях. Узнайте больше о новых параметрах и возможностях на сайте производителя.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Atlas Stream Processing выходит на новый уровень с поддержкой Azure и Azure Private Link! Это обновление открывает перед разработчиками множество возможностей, включая интеграцию MongoDB и Apache Kafka, работу с изменяющимися структурами данных и использование MongoDB Query API для обработки потоковых данных. Подключайтесь уже сегодня! Управление повреждением данных в MongoDB

Краткое содержание: При обнаружении потенциальной порчи данных в MongoDB важна не только ранняя диагностика, но и детальное сканирование индексов и реплик для точного определения проблемы. Новые онлайн-инструменты MongoDB позволяют выявлять и устранять повреждения данных без прерывания работы служб. 🚀 Запуск Marketplace с MongoDB Atlas

В 2024 году Goodnotes запустил Marketplace, который позволяет создателям контента улучшать заметки покупкой дополнительных материалов. Основой стал MongoDB Atlas, обеспечивший простую настройку и масштабирование. Команда добавила функции поиска и автодополнения, а также планы по внедрению AI для персонализации.

Читать подробнее

#en

@database_design | Другие наши каналы
SQLite перепишут с C на Rust. Назвали все это Limbo

Проект Limbo от команды Turso перепишет SQLite с языка C на Rust, чтобы повысить безопасность и производительность базы данных

Читать: «SQLite перепишут с C на Rust. Назвали все это Limbo»

#ru

@database_design | Другие наши каналы
SQLite перепишут с C на Rust. Назвали все это Limbo

Проект Limbo от команды Turso перепишет SQLite с языка C на Rust, чтобы повысить безопасность и производительность базы данных

Читать: «SQLite перепишут с C на Rust. Назвали все это Limbo»

#ru

@database_design | Другие наши каналы
SSD vs NVMe: разведка боем у пяти Российских хостеров

Привет, Хабр! У многих хостинг-провайдеров, предоставляющих услуги по аренде виртуалок, возможно самостоятельно сконфигурировать тариф под себя, выбрав необходимые параметры и их объём (тип процессора, тип диска, количество IP и т. д). Мне давно было интересно сравнить производительность SSD и NVMe в рамках одного хостинг-провайдера, чтобы понять, есть ли смысл переплачивать за более быстрый диск, а также их производительность между провайдерами. И вот наконец-то у меня появилось немного времени на подобный эксперимент — спешу поделиться результатами! И да, в этот раз со сравнительной итоговой табличкой :)


Читать: https://habr.com/ru/articles/865472/

#ru

@database_design | Другие наши каналы
Миграция с Tableau на опенсорс-версию DataLens: лёгкий путь с препятствиями

Хабр, привет! Я работаю в департаменте бизнес‑аналитики ППР — компании, которая создаёт экосистему сервисов для автопарка. Зимой 2024 года нам пришлось в короткий срок мигрировать на новый для нас BI‑сервис DataLens: подготовить инфраструктуру, развернуть три новых инструмента и мигрировать 100+ витрин и дашбордов.

Сейчас у нас больше 150+ витрин данных, стоящих на расписании, и дашбордов над ними, а также более 150 пользователей, которые на регулярной основе используют аналитические данные.

В статье расскажу о подробностях нашего переезда и поделюсь хитростями, которые важно учесть, чтобы ускорить миграцию.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/865648/

#ru

@database_design | Другие наши каналы
Синергия и инновации: Capgemini и MongoDB

Capgemini и MongoDB объединяют усилия для развития цифровой трансформации. Используя мощь AI и NoSQL, они предоставляют инновационные решения для банковской и страховой отраслей. Партнёрство позволяет модернизировать приложения и снижать операционные издержки, открывая новые горизонты для бизнеса. Интеграция Atlas и Azure: безупречная безопасность потоков данных

Atlas Stream Processing теперь поддерживает Azure Private Link, что значительно усиливает безопасность потоковой передачи данных между MongoDB и Kafka на Azure Event Hubs. Более защищенное подключение возможно через выбор региона и провайдера Azure при настройке. Начните сегодня с нашим руководством!

Читать подробнее

#en

@database_design | Другие наши каналы
🖥️ Вдохновляющая история: как инженер MongoDB обретает баланс

Everton Agner, инженер MongoDB, делится секретами достижения баланса между работой и жизнью. Главные факторы успеха — поддержка команды, прозрачное общение и личные ритуалы для переключения между рабочим и личным временем. Находите свой путь к гармонии! 🔥 Ноу-хау от Capgemini и MongoDB: синергия в действии 🔥

Capgemini активно развивает партнерство с MongoDB, используя её технологии для увеличения эффективности и масштабируемости своих проектов. Совместно они трудятся над решениями в сегментах Retrieval Augmented Generation и core banking, демонстрируя стратегический подход и высокую динамичность.

Читать подробнее

#en

@database_design | Другие наши каналы
Asymmetric Join в PostgreSQL как эволюция Partitionwise Join

Оптимизация Asymmetric Join (AJ) — это новый подход к объединению партицированных связей (partitioned relation, PR) и непартицированных связей (non-partitioned relation, NR). Она заключается в том, что каждая партиция присоединяется с помощью NR, а результаты объединяются путём APPEND. Всё это выглядит как эволюция техники partitionwise join (PWJ).
О партицировании в PostgreSQL

Читать: https://habr.com/ru/companies/postgrespro/articles/839644/

#ru

@database_design | Другие наши каналы
Векторная революция в базах данных: что нового в MariaDB

Текст: MariaDB представила новые возможности для работы с векторными операциями, что особенно актуально в эпоху ИИ. В статье обсуждаются тренды использования ИИ, рост значимости векторных баз данных, а также преимущества встраивания этих функций в MariaDB. Прогнозы показывают, что встроенные векторные операции станут ключевыми для будущих AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
Переход на новый уровень: как 中華電信 улучшила клиентский сервис с MongoDB Atlas

Пост: Тайваньская телеком-компания 中華電信 обновила свои клиентские сервисы с помощью MongoDB Atlas, увеличив производительность систем в 10 раз. Благодаря внедрению NoSQL и облачным решениям, они улучшили стабильность, скорость и качество обслуживания. Capgemini и MongoDB: Партнерство для цифровой трансформации

Capgemini и MongoDB объединили усилия для поддержки бизнеса в цифровой трансформации. Выбор MongoDB как ведущей NoSQL платформы делает их решения эффективными в страховании и банковском секторе. Инновации помогут модернизировать приложения, снизив затраты и повысив устойчивость.

Читать подробнее

#en

@database_design | Другие наши каналы