DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
DATABASE DESIGN
Photo
Goodnotes и успех создания цифрового маркетплейса с MongoDB

Goodnotes, стремясь заменить бумажные блокноты, запустили маркетплейс с использованием MongoDB Atlas. Популярность платформы выросла, предложив пользователям доступ к разнообразному содержимому, от планеров до стикеров, на множестве платформ. MongoDB Atlas обеспечил масштабируемость и удобную интеграцию. Как MongoDB Atlas борется с тихой порчей данных

MongoDB Atlas внедряет меры для борьбы с тихой порчей данных в облачной среде. Несмотря на редкость таких сбоев, они становятся неизбежными на масштабах глобальных систем. Решение включает проактивный мониторинг, выявление и восстановление поврежденных данных, используя резервные копии и репликацию. Как MongoDB справляется с повреждением данных

MongoDB внедрила онлайн-сканирование для проверки консистентности данных, не нарушая работу систем. Это позволяет масштабировать процессы обнаружения и восстановления повреждений с минимальными затратами. В случае выявления несоответствий, данные восстанавливаются через resync, используя снимки облачных провайдеров.

Читать подробнее

#en

@database_design | Другие наши каналы
Ваша DCAP не справляется: еще раз об идеальных vs достижимых требованиях к системе файлового аудита

Привет, Хабр! На связи Алексей Парфентьев, я в «СёрчИнформ» заведую инновациями и аналитикой. Каждый год мы изучаем, чем и как защищают данные российские компании (кстати, недавно делились первыми результатами этого года). Увидели, что доля внедрения DCAP-решений с 2021 года выросла почти в 10 раз (с 2,5% до 21%). Эта цифра меня зацепила – и вот я тут.

Вот в чем дело. DCAP – не новичок на рынке, первые полноценные российские решения появились пять лет назад, зарубежные гранды вроде Varonis известны и того дольше. На сегодня, на волне спроса почти каждый отечественный вендор DLP выпустил или начал разрабатывать собственную DCAP-систему. И при этом ни у заказчиков, ни у вендоров пока нет консенсуса, что DCAP точно должны уметь!

На практике это значит, что системы на рынке часто сходятся только в заявленных задачах: это аудит, классификация и защита данных в корпоративных хранилищах (Data-Centric Audit and Protection – см. классификацию по Gartner). А решают их все по-своему. Я решил разобраться, от чего это зависит, какие преимущества и риски у разных подходов и какой вариант – оптимальный.


Читать: https://habr.com/ru/companies/searchinform/articles/865316/

#ru

@database_design | Другие наши каналы
Новые обновления для MariaDB Enterprise Server

Вышли новые обновления для версий MariaDB Enterprise Server 10.6.20-16 и 10.5.27-21. Среди новинок — новые поля для отслеживания задержек репликации и представление Schema для данных о паролях. Узнайте больше о новых параметрах и возможностях на сайте производителя.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Atlas Stream Processing выходит на новый уровень с поддержкой Azure и Azure Private Link! Это обновление открывает перед разработчиками множество возможностей, включая интеграцию MongoDB и Apache Kafka, работу с изменяющимися структурами данных и использование MongoDB Query API для обработки потоковых данных. Подключайтесь уже сегодня! Управление повреждением данных в MongoDB

Краткое содержание: При обнаружении потенциальной порчи данных в MongoDB важна не только ранняя диагностика, но и детальное сканирование индексов и реплик для точного определения проблемы. Новые онлайн-инструменты MongoDB позволяют выявлять и устранять повреждения данных без прерывания работы служб. 🚀 Запуск Marketplace с MongoDB Atlas

В 2024 году Goodnotes запустил Marketplace, который позволяет создателям контента улучшать заметки покупкой дополнительных материалов. Основой стал MongoDB Atlas, обеспечивший простую настройку и масштабирование. Команда добавила функции поиска и автодополнения, а также планы по внедрению AI для персонализации.

Читать подробнее

#en

@database_design | Другие наши каналы
SQLite перепишут с C на Rust. Назвали все это Limbo

Проект Limbo от команды Turso перепишет SQLite с языка C на Rust, чтобы повысить безопасность и производительность базы данных

Читать: «SQLite перепишут с C на Rust. Назвали все это Limbo»

#ru

@database_design | Другие наши каналы
SQLite перепишут с C на Rust. Назвали все это Limbo

Проект Limbo от команды Turso перепишет SQLite с языка C на Rust, чтобы повысить безопасность и производительность базы данных

Читать: «SQLite перепишут с C на Rust. Назвали все это Limbo»

#ru

@database_design | Другие наши каналы
SSD vs NVMe: разведка боем у пяти Российских хостеров

Привет, Хабр! У многих хостинг-провайдеров, предоставляющих услуги по аренде виртуалок, возможно самостоятельно сконфигурировать тариф под себя, выбрав необходимые параметры и их объём (тип процессора, тип диска, количество IP и т. д). Мне давно было интересно сравнить производительность SSD и NVMe в рамках одного хостинг-провайдера, чтобы понять, есть ли смысл переплачивать за более быстрый диск, а также их производительность между провайдерами. И вот наконец-то у меня появилось немного времени на подобный эксперимент — спешу поделиться результатами! И да, в этот раз со сравнительной итоговой табличкой :)


Читать: https://habr.com/ru/articles/865472/

#ru

@database_design | Другие наши каналы
Миграция с Tableau на опенсорс-версию DataLens: лёгкий путь с препятствиями

Хабр, привет! Я работаю в департаменте бизнес‑аналитики ППР — компании, которая создаёт экосистему сервисов для автопарка. Зимой 2024 года нам пришлось в короткий срок мигрировать на новый для нас BI‑сервис DataLens: подготовить инфраструктуру, развернуть три новых инструмента и мигрировать 100+ витрин и дашбордов.

Сейчас у нас больше 150+ витрин данных, стоящих на расписании, и дашбордов над ними, а также более 150 пользователей, которые на регулярной основе используют аналитические данные.

В статье расскажу о подробностях нашего переезда и поделюсь хитростями, которые важно учесть, чтобы ускорить миграцию.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/865648/

#ru

@database_design | Другие наши каналы
Синергия и инновации: Capgemini и MongoDB

Capgemini и MongoDB объединяют усилия для развития цифровой трансформации. Используя мощь AI и NoSQL, они предоставляют инновационные решения для банковской и страховой отраслей. Партнёрство позволяет модернизировать приложения и снижать операционные издержки, открывая новые горизонты для бизнеса. Интеграция Atlas и Azure: безупречная безопасность потоков данных

Atlas Stream Processing теперь поддерживает Azure Private Link, что значительно усиливает безопасность потоковой передачи данных между MongoDB и Kafka на Azure Event Hubs. Более защищенное подключение возможно через выбор региона и провайдера Azure при настройке. Начните сегодня с нашим руководством!

Читать подробнее

#en

@database_design | Другие наши каналы
🖥️ Вдохновляющая история: как инженер MongoDB обретает баланс

Everton Agner, инженер MongoDB, делится секретами достижения баланса между работой и жизнью. Главные факторы успеха — поддержка команды, прозрачное общение и личные ритуалы для переключения между рабочим и личным временем. Находите свой путь к гармонии! 🔥 Ноу-хау от Capgemini и MongoDB: синергия в действии 🔥

Capgemini активно развивает партнерство с MongoDB, используя её технологии для увеличения эффективности и масштабируемости своих проектов. Совместно они трудятся над решениями в сегментах Retrieval Augmented Generation и core banking, демонстрируя стратегический подход и высокую динамичность.

Читать подробнее

#en

@database_design | Другие наши каналы
Asymmetric Join в PostgreSQL как эволюция Partitionwise Join

Оптимизация Asymmetric Join (AJ) — это новый подход к объединению партицированных связей (partitioned relation, PR) и непартицированных связей (non-partitioned relation, NR). Она заключается в том, что каждая партиция присоединяется с помощью NR, а результаты объединяются путём APPEND. Всё это выглядит как эволюция техники partitionwise join (PWJ).
О партицировании в PostgreSQL

Читать: https://habr.com/ru/companies/postgrespro/articles/839644/

#ru

@database_design | Другие наши каналы
Векторная революция в базах данных: что нового в MariaDB

Текст: MariaDB представила новые возможности для работы с векторными операциями, что особенно актуально в эпоху ИИ. В статье обсуждаются тренды использования ИИ, рост значимости векторных баз данных, а также преимущества встраивания этих функций в MariaDB. Прогнозы показывают, что встроенные векторные операции станут ключевыми для будущих AI-приложений.

Читать подробнее

#en

@database_design | Другие наши каналы
Переход на новый уровень: как 中華電信 улучшила клиентский сервис с MongoDB Atlas

Пост: Тайваньская телеком-компания 中華電信 обновила свои клиентские сервисы с помощью MongoDB Atlas, увеличив производительность систем в 10 раз. Благодаря внедрению NoSQL и облачным решениям, они улучшили стабильность, скорость и качество обслуживания. Capgemini и MongoDB: Партнерство для цифровой трансформации

Capgemini и MongoDB объединили усилия для поддержки бизнеса в цифровой трансформации. Выбор MongoDB как ведущей NoSQL платформы делает их решения эффективными в страховании и банковском секторе. Инновации помогут модернизировать приложения, снизив затраты и повысив устойчивость.

Читать подробнее

#en

@database_design | Другие наши каналы
🔍 Инновационный подход IntellectAI с MongoDB

IntellectAI, подразделение Intellect Design Arena, с 2019 года использует MongoDB для улучшения показателей в банковской и финансовой сферах. Их платформа Purple Fabric на базе MongoDB Atlas и Vector Search увеличивает точность и скорость AI-анализа данных, включая ESG-комплаенс. Повышение эффективности с MongoDB Atlas

Сред китайских компаний Chunghwa Telecom выделяется внедрением MongoDB Atlas. Это решение даёт гибкость и улучшает работу с базами данных, обеспечивая до 20-кратного роста вычислительной мощности. Компании удалось повысить стабильность и снизить риски, эффективно справляясь с нагрузками клиентских запросов.

Читать подробнее

#en

@database_design | Другие наши каналы
Большой гайд по миграциям в Django: полезные советы и обход типичных подводных камней

Привет! Меня зовут Макс, я backend-разработчик в компании ИдаПроджект и автор YouTube-канала PyLounge.

Эта вторая часть большой статьи по Django-миграциям для начинающих. Если вы пропустили или потеряли первую часть — держите ссылку.

Что здесь будет? Разберем фиктивное применение, миграции данных, «сухую проверку» и основные проблемы, которые возникают у начинающих. Также поделюсь полезными советами и подсвечу детали работы. Примеры из практики — обязательно будут.

Дисклеймер (как и в первой части, чтобы не было недопониманий): все примеры специально упрощены, чтобы неокрепший ум выцепил концепции, а не детали реализации. Не бейте, или бейте там, где синяков не видно :)


Читать: https://habr.com/ru/companies/idaproject/articles/865036/

#ru

@database_design | Другие наши каналы
Партиционированный Postgres: немного о проблемах с лимитами

В то время, как пользователи видят позитивные стороны технологий, мы, разработчики, обычно сталкиваемся с ограничениями/недоработками/багами и видим наш продукт с совсем другой стороны. Вот и в этот раз: после публикации результатов сравнительного тестирования где я прогонял запросы теста Join-Order-Benchmark на базе с партициями и без, меня не отпускало ощущение, что всё-таки что-то я не досмотрел и при наличии партиций постгрес должен строить план хуже, чем без них. И это должен быть не просто баг, а технологическое ограничение. И вот, методом разглядывания потолка удалось-таки найти тонкое место - запросы с лимитами.


Читать: https://habr.com/ru/companies/postgrespro/articles/864910/

#ru

@database_design | Другие наши каналы
Дедупликация в OpenZFS теперь хороша, но использовать её не стоит

Вот-вот выйдет релиз OpenZFS 2.3.0 с новой функцией Fast Dedup. Это огромный шаг вперёд по сравнению со старой дедупликацией и отличный фундамент для будущих доработок.

Контрибьютор OpenZFS @gmelikov и команда VK Cloud совместно перевели статью об этом релизе, в которой новая функция сравнивается со старой дедупликацией и описывается максимально подробно с практическими примерами. В 2023–2024 коллеги из Klara много работали над этой функцией, и мы согласны с ними, что она весьма хороша!

После релиза Fast dedup на многих ресурсах в обсуждениях продолжили писать, что «новый дедуп всё так же плох, он требует столько же ОЗУ и также убивает производительность». Но эта информация лишь отчасти близка к правде и повторяет всё тот же мотив, который когда-то кто-то озвучивал на форумах.

Винить в этом никого не хочется. И не стоит, так как дедупликация в OpenZFS и правда была очень требовательной к правильному применению. Найти качественные гайды тоже не просто, ответ по умолчанию — «не используйте её» — был и (в целом) остаётся правильным. Но, по прошествии почти 20 лет жизни дедупа в OpenZFS, настало время вернуться к этому вопросу.

Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup, и почему же это всё ещё не дефолт.


Читать: https://habr.com/ru/companies/vk/articles/863904/

#ru

@database_design | Другие наши каналы
Оптимизация поиска в MongoDB: быстрая и экономичная работа с векторами

MongoDB объявила о новых функциях бинарной и скалярной квантизации в Atlas Vector Search. Эти улучшения позволяют сократить память на 96% и ускорить обработку запросов, оставаясь точными на 95%. Теперь разработчики могут эффективно применять поиск по векторам и generative AI. Инновации в AI с использованием MongoDB Atlas

Инновационная платформа IntellectAI, разработанная на базе MongoDB Atlas, резко ускоряет принятие решений в сфере финансов и страхования. С интеграцией AI и аналитики, система достигает более 90% точности, обрабатывая данные из 8000+ компаний, что в разы увеличивает масштаб и эффективность бизнес-процессов.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle EBS 12.2 и DB 23ai: Новое обновление

Oracle объявила о сертификации EBS Release 12.2 с Oracle Database 23ai для Exadata. Клиенты, соблюдающие все требования, могут обновиться до версии 23.5 на Exadata Software 24.1 или позже. Это улучшение поможет оптимизировать работу систем.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB и AI: Новые горизонты на re:Invent 2024

На AWS re:Invent 2024 MongoDB укрепило свои позиции в сфере AI, представив программу MongoDB AI Application Program. Среди партнеров — Capgemini, IBM и другие лидеры индустрии. Совместно с Meta, MongoDB помогает разработчикам использовать модели Meta и технологии MAAP, продвигая инновации и сотрудничество в AI. Оптимизация поиска с помощью двоичной квантизации

Снижение затрат на память с помощью двоичной квантизации в Atlas Vector Search может ухудшить точность поиска. Однако добавление этапа пересчета возвращает высокую точность, сохраняя до 95% эффективности. Это позволяет обрабатывать данные быстрее и дешевле без снижения качества.

Читать подробнее

#en

@database_design | Другие наши каналы