DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Мои результаты тестов сравнения быстродействия NVME-over-TCP и NVME-over-RDMA

На хабре уже было несколько статей, посвящённых технологии NVME over Fabric, которая в последнее время становится всё более популярной для сетевых дисковых подключений. Мы сейчас строим некую новую систему и у меня возникла мысль протестировать и сравнить несколько различных настроек. Возможно, кому-то из коллег будут полезны полученные мной результаты.


Читать: https://habr.com/ru/articles/872084/

#ru

@database_design | Другие наши каналы
🔍 Прорыв в производительности с Exadata X11M

Exadata X11M, оптимизированная для процессоров AMD EPYC, обеспечивает значительно более высокую производительность по сравнению с конкурентными системами. Улучшения затрагивают все рабочие нагрузки: ускоряются AI-запросы, IOPS, доступ к хранилищу и аналитические сканирования.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Как Zhihu и MongoDB обеспечивают надежность данных

Zhihu, крупнейшая платформа вопросов-ответов в Китае, использует MongoDB для повышения надежности и безопасности данных. Решение помогает обрабатывать огромные объемы информации в режиме реального времени, обеспечивая быстрое и эффективное реагирование на подозрительное поведение пользователей. MongoDB в поддержке больших данных

В условиях растущей потребности в масштабируемых базах данных, MongoDB предлагает решения для оптимизации ресурсов и эффективного хранения данных. Технологии, такие как шардирование и мощные компрессии, позволяют крупным платформам, включая Zhihu, управлять огромными объемами данных с минимальной нагрузкой. SonyLIV увеличила производительность CMS на 98% с MongoDB Atlas

SonyLIV, ключевая платформа потокового видео в Индии, модернизировала свою систему управления контентом с помощью MongoDB Atlas. Была улучшена производительность поиска и снижено время задержки до минимальных 0,03 секунд, что привело к более высокому качеству пользовательского опыта и ускорило выход нового контента.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
У SonyLIV на 98% улучшилась производительность CMS благодаря MongoDB Atlas

Платформа SonyLIV, популярная в Индии, значительно повысила качество работы своей системы управления контентом (CMS) после перехода на MongoDB Atlas. Это позволило увеличить скорость обработки запросов и улучшить пользовательский опыт, справляясь с потоками данных в режиме реального времени. 🔍 MongoDB и PeerAI: Быстрая миграция и анализ в реальном времени

PeerAI предлагает предприятиям модернизировать устаревшие системы Sybase на MongoDB, обеспечивая мгновенную аналитику и масштабируемость. Процесс, занимающий раньше до 18 месяцев, теперь можно завершить за 3-4 месяца при снижении затрат до 50%. 🚀 Оптимизация баз данных на Zhihu с помощью MongoDB

Zhihu столкнулся с проблемой масштабируемости из-за увеличения данных. MongoDB помогает оптимизировать ресурсы и уменьшить нагрузку благодаря зоне и тегам. Технология сжатия позволяет эффективно использовать дисковое пространство. MongoDB уже активно используется в различных бизнес-направлениях Zhihu.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
🔍 Новый интерактивный инструмент от MongoDB

MongoDB представила Search Demo Builder, который позволяет изучить возможности Atlas Search без создания аккаунта. Это интуитивно понятная среда для настройки поисковых функций, таких как автозаполнение и фильтры, без потребности в технических навыках. Попробуйте уже сегодня! Как MongoDB Улучшает Производительность Баз Данных

Пост: В условиях изменчивого бизнеса ZH использует MongoDB для повышения стабильности и расширяемости баз данных. Шардирование для распределения данных и сжатие снижают нагрузку и экономят дисковое пространство. Это позволяет быстрее обрабатывать запросы и избегать проблем с застойными данными. Узнайте больше подробнее. Оптимизация SonyLIV с помощью MongoDB Atlas

SonyLIV выбрал MongoDB Atlas для миграции данных и улучшения работы с контентом. Благодаря поддержке MongoDB Professional Services, время задержки сократилось с 1.3 секунд до 0.022, значительно повысив производительность. Это позволило SonyLIV быстрее выпускать контент и улучшать пользовательский опыт.

Читать подробнее

#en

@database_design | Другие наши каналы
Авторизация в PostgreSQL через доменные группы

Переезд с Microsoft на Linux - это то, с чем сталкивается последнее время практически каждый инженер, и меня сия чаша тоже не миновала. Но за годы работы с MS я привык раздавать права на все что угодно через группы в AD и отказываться от этого совершенно не хотелось.

Запросы к вендеру, поиск инструкций в интернете не принес желаемого результата и как обычно в опенсорсе пришлось разбираться самому как реализовать свою хотелку.


Читать: https://habr.com/ru/articles/862776/

#ru

@database_design | Другие наши каналы
Омниканальная торговля с MongoDB: Новые возможности для ритейлеров

Современные покупатели ждут бесшовного опыта во всех каналах: онлайн и офлайн. Решения для покупок онлайн с получением в магазине (BOPIS) и доставки на дом становятся ключевыми. MongoDB предлагает современные инструменты для создания единой платформы, повышая скорость и точность обработки заказов. Узнайте, как MongoDB помогает ритейлерам держаться на волне. 🚀 Оптимизация данных SonyLIV с MongoDB Atlas

SonyLIV совместно с MongoDB Professional Services успешно провела миграцию десятилетних данных в MongoDB Atlas. Это улучшило производительность системы, снизив задержку с 1,3 до 0,03 секунды. Внедрение Atlas Search упростило архитектуру и ускорило доступ к контенту. Узнайте больше на нашем сайте!

Читать подробнее

#en

@database_design | Другие наши каналы
Божественная K-V таблица для мелочей

Во времена пика интереса к NoSQL базам данных простоватые K-V хранилища были несколько обойдены вниманием - отчасти это понятно, вещь не очень "инновационная", можно даже сказать старинная. В то же время своя "ниша" у них находится до сих пор (не считая того что они используются в более сложных БД в качестве индексов).

В то же время в обычной SQL-ной базе проекта порой "не хватает" такого общего K-V хранилища для разнородных (семантически) записей. В своих проектах я такую обычно завожу. Среди коллег этот подход порой вызывает негатив :)

Поясню ситуацию на примерах и попробую выписать "за и против" - а уважаемых знатоков приглашаю поделиться мнениями - особенно если у кого-то в схеме похожие таблички встречаются. Не для поиска несуществующей "истины", а ради дележа опытом и идеями.
Вперед, к примерам

Читать: https://habr.com/ru/articles/872568/

#ru

@database_design | Другие наши каналы
Фреймворки, меняющие игру: выбираем идеальный инструмент для ваших веб-проектов

Популярные фреймворки для веб-разработки. Показываем основные виды фреймворков. Рассматриваем пошаговую инструкцию по использованию Tproger

Читать: «Фреймворки, меняющие игру: выбираем идеальный инструмент для ваших веб-проектов»

#ru

@database_design | Другие наши каналы
Эксперимент по ускорению SQLite



SQLite быстра, но можно ли сделать её ещё быстрее? Исследователи из Университетов Хельсинки и Кембриджа задались этим вопросом и опубликовали работу Serverless Runtime / Database Co-Design With Asynchronous I/O. В ней они продемонстрировали возможность 100-кратного снижения времени задержки, и ниже я в общих чертах эту их работу прокомментирую.

Речь пойдёт об исследовании возможностей Limbo — переписанной на Rust версии SQLite.

Читать: https://habr.com/ru/companies/ruvds/articles/870400/

#ru

@database_design | Другие наши каналы
Эксперимент по ускорению SQLite



SQLite быстра, но можно ли сделать её ещё быстрее? Исследователи из Университетов Хельсинки и Кембриджа задались этим вопросом и опубликовали работу Serverless Runtime / Database Co-Design With Asynchronous I/O. В ней они продемонстрировали возможность 100-кратного снижения времени задержки, и ниже я в общих чертах эту их работу прокомментирую.

Речь пойдёт об исследовании возможностей Limbo — переписанной на Rust версии SQLite.

Читать: https://habr.com/ru/companies/ruvds/articles/870400/

#ru

@database_design | Другие наши каналы
Как поднять на виртуальном сервере собственную интернет-машину времени с помощью ArchiveBox

Всем привет, на связи PQ.Hosting! Меня зовут Игорь, начиная с 2024 года я работаю в техподдержке компании. А начиная с этого дня я еще буду писать для нашей нашей странички на Хабре ;)

И знаете, что я заметил за время работы? Многие считают, что виртуальный сервер или даже выделенный — это не очень интересно. Ну что максимум на нем можно сделать? Разместить интернет-магазин или любой другой сайт — так себе развлечение.

Поэтому я взял на себя задачу добавить немного рок-н-ролла и показать, что сервер — это на самом деле гигабайты свежей информации виртуальная техно-лаборатория интересных проектов, экспериментов и даже профессионального роста. Главное, чтобы под рукой был смартфон или компьютер с установленным openssh. И это все по цене пары кружек кофе в месяц.

В первом выпуске я расскажу о ArchiveBox — сервисе, который позволяет самостоятельно запустить аналог Wayback Machine.


Читать: https://habr.com/ru/articles/872836/

#ru

@database_design | Другие наши каналы
Конфигурирование алертов prometheus или как мы настраивали алерты для бизнес-метрик

В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles.

Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.


Читать: https://habr.com/ru/articles/873082/

#ru

@database_design | Другие наши каналы
Деградация организации заметок одного программиста

О ведении и организации заметок пишут книги, создают приложения и плагины, продают курсы. Кажется, все должно быть значительно проще. Я сознательно веду заметки более 15 лет, и хочу поделиться опытом.


Читать: https://habr.com/ru/articles/873132/

#ru

@database_design | Другие наши каналы
Сквозное шифрование в облаках. Уязвимости — во всех сервисах

В наше время большинство пользователей хранят файлы в том или ином облачном хранилище: Google Drive, Яндекс.Диск, Dropbox, OneDrive и т. д. Благодаря низкой стоимости такие сервисы очень популярны. Их аудитория оценивается более чем в 4 млрд человек, а объём хранимых данных — порядка экзабайта. Почти все провайдеры шифруют файлы на своих серверах. Но если сам провайдер скомпрометирован, такая система не обеспечивает никакой защиты.

Поэтому отдельные сервисы реализовали сквозное шифрование (E2EE), когда не сервер, а пользователь контролирует ключи шифрования.

В основном, эти сервисы предлагают услуги для коммерческих клиентов. Например, MEGA, Nextcloud, Sync, Tresorit, Seafile, Icedrive и pCloud. К сожалению, реальность далека от рекламных заявлений. Независимое исследование показало, что все перечисленные провайдеры страдают от уязвимостей и архитектурных изъянов.


Читать: https://habr.com/ru/companies/globalsign/articles/873138/

#ru

@database_design | Другие наши каналы
FastAPI и Vue.js 3: телеграм-бот с MiniApp для записи и автоматических уведомлений. Пишем бэкенд

Сегодня я рад представить новый масштабный проект, в рамках которого мы подробно рассмотрим технологии и подходы, ранее не освещенные в моих статьях.

На этот раз мы создадим телеграм-бота с MiniApp (ранее известным как WebApp) — это будет бот с интегрированным мини-сайтом прямо в Telegram. Для реализации проекта мы используем два основных фреймворка:

1. FastAPI — мощный Python-фреймворк, который мы задействуем для разработки API нашего телеграм-бота. Мы рассмотрим уникальный подход, позволяющий создать полноценный бэкенд, который будет закрывать как API-методы, так и функционал телеграм-бота.

2. Vue.js 3 — JavaScript-фреймворк, выбранный за его удобство разработки и возможности создания сложных визуальных элементов.

В этой статье мы сосредоточимся на описании бэкенда, а создание приложения на Vue.js 3 будет вынесено на следующую статью.


Читать: https://habr.com/ru/companies/amvera/articles/873108/

#ru

@database_design | Другие наши каналы
Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.


Читать: https://habr.com/ru/articles/873064/

#ru

@database_design | Другие наши каналы
MongoDB и будущее ритейла: итоги Shoptalk Fall 2024

Технологии меняют ритейл, стирая границы между онлайн и офлайн покупками. На Shoptalk Fall 2024 обсуждались ключевые тренды: унифицированная торговля, инновации на основе ИИ и повышение операционной эффективности. MongoDB Atlas помогает ритейлерам адаптироваться к этим изменениям и оставаться конкурентоспособными. 🔍 Омниканальные покупки: будущее ритейла

Сегодня покупатели ожидают удобства как в интернете, так и офлайн. BOPIS и доставка на дом становятся ключевыми. Исследования показывают рост доходов магазинов, внедривших омниканальные решения. Современные базы данных, такие как MongoDB, помогают ритейлерам преодолеть устаревшую инфраструктуру и обеспечить реальное удобство покупок.

Читать подробнее

#en

@database_design | Другие наши каналы