DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.34K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как стартап Ojje меняет обучение чтению с помощью технологии MongoDB

Ojje создал адаптивную платформу для обучения чтению с 15 уровнями сложности и поддержкой английского и испанского языков. Партнёрство с MongoDB помогает быстро развиваться и персонализировать обучение детей. Включение AWS Lambda в MongoDB Atlas Stream Processing позволяет в реальном времени обогащать данные и выполнять внешнюю логику, например, диагностику устройств. Такой подход повышает гибкость и эффективность обработки потоков прямо в облаке.

Читать подробнее

#en

@database_design | Другие наши каналы
Новая функция MongoDB Atlas Stream Processing позволяет интегрировать AWS Lambda прямо в потоковые данные. Это открывает возможности для обогащения, валидации и трансформации информации в реальном времени без дополнительной инфраструктуры. Идеально для умных событийных приложений. Как MongoDB и AWS Lambda помогают анализировать данные в реальном времени

В статье рассказывается, как с помощью внешних функций MongoDB Atlas и AWS Lambda можно обогащать потоки данных, например, проводить диагностику солнечных устройств в режиме реального времени и сохранять результаты для последующего анализа.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB против FerretDB: борьба за честную конкуренцию

MongoDB обвиняет FerretDB в неправомерном использовании патентов и вводящих в заблуждение заявлениях о совместимости. Компания заявляет, что FerretDB копирует технологии MongoDB, выдавая себя за полную замену базе данных. Мониторинг и диагностика солнечных устройств в реальном времени с помощью AWS Lambda и MongoDB Atlas. В статье показано, как через внешние функции обогащать поток данных, применять аналитику и сохранять результат для создания дашбордов и оповещений.

Читать подробнее

#en

@database_design | Другие наши каналы
Защитите AI-решения с MongoDB Atlas и Enkrypt AI
Партнёрство MongoDB и Enkrypt AI помогает надёжно обезопасить RAG-рабочие процессы, блокируя вредоносные данные на входе и обеспечивая контроль качества данных. Это ключ к безопасному масштабированию и доверию к генеративному ИИ. Умное потоковое преобразование данных с помощью MongoDB Atlas и AWS Lambda

Статья рассказывает, как с помощью внешних функций в MongoDB Atlas можно обогатить поток данных, вызывая AWS Lambda для диагностики и обработки событий в реальном времени, что повышает эффективность и гибкость аналитики.

Читать подробнее

#en

@database_design | Другие наши каналы
Новая функция в MongoDB Atlas Stream Processing — Session Windows, которая группирует события по сессиям на основе активности пользователей. Это упрощает анализ поведения и улучшает рекомендации, автоматически закрывая сессии после заданного периода бездействия. Подробнее об этом нововведении. Новый Data Explorer в MongoDB Atlas теперь доступен в виде отдельной вкладки с интерфейсом, похожим на MongoDB Compass. Это облегчает работу с данными в браузере, объединяя доступ к нескольким кластерам и расширяя возможности запросов и анализа. Умное потоковое обработка с внешней логикой: MongoDB Atlas теперь позволяет подключать AWS Lambda для диагностики устройств в реальном времени. Данные автоматически обогащаются и сохраняются в базе, что открывает новые возможности для анализа и расширения применения.

Читать подробнее

#en

@database_design | Другие наши каналы
Нативная поддержка шифрования в Mongoose 8.15.0
Обновление Mongoose 8.15.0 добавляет встроенную поддержку MongoDB Queryable Encryption и Client-Side Field Level Encryption. Это упрощает создание защищённых моделей с автоматическим шифрованием прямо в схемах, без сложных настроек. Теперь безопасность данных проще интегрируется в проекты с MongoDB. Новые возможности MongoDB Atlas Stream Processing: теперь можно вызывать AWS Lambda функции прямо в потоках данных. Это позволяет обогащать и обрабатывать события в реальном времени, интегрируя внешнюю логику без сложных доработок. Идеально для масштабируемых event-driven систем. Мониторинг солнечных устройств в реальном времени с MongoDB Atlas и AWS Lambda. В статье показано, как потоковая обработка данных с внешней логикой позволяет диагностировать параметры устройств и сохранять результаты с статусом и комментариями для анализа.

Читать подробнее

#en

@database_design | Другие наши каналы
Новая эра управления продуктами с Luna AI и MongoDB: AI объединяет данные из Jira и Slack, помогая быстрее принимать решения и снижать рутину. В MongoDB Atlas теперь доступна поддержка AWS Lambda для обработки и трансформации потоковых данных в реальном времени.

Читать подробнее

#en

@database_design | Другие наши каналы
Как стать успешным solutions architect: опыт специалиста из MongoDB

Роль решения архитектора — это не только глубокие технические знания, но и умение понимать бизнес-задачи клиентов, выстраивать доверие и работать в команде. Важно слушать, адаптироваться и строить долгосрочные отношения. Как искусственный интеллект меняет разработку ПО

AI меняет правила игры: приложения становятся адаптивными, учатся и принимают решения в реальном времени. Для успеха нужна современная, гибкая база данных, способная работать с разными данными и быстро обрабатывать информацию. Без правильной инфраструктуры AI не раскроет потенциал. Умный обработчик потоков в MongoDB Atlas

В статье рассказывается, как с помощью AWS Lambda можно в реальном времени анализировать данные устройств и сохранять результаты в MongoDB. Это улучшает мониторинг и открывает новые возможности для обработки и обогащения данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности наблюдения за AI с Langtrace и MongoDB
Langtrace AI совместно с MongoDB улучшает отслеживание и оптимизацию AI-приложений. Их инструмент на базе OpenTelemetry помогает разработчикам анализировать работу моделей и повышать эффективность через интеграцию с MongoDB Atlas Vector Search. Новый уровень потоковой обработки данных в MongoDB Atlas: внешние функции позволяют интегрировать AWS Lambda прямо в пайплайн, обогащая и трансформируя данные в реальном времени. Теперь бизнес-логика и AI-модель работают без лишних затрат на инфраструктуру. Новые возможности MongoDB Atlas позволяют обогащать потоки данных с помощью внешней логики, например AWS Lambda. Это повышает гибкость обработки и помогает внедрять расширенные сценарии, такие как диагностика устройств в реальном времени, персонализация и обнаружение мошенничества.

Читать подробнее

#en

@database_design | Другие наши каналы
Эффективное масштабирование векторного поиска в MongoDB Atlas с помощью автоматической квантизации и эмбеддингов Voyage AI позволяет ускорить поиск и снизить нагрузку на память, сохраняя качество результатов даже при миллионах данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Как квантование ускоряет AI-поиск в MongoDB

Квантование в MongoDB позволяет сократить использование памяти в 3-4 раза при сохранении точности поиска. Новый функционал интегрирует AWS Lambda для расширенной обработки данных, что улучшает скорость и качество AI-систем в реальном времени.

Читать подробнее

#en

@database_design | Другие наши каналы
1
Оптимизация индексов базы данных: проблемы, решения, практические рекомендации

Приложение тормозит. Пользователи в ярости. Продакшн-сервер гудит кулерами, а дашборды показывают красные пики. Первый инстинкт — звонить админам, требовать больше памяти и процессоров. Но чаще всего проблема не в железе. Она сидит глубже. В самом сердце системы — в базе данных. Имя этой проблемы — индексы. Или, точнее, их кривое использование.

Индекс — это как указатель в толстенном справочнике. Без него, чтобы найти нужный термин, вы обречены листать страницу за страницей. С ним — вы мгновенно открываете нужный раздел. Но что, если указатель сам размером с полкниги? Или ведет не туда? Такой помощник только вредит. С индексами в БД всё то же самое. Грамотная стратегия индексирования — это полет. Ошибочная — это бег в мешках по болоту.


Читать: https://habr.com/ru/articles/925008/

#ru

@database_design | Другие наши каналы
О мягких и жёстких ссылках в Linux

Ссылки в Linux — это мощный инструмент, позволяющий указывать путь к файлам и каталогам. Существует два основных типа ссылок: жёсткие ссылки и мягкие ссылки (вторые также известны как символические ссылки или симлинки). Понимание различий между этими двумя типами поможет вам эффективно управлять файловой системой.


Читать: https://habr.com/ru/companies/timeweb/articles/925150/

#ru

@database_design | Другие наши каналы
Системное мышление: когда разработчик становится архитектором

Что отличает архитектора от кодера? Не должность, не титул, не стаж.
Ответ - в мышлении. В том, кто видит систему целиком, предвидит цепные последствия и способен сказать "нет" быстрому решению, которое отравит код через полгода. Эта статья - честное и местами болезненное размышление о системном мышлении, архитектуре и точке невозврата, после которой разработчик уже не может смотреть на код по-старому.


Читать: https://habr.com/ru/articles/925354/

#ru

@database_design | Другие наши каналы
Плотнее, быстрее, дешевле: керамические накопители Cerabyte бросают вызов LTO

Объемы данных растут стремительно: к 2030 году, по прогнозам, мир накопит 175 зеттабайт информации. Компании ищут способы хранить эти массивы надежно, компактно и без лишних затрат. Ленточные хранилища LTO десятилетиями были стандартом для архивов, но их ограничения — короткий срок службы, медленный доступ и высокие расходы на обслуживание — становятся всё заметнее. Немецкая компания Cerabyte предлагает альтернативу: керамические накопители, записывающие данные фемтосекундными лазерами. Их технология обещает большую емкость, высокую скорость и стоимость ниже, чем у LTO. Сейчас цель — стать конкурентом лент к 2030 году. В статье разберем, что за технология, какие у нее возможности и проблемы.


Читать: https://habr.com/ru/companies/selectel/articles/925326/

#ru

@database_design | Другие наши каналы
Тестирование упрощенного Личного кабинета банка (Postman, dBeaver, MySQL, DevTools)

Всем привет! Сегодня хочу рассказать, как можно протестировать Личный кабинет банка с помощью Postman, на примере простого Веб-приложения. Будет проверено: создание пользователя, авторизация, отображение продуктов клиента в Личном кабинете, подача заявки на потребительский кредит и отображение результатов ее рассмотрения в ЛК. Приступим

Было разработано небольшое Веб-приложение на Node.js. После запуска приложения и открытия его на локальной машине по адресу - http://localhost:5000/, на странице отображается форма входа в Личный кабинет.


Читать: https://habr.com/ru/articles/925378/

#ru

@database_design | Другие наши каналы
VPS сервер по цене пачки чипсов: обзор самых дешёвых тарифов российских хостеров

Привет, Хабр! Однажды я проводил небольшое тестирование виртуалок различных хостер-провайдеров и сравнивал их между собой — оказывается, с тех пор прошло уже аж пять лет. Ну и в том тестировании условия у всех серверов были одинаковые, т. к. тестировались сходные конфигурации.

Сегодня хотел бы рассказать о том, как себя ведут самые дешёвые (в ценовом диапазоне от 100 до 300 рублей) предложения от популярных хостеров.


Читать: https://habr.com/ru/articles/925594/

#ru

@database_design | Другие наши каналы
Современные подходы «из текста в SQL»: RAG, CoT и другие хитрости

Как превратить текст «Сколько было продано камер в прошлом месяце?» в осмысленный SQL‑запрос? Это и есть задача text‑to‑SQL (ее ещё называют NL2SQL). Для многих компаний сейчас очень важна возможность задавать вопросы к данным обычным языком, без изучения SQL. Для этой задачи написаны десятки инструментов, но суть одна — генерация корректного запроса из фразы на человеческом языке.

Требование проясняется примером: бизнес‑пользователь хочет узнать: «Какие топ-5 товаров по выручке за вчерашний день?» — а система превращает это в SELECT product, SUM(revenue) ... LIMIT 5 и выдаёт результат. До недавнего времени требовались сложные пайплайны или ручное кодирование, а сейчас на сцене — большие языковые модели (LLM) и всякие прокачанные методы достучаться до них.

В этой статье мы пробежимся по ретро‑ и ультрасовременным подходам к text‑to‑SQL. Плюс обзору добавим практических инсайтов.


Читать: https://habr.com/ru/companies/bothub/articles/925632/

#ru

@database_design | Другие наши каналы
DWH без иллюзий. Три реальных кейса внедрения корпоративного хранилища в ритейле, производстве и госсекторе

Проект построения хранилища данных — это не просто внедрение технологий, а глубокая трансформация подходов к данным и аналитике, учитывающая текущее состояние процессов, стратегические цели, ресурсы и компетенции команды.

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе


Читать: https://habr.com/ru/articles/925652/

#ru

@database_design | Другие наши каналы
Как настроить синхронизацию в Obsidian с помощью S3

Привет, Хабр!

Я из тех людей, которые любят записывать важные моменты, чтобы снизить уровень тревожности и ничего не забыть. При попытке завести электронное хранилище я столкнулась с множеством проблем: какие-то приложения ушли из России, для каких-то требуются иностранные карты или пришлось бы смириться с отсутствием синхронизации информации на ноутбуках и смартфоне.

Но я нашла решение. И в этой статье хочу поделиться своей историей перехода на электронную базу личных заметок Obsidian. Расскажу, почему выбрала этот сервис и как синхронизировала несколько устройств между собой.


Читать: https://habr.com/ru/companies/selectel/articles/924922/

#ru

@database_design | Другие наши каналы
Excel уже не тянет: как мы собрали аналитику для LMS на 10 млн строк без дата-инженеров

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разных технологический стек.

Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена.

В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в LMS-платформе и к чему это привело.


Читать: https://habr.com/ru/articles/925668/

#ru

@database_design | Другие наши каналы