DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.34K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новые возможности наблюдения за AI с Langtrace и MongoDB
Langtrace AI совместно с MongoDB улучшает отслеживание и оптимизацию AI-приложений. Их инструмент на базе OpenTelemetry помогает разработчикам анализировать работу моделей и повышать эффективность через интеграцию с MongoDB Atlas Vector Search. Новый уровень потоковой обработки данных в MongoDB Atlas: внешние функции позволяют интегрировать AWS Lambda прямо в пайплайн, обогащая и трансформируя данные в реальном времени. Теперь бизнес-логика и AI-модель работают без лишних затрат на инфраструктуру. Новые возможности MongoDB Atlas позволяют обогащать потоки данных с помощью внешней логики, например AWS Lambda. Это повышает гибкость обработки и помогает внедрять расширенные сценарии, такие как диагностика устройств в реальном времени, персонализация и обнаружение мошенничества.

Читать подробнее

#en

@database_design | Другие наши каналы
Эффективное масштабирование векторного поиска в MongoDB Atlas с помощью автоматической квантизации и эмбеддингов Voyage AI позволяет ускорить поиск и снизить нагрузку на память, сохраняя качество результатов даже при миллионах данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Как квантование ускоряет AI-поиск в MongoDB

Квантование в MongoDB позволяет сократить использование памяти в 3-4 раза при сохранении точности поиска. Новый функционал интегрирует AWS Lambda для расширенной обработки данных, что улучшает скорость и качество AI-систем в реальном времени.

Читать подробнее

#en

@database_design | Другие наши каналы
1
Оптимизация индексов базы данных: проблемы, решения, практические рекомендации

Приложение тормозит. Пользователи в ярости. Продакшн-сервер гудит кулерами, а дашборды показывают красные пики. Первый инстинкт — звонить админам, требовать больше памяти и процессоров. Но чаще всего проблема не в железе. Она сидит глубже. В самом сердце системы — в базе данных. Имя этой проблемы — индексы. Или, точнее, их кривое использование.

Индекс — это как указатель в толстенном справочнике. Без него, чтобы найти нужный термин, вы обречены листать страницу за страницей. С ним — вы мгновенно открываете нужный раздел. Но что, если указатель сам размером с полкниги? Или ведет не туда? Такой помощник только вредит. С индексами в БД всё то же самое. Грамотная стратегия индексирования — это полет. Ошибочная — это бег в мешках по болоту.


Читать: https://habr.com/ru/articles/925008/

#ru

@database_design | Другие наши каналы
О мягких и жёстких ссылках в Linux

Ссылки в Linux — это мощный инструмент, позволяющий указывать путь к файлам и каталогам. Существует два основных типа ссылок: жёсткие ссылки и мягкие ссылки (вторые также известны как символические ссылки или симлинки). Понимание различий между этими двумя типами поможет вам эффективно управлять файловой системой.


Читать: https://habr.com/ru/companies/timeweb/articles/925150/

#ru

@database_design | Другие наши каналы
Системное мышление: когда разработчик становится архитектором

Что отличает архитектора от кодера? Не должность, не титул, не стаж.
Ответ - в мышлении. В том, кто видит систему целиком, предвидит цепные последствия и способен сказать "нет" быстрому решению, которое отравит код через полгода. Эта статья - честное и местами болезненное размышление о системном мышлении, архитектуре и точке невозврата, после которой разработчик уже не может смотреть на код по-старому.


Читать: https://habr.com/ru/articles/925354/

#ru

@database_design | Другие наши каналы
Плотнее, быстрее, дешевле: керамические накопители Cerabyte бросают вызов LTO

Объемы данных растут стремительно: к 2030 году, по прогнозам, мир накопит 175 зеттабайт информации. Компании ищут способы хранить эти массивы надежно, компактно и без лишних затрат. Ленточные хранилища LTO десятилетиями были стандартом для архивов, но их ограничения — короткий срок службы, медленный доступ и высокие расходы на обслуживание — становятся всё заметнее. Немецкая компания Cerabyte предлагает альтернативу: керамические накопители, записывающие данные фемтосекундными лазерами. Их технология обещает большую емкость, высокую скорость и стоимость ниже, чем у LTO. Сейчас цель — стать конкурентом лент к 2030 году. В статье разберем, что за технология, какие у нее возможности и проблемы.


Читать: https://habr.com/ru/companies/selectel/articles/925326/

#ru

@database_design | Другие наши каналы
Тестирование упрощенного Личного кабинета банка (Postman, dBeaver, MySQL, DevTools)

Всем привет! Сегодня хочу рассказать, как можно протестировать Личный кабинет банка с помощью Postman, на примере простого Веб-приложения. Будет проверено: создание пользователя, авторизация, отображение продуктов клиента в Личном кабинете, подача заявки на потребительский кредит и отображение результатов ее рассмотрения в ЛК. Приступим

Было разработано небольшое Веб-приложение на Node.js. После запуска приложения и открытия его на локальной машине по адресу - http://localhost:5000/, на странице отображается форма входа в Личный кабинет.


Читать: https://habr.com/ru/articles/925378/

#ru

@database_design | Другие наши каналы
VPS сервер по цене пачки чипсов: обзор самых дешёвых тарифов российских хостеров

Привет, Хабр! Однажды я проводил небольшое тестирование виртуалок различных хостер-провайдеров и сравнивал их между собой — оказывается, с тех пор прошло уже аж пять лет. Ну и в том тестировании условия у всех серверов были одинаковые, т. к. тестировались сходные конфигурации.

Сегодня хотел бы рассказать о том, как себя ведут самые дешёвые (в ценовом диапазоне от 100 до 300 рублей) предложения от популярных хостеров.


Читать: https://habr.com/ru/articles/925594/

#ru

@database_design | Другие наши каналы
Современные подходы «из текста в SQL»: RAG, CoT и другие хитрости

Как превратить текст «Сколько было продано камер в прошлом месяце?» в осмысленный SQL‑запрос? Это и есть задача text‑to‑SQL (ее ещё называют NL2SQL). Для многих компаний сейчас очень важна возможность задавать вопросы к данным обычным языком, без изучения SQL. Для этой задачи написаны десятки инструментов, но суть одна — генерация корректного запроса из фразы на человеческом языке.

Требование проясняется примером: бизнес‑пользователь хочет узнать: «Какие топ-5 товаров по выручке за вчерашний день?» — а система превращает это в SELECT product, SUM(revenue) ... LIMIT 5 и выдаёт результат. До недавнего времени требовались сложные пайплайны или ручное кодирование, а сейчас на сцене — большие языковые модели (LLM) и всякие прокачанные методы достучаться до них.

В этой статье мы пробежимся по ретро‑ и ультрасовременным подходам к text‑to‑SQL. Плюс обзору добавим практических инсайтов.


Читать: https://habr.com/ru/companies/bothub/articles/925632/

#ru

@database_design | Другие наши каналы
DWH без иллюзий. Три реальных кейса внедрения корпоративного хранилища в ритейле, производстве и госсекторе

Проект построения хранилища данных — это не просто внедрение технологий, а глубокая трансформация подходов к данным и аналитике, учитывающая текущее состояние процессов, стратегические цели, ресурсы и компетенции команды.

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе


Читать: https://habr.com/ru/articles/925652/

#ru

@database_design | Другие наши каналы
Как настроить синхронизацию в Obsidian с помощью S3

Привет, Хабр!

Я из тех людей, которые любят записывать важные моменты, чтобы снизить уровень тревожности и ничего не забыть. При попытке завести электронное хранилище я столкнулась с множеством проблем: какие-то приложения ушли из России, для каких-то требуются иностранные карты или пришлось бы смириться с отсутствием синхронизации информации на ноутбуках и смартфоне.

Но я нашла решение. И в этой статье хочу поделиться своей историей перехода на электронную базу личных заметок Obsidian. Расскажу, почему выбрала этот сервис и как синхронизировала несколько устройств между собой.


Читать: https://habr.com/ru/companies/selectel/articles/924922/

#ru

@database_design | Другие наши каналы
Excel уже не тянет: как мы собрали аналитику для LMS на 10 млн строк без дата-инженеров

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разных технологический стек.

Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена.

В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в LMS-платформе и к чему это привело.


Читать: https://habr.com/ru/articles/925668/

#ru

@database_design | Другие наши каналы
Топ LLM для задач text‑to‑SQL: результаты теста DeepSeek R1-0528, Gemini 2.5 Pro, o3 (и ещё трёх моделей)

В первой части мы разобрали теорию text‑to‑SQL: как LLM заменяют разработчиков, почему RAG и CoT спасают от галлюцинаций и зачем Scale AI дообучает ChatGPT-4. Но теория неполна без практики! В этом материале — жёсткое тестирование моделей (ChatGPT o3-mini‑high, ChatGPT 4.1, Claude Sonnet 4, ChatGPT o3, Gemini 2.5 Pro, DeepSeek R1–0528) на бенчмарке LiveSQLBench.

6 моделей, 10 задач, сложность от ★★ до ★★★★★★★★★★. Проверим, как они считают лунные помехи, генерируют SQL для криптобирж и ищут артефакты в музеях.


Читать: https://habr.com/ru/companies/bothub/articles/925712/

#ru

@database_design | Другие наши каналы
Реальное обнаружение угроз с MongoDB и PuppyGraph
Статья рассказывает, как с помощью MongoDB и PuppyGraph можно в реальном времени анализировать данные AWS CloudTrail, выявляя сложные цепочки атак и подозрительную активность без дублирования данных и дополнительных баз. Это новый подход к кибербезопасности на основе графового анализа. Новые возможности MongoDB Atlas Stream Processing: с помощью $externalFunction теперь можно интегрировать AWS Lambda в потоковые пайплайны для обогащения и трансформации данных в реальном времени. Это упрощает создание гибких и масштабируемых решений без дополнительной инфраструктуры. Почему реляционные базы данных обходятся дорого бизнесу

Реляционные БД сложны в поддержке из-за множества взаимосвязанных таблиц и фиксированной схемы. Это увеличивает затраты на разработку, инфраструктуру и управление. MongoDB предлагает альтернативу с гибкой моделью документов, ускоряющей разработку и снижая расходы.

Читать подробнее

#en

@database_design | Другие наши каналы
Почему реляционные базы данных обходятся дорого бизнесу? Нормализация данных усложняет структуру, замедляет разработку и требует больше ресурсов. В статье объясняется, как более гибкая модель MongoDB снижает затраты, ускоряет работу и упрощает поддержку приложений. Как graph-аналитика помогает выявлять киберугрозы в реальном времени

Статья рассказывает, как интеграция MongoDB и PuppyGraph позволяет анализировать журналы AWS CloudTrail в виде графа без дублирования данных, выявляя сложные цепочки атак и подозрительную активность с помощью эффективных запросов. Графовый анализ AWS CloudTrail с MongoDB Atlas и PuppyGraph
Статья рассказывает, как импортировать CloudTrail логи в MongoDB Atlas, создать графовую модель через PuppyGraph и выполнять запросы для изучения безопасности. Это помогает визуализировать и анализировать взаимодействия пользователей и ресурсов в облаке.

Читать подробнее

#en

@database_design | Другие наши каналы
DWH без иллюзий. Три реальных кейса внедрения корпоративного хранилища в ритейле, производстве и госсекторе

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе


Читать: https://habr.com/ru/articles/925652/

#ru

@database_design | Другие наши каналы
Новая опция Oracle — Autonomous Database теперь доступна в AWS через OCI Multicloud. Это упрощает развертывание и управление базами данных Oracle в облаке AWS, сочетая преимущества обеих платформ. Подробнее о возможностях Oracle Database@AWS в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз Oracle Key Vault 21.11 предлагает улучшенную безопасность и управление ключами. Обновление расширяет функционал для защиты данных и упрощает администрирование, обеспечивая надежную защиту корпоративных информационных активов. Подробнее в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
От капитального ЦОДа к гибкому модулю: куда идёт российская ИТ-инфраструктура

В марте 2025 года Sitronics Group опубликовала прогноз: к 2030 году рынок модульных дата-центров в России вырастет в 2,5 раза — с текущих 1,5–2 до 4,3 млрд рублей. Среди причин называют нехватку мощностей, рост нагрузки на ИТ-инфраструктуру и смещение приоритетов на гибкость и скорость развёртывания.

Несмотря на малую распространенность, модульные ЦОДы уже работают на добыче, в госсекторе, у ритейлеров и телекомов. Их ставят не ради моды — а потому что быстро, изолированно и под контроль.

В статье расскажу, что стоит за цифрами, какие технологии двигают сегмент, где уже применяют МЦОДы и почему их развитие упирается не в «железо», а в нормативку и логистику.


Читать: https://habr.com/ru/companies/ruvds/articles/924816/

#ru

@database_design | Другие наши каналы
Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 1

Не секрет, что в последние годы различные компании достаточно часто принимают решение о миграции работающей информационной системы с Firebird на PostgreSQL.

Типичная ситуация выглядит так:

Проект работает несколько лет. Заказчик "верит", что проблема не в проекте, а в СУБД. Firebird – "плохая" СУБД.


Читать: https://habr.com/ru/articles/926094/

#ru

@database_design | Другие наши каналы