DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле

Всем привет! Меня зовут Костя, и в этой статье я продолжу рассказ моей коллеги Анастасии из команды доступности Magnit Tech о том, как можно искать проблемные товары на полках магазинов, опираясь лишь на данные по дневным продажам и остаткам товара в магазине.

В этой статье я расскажу о другом, альтернативном алгоритме, который детектирует ощутимую долю проблемных позиций наравне с тем, о котором рассказывала моя коллега. Этот алгоритм также прост для понимания и интерпретации бизнесом. Его внедрение и эксплуатация требуют минимальных затрат: вычислительные ресурсы, сопровождение и адаптация под разные форматы магазинов обходятся недорого. Кроме того, он может служить эффективным первым шагом перед внедрением более сложных и ресурсоемких ML-алгоритмов. В отличие от нейросетевых подходов к поиску аномалий, которые требуют тщательной настройки (или даже разработки) оптимальной архитектуры сети, настроить этот алгоритм значительно проще.


Читать: https://habr.com/ru/companies/magnit/articles/918928/

#ru

@database_design | Другие наши каналы
Как мы автоматизировали обновление, развёртывание и настройку Postgres-like СУБД для пользователей

Привет, Хабр! Меня зовут Роман Аминов, я руковожу группой автоматизации бизнес-сценариев в команде СУБД Pangolin в СберТехе. Это специальная доработанная сборка PostgreSQL, целевая СУБД в Сбере и не только. СУБД — сложный продукт, обновление, настройка и другие рутинные действия, связанные с её сопровождением, сопряжены с риском потери данных. Чтобы облегчить жизнь пользователям (и вдобавок разгрузить нашу техподдержку) мы разработали инструмент для автоматизации кластеров СУБД, их настройки и конфигурирования, обновления версий компонентов в их составе и обслуживание. Решение уже прошло проверку на тысячах кластеров в Сбере и я готов поделиться тем, как всё это работает.

Уточню, что мы используем систему управления конфигурациями Ansible. Всё, что нужно для её работы — это возможность устанавливать SSH-соединения и Python на удалённых серверах.

Надеюсь, статья будет полезна или натолкнёт на свои мысли автоматизаторов и администраторов СУБД и вообще всех, кто связан с базами данных.


Читать: https://habr.com/ru/companies/sberbank/articles/919922/

#ru

@database_design | Другие наши каналы
Развёртывание отказоустойчивого Nextcloud Enterprise: пошаговое руководство

Привет! Сегодня поговорим о Nextcloud. Вы наверняка слышали об этом мощном решении для хранения, совместной работы и обмена файлами. В статье разберём, как развернуть Nextcloud в высокодоступной конфигурации с балансировщиком нагрузки, реплицируемой базой данных, отказоустойчивым хранилищем и полнотекстовым поиском.


Читать: https://habr.com/ru/companies/cloud4y/articles/920596/

#ru

@database_design | Другие наши каналы
Qsan: репликация средствами СХД

Важным аспектом при построении IT-инфраструктуры любой сложности является ее устойчивость к различным инцидентам. К сожалению, полностью исключить ошибки, вызванные аппаратной или программной неисправностью, а также человеческими действиями (случайными или преднамеренными), увы, невозможно. Поэтому всегда необходимо иметь четко отработанный план по восстановлению. Раз мы ведем речь в контексте использования СХД, то наиболее уязвимыми здесь являются как раз хранимые на ней данные.


Читать: https://habr.com/ru/companies/skilline/articles/918912/

#ru

@database_design | Другие наши каналы
Как превратить бизнес-требования в эффективную схему БД без жертв

Научимся превращать бизнес-требования в рабочую схему БД и документировать ключевые решения! Без недопонимания, технического долга и смс.


Читать: https://habr.com/ru/articles/920916/

#ru

@database_design | Другие наши каналы
Jay Knowledge Hub: от прототипа до промышленного PaaS создания баз знаний полного цикла

Привет, Хабр! Меня зовут Никита, я руководитель команды разработки умного поиска на основе генеративного AI в Just AI. В этой статье я расскажу о нашем опыте в умный поиск — как от mvp RAG-сервиса для Q&A бота нашей службы поддержки мы пришли к облачной платформе Jay Knowledge Hub (сокращенно KHUB), которая помогает нашим клиентам автоматизировать поиск по различным источникам знаний.


Читать: https://habr.com/ru/companies/just_ai/articles/920966/

#ru

@database_design | Другие наши каналы
Профессор Маргарет Мензин из Simmons University обновила курс по базам данных, внедрив MongoDB и NoSQL. Она создала активное студенческое сообщество и подготовила будущих специалистов, сочетая теорию и практику для реальных проектов и карьерного успеха. Создаем ИИ с когнитивной памятью, которая забывает с целью и помнит с умом. Система на базе MongoDB Atlas, AWS Bedrock и Claude оценивает значимость информации, укрепляет важные знания и предоставляет контекстно релевантные ответы. Это шаг к более естественному ИИ. Искусственный интеллект с когнитивной памятью учится запоминать важное, избегая повторных вопросов и улучшая взаимодействие с пользователем. Такая система формирует связи между понятиями, снижает затраты на обработку и адаптируется со временем, приближая AI к человеческой памяти.

Читать подробнее

#en

@database_design | Другие наши каналы
Как сделать свой первый сайт на HTML и CSS: пошаговая инструкция

Как сделать на HTML и CSS. Показываем, какими навыками нужно обладать для создания сайтов. Рассматриваем пошаговую инструкцию и основные нюансы Tproger

Читать: «Как сделать свой первый сайт на HTML и CSS: пошаговая инструкция»

#ru

@database_design | Другие наши каналы
MariaDB внедрила Vector Embedded Search — новую функцию для хранения и поиска векторных данных рядом с транзакционной информацией. Это позволяет создавать более умные приложения, использующие искусственный интеллект, напрямую работая с вашими данными. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы
Как заставить вашу базу данных летать, а не ползать. Часть 2 – когда репликации недостаточно и пора использовать шардинг

Всем привет! На связи снова Илья Криволапов — системный аналитик в SENSE, где мы трудимся на проекте одного из цветных банков РФ. Работаю в профессии уже пятый год и, несмотря на мою фамилию, с продом у нас в целом тёплые отношения.

Помимо боевых задач, я преподаю курс «Хранение и обработка больших объемов данных» и за это время накопил немало практических кейсов и наблюдений. Всё это добро я решил не держать при себе и собрал самое полезное в виде ультимативного гайда по оптимизации и грамотному проектированию баз данных с расчетом на масштабирование, который сейчас публикую на Хабре.

Цикл состоит из 3 частей. В первой мы обсудили два базовых подхода к масштабированию БД: вертикальный и горизонтальный. Поговорили о плюсах, минусах и о том, как делать точно не стоит.

Во второй части – то есть сейчас – мы нырнём глубже в мир горизонтального масштабирования и разберем три первых способа шардирования: по диапазону, по хэшу и по географическим зонам. Я расскажу, как каждый из них работает, где пригодится и в каких случаях может дать сбой.

Материал по-прежнему будет полезен всем, кто заботится о «здоровье» базы данных: DBA, архитекторам, DevOps-инженерам, аналитикам и разработчикам.

Готовы продолжать? Тогда поехали!


Читать: https://habr.com/ru/companies/it_sense/articles/920344/

#ru

@database_design | Другие наши каналы
Как AI меняет классику: MongoDB ускоряет модернизацию старых систем с помощью ИИ-моделей. Теперь масштабные проекты, что раньше занимали годы, решаются за недели, а команды создают инновации быстрее, благодаря уникальному подходу MongoDB и передовым AI-технологиям. Оптимизация Drupal с MongoDB

Статья рассказывает, как использование MongoDB помогает ускорить Drupal для сайтов с большим числом авторизованных пользователей. MongoDB облегчает хранение данных, повышая производительность и масштабируемость, что становится ключом к будущему развитию Drupal.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности Spring Data MongoDB: теперь поддержка векторного поиска и шифрования данных. Версия 4.5.0 облегчает работу с векторными индексами и Queryable Encryption, повышая безопасность и эффективность AI-приложений на Java с MongoDB. Как человек запоминает важное? Новый подход к AI-памяти имитирует работу мозга — система выделяет значимую, полезную информацию, объединяет её и «забывает» менее важное. Это позволяет создавать AI, который «помнит» как человек, улучшая качество общения и сокращая повторения. Преподаватель в Simmons University использует MongoDB для обучения студентов работе с современными базами данных. В курсах студенты занимаются реальными проектами и получают навыки, востребованные на рынке труда, что помогает им успешно строить карьеру в IT.

Читать подробнее

#en

@database_design | Другие наши каналы
Конструктор шины PCIe

Приводится решение для снятия ограничений на количество дисков и контроллеров шины PCIe, подключаемых к материнской плате. В качестве примера взят компактный компьютер, у которого для подключения дополнительных дисков доступен только один M.2


Читать: https://habr.com/ru/companies/3rdman/articles/921130/

#ru

@database_design | Другие наши каналы
Когда может быть полезно сэмплирование в pg_stat_statements?

pg_stat_statements — стандартное расширение PostgreSQL для сбора статистики выполнения SQL-запросов. Статистика позволяет анализировать поведение запросов во времени, выявлять проблемные участки и принимать обоснованные решения по оптимизации. Однако в системах с высокой конкуренцией pg_stat_statements само по себе может стать узким местом и вызывать просадки производительности. В этой статье разбираем, в каких сценариях расширение становится источником проблем, как устроено сэмплирование и в каких случаях его применение позволяет снизить накладные расходы.


Читать: https://habr.com/ru/companies/tantor/articles/919592/

#ru

@database_design | Другие наши каналы
MongoDB и deepset упрощают создание AI-приложений

MongoDB и deepset объединили усилия, чтобы упростить разработку AI-приложений с использованием RAG и MongoDB Atlas Vector Search. Это ускоряет создание масштабируемых, гибких и безопасных решений для различных отраслей. Новые возможности Spring Data MongoDB 4.5.0: поддержка векторного поиска и шифрования данных. Теперь разработчики могут создавать векторные индексы и выполнять семантический поиск, а также безопасно работать с зашифрованными полями — всё удобно в интеграции с Spring.

Читать подробнее

#en

@database_design | Другие наши каналы
Векторный поиск внутри PostgreSQL: что умеет и где может пригодиться pgvector

Итак, ваш проект вырос и вам потребовалась новая функциональность, будь то рекомендательный движок, база знаний или автоматизированная первая линия техподдержки. Для всего этого можно использовать векторный и/или семантический поиск, а также интегрировать в проект LLM. Поздравляю — теперь вам нужно еще и хранить embedding-векторы, а также искать по ним ближайшие объекты. Решений два: внешняя векторная БД или интеграция всего этого богатства в существующий стек. Второй путь проще на старте, немного быстрее и обычно дешевле — разумеется, если вы уже используете PostgreSQL.

Привет, Хабр! Меня зовут Александр Гришин, я отвечаю за развитие продуктов хранения данных в Selectel: облачных баз данных и S3-хранилища. В этой статье я расскажу о pgvector — расширении для PostgreSQL, которое позволяет добавить векторный поиск без внешних сервисов, пересборки архитектуры и большого количества работы. Материал пригодится продуктовым командам, архитекторам, бэкенд-разработчикам и инженерам данных.

Читать: https://habr.com/ru/companies/selectel/articles/920824/

#ru

@database_design | Другие наши каналы
Почему в бюджете ЦОДа лидирует статья «электричество»

Если кто-то ещё думает, что дата-центр — это про стойки, клауд и «пятую зону отказоустойчивости», стоит посмотреть на его платёжку за свет. В реальности ЦОД — это про энергетику: большинство современных ЦОДов потребляют мегаватты ежедневно, и именно за киловатты приходится платить больше всего.

Даже если ИТ-нагрузка у вас составляет 1 мегаватт, реальное потребление ЦОДа будет 1,5–2 МВт — в зависимости от архитектуры. И пока стоимость железа и лицензий списывается по амортизации, электричество капает в счёт каждый час. День за днём. Год за годом.

Эта статья — про то, почему энергия дороже всего, как устроено энергопотребление дата-центров и почему архитектурные решения, режимы охлаждения и плотность стоек в итоге превращаются в рубли.


Читать: https://habr.com/ru/companies/ruvds/articles/920100/

#ru

@database_design | Другие наши каналы
👎1
Зачем бизнесу управляемые базы данных в облаке

Выкатили новый проект. База — на PostgreSQL. Все работает. DBA в штате нет, база крутится на виртуалке, обновления никто не трогал, мониторинга нет. И вот ночь, все падает. Начинается экстренный чат, поиск багов, попытки восстановиться из бэкапа… если он вообще был.

Так случается, когда инфраструктура и сопровождение баз данных остаются на совести команды разработки. Чтобы избежать этого, все чаще используются управляемые СУБД в облаке — сервисы, где ключевые задачи закрываются автоматически или силами провайдера.

На связи продуктовая команда РТК-ЦОД, и в этой статье мы расскажем, как устроены облачные базы и зачем они бизнесу.


Читать: https://habr.com/ru/companies/rt-dc/articles/921408/

#ru

@database_design | Другие наши каналы
Зачем бизнесу управляемые базы данных в облаке

Выкатили новый проект. База — на PostgreSQL. Все работает. DBA в штате нет, база крутится на виртуалке, обновления никто не трогал, мониторинга нет. И вот ночь, все падает. Начинается экстренный чат, поиск багов, попытки восстановиться из бэкапа… если он вообще был.

Так случается, когда инфраструктура и сопровождение баз данных остаются на совести команды разработки. Чтобы избежать этого, все чаще используются управляемые СУБД в облаке — сервисы, где ключевые задачи закрываются автоматически или силами провайдера.

На связи продуктовая команда РТК-ЦОД, и в этой статье мы расскажем, как устроены облачные базы и зачем они бизнесу.


Читать: https://habr.com/ru/companies/rt-dc/articles/921408/

#ru

@database_design | Другие наши каналы
MongoDB Atlas CLI теперь полностью покрывает все возможности Administration API. Новые функции появляются быстрее, а управление через командную строку стало удобнее и надежнее, включая автоматическую аутентификацию и мониторинг долгих операций с помощью параметра --watch. Новое сотрудничество MongoDB и deepset ускорит создание интеллектуальных AI-приложений с высокой точностью и производительностью. С интеграцией MongoDB Atlas Vector Search и RAG-технологией от deepset разработчики смогут быстрее запускать умные чат-боты и автоматизацию в разных отраслях.

Читать подробнее

#en

@database_design | Другие наши каналы
Улучшение релевантности поиска в MongoDB Atlas с помощью динамического усиления терминов. Новый подход «embedded scoring» позволяет задавать индивидуальные коэффициенты важности прямо в документах, обеспечивая точный и гибкий ранжирующий поиск без усложнения запросов. Новый уровень автоматизации в MongoDB Atlas CLI
Теперь весь функционал MongoDB Atlas Administration API доступен напрямую из CLI. Это ускоряет доступ к новым возможностям, упрощает управление и автоматизацию, а флаг --watch избавляет от сложного мониторинга долгих операций. Узнайте больше в документации. Новое в MongoDB Atlas CLI: теперь полный доступ к API управления прямо из командной строки. Это упрощает автоматизацию и управление облаком. Возможность в публичном превью — успейте протестировать и оставить отзыв! Подробности в официальной документации.

Читать подробнее

#en

@database_design | Другие наши каналы