DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.32K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
История K2 Cloud: эволюция от провайдера до партнёра

Когда вы слышите «облачный провайдер», что первое приходит в голову? Компания, которая предоставляет виртуальные ресурсы и с которой приходится разговаривать строго по шаблону? Но чтобы решения действительно работали, нужен не поставщик, а партнёр — тот, кто погружён в вашу инфраструктуру, анализирует, советует, помогает.

Мы в K2 Cloud не всегда были такими. Наш путь начался более 15 лет назад, и сначала мы были просто провайдером. Но время, опыт и сотни проектов изменили всё: мы прошли путь от первого ЦОДа до облачной платформы собственной разработки с партнёрскими услугами под любой запрос бизнеса. И сегодня я расскажу, как это было — без маркетингового шума, просто как есть.

Меня зовут Кирилл Бойко, я технический директор K2 Cloud, и в облаках (в хорошем смысле) — давно.


Читать: https://habr.com/ru/companies/k2tech/articles/927822/

#ru

@database_design | Другие наши каналы
Не Pgbouncer, но пулер. Не Odyssey, но с корутинами

Если вы настраивали отказоустойчивый кластер Postgres, то сталкивались с необходимостью перенаправления пользовательского трафика на пишущий узел после аварии на основном узле и переключения на резервный. Мы разработали расширение Proxima, которое снимает необходимость в настройке и администрировании дополнительного программного обеспечения.

Разработчик программного обеспечения Postgres Professional Тофиг Алиев расскажет, как мы делали Proxima, какие архитектурные решения заложены в расширение, почему мы выбрали именно такой подход. Разберет тонкости реализации, которые позволили нам обрабатывать более 10 тысяч одновременных клиентских сессий. Рассмотрит примеры использования и ответит на вопросы.


Читать: https://habr.com/ru/companies/postgrespro/articles/927034/

#ru

@database_design | Другие наши каналы
Новая библиотека MongoDB для мультимодального поиска на Python упрощает работу с текстом, изображениями и сложными документами. Она объединяет в одном интерфейсе векторный поиск, хранение в AWS S3 и мультимодальные эмбеддинги Voyage AI — удобно для аналитики и e-commerce. Новая эпоха векторных эмбеддингов с MRL

MRL (Matryoshka Representation Learning) позволяет создавать многоуровневые векторы, сохраняющие качество при сокращении размерности. Это обеспечивает гибкость и эффективность, позволяя экономить ресурсы без существенной потери точности.

Читать подробнее

#en

@database_design | Другие наши каналы
Как генеративный ИИ меняет классификацию запасов в автоиндустрии

В условиях дефицита новых моделей и снижения запасов традиционные методы управления становятся неэффективными. Новая методология с использованием MongoDB и ИИ анализирует структурированные и неструктурированные данные, помогая бизнесу прогнозировать спрос и оптимизировать ассортимент. Новый инструмент для мультимодального поиска в MongoDB упрощает работу с PDF и изображениями, объединяя их в едином запросе. Библиотека использует Voyage AI для создания векторных представлений и интегрируется с AWS S3 и Atlas Vector Search, делая поиск по сложным документам доступнее.

Читать подробнее

#en

@database_design | Другие наши каналы
Как индексация вложенных объектов влияет на производительность MongoDB
В статье разбирают, почему индексы на вложенных объектах могут негативно сказываться на скорости запросов и занимать много места. Основная проблема — большие и сложные составные индексы, которые не всегда работают ожидаемо. Новая библиотека Multimodal Search от MongoDB облегчает поиск в документах с текстом и изображениями. Она интегрирует MongoDB Atlas Vector Search, AWS S3 и Voyage AI, позволяя быстро находить нужные данные даже в сложных PDF и мультимодальных коллекциях. Революция в классификации запасов с помощью ИИ

Глобальная автоиндустрия сталкивается с дефицитом новых моделей и снижением запасов. Традиционные методы учета устарели, и теперь с помощью MongoDB и генеративного ИИ можно объединить структурированные и неструктурированные данные для более точной и прогнозной классификации запасов.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle интегрировала протокол Model Context Protocol в свои инструменты разработчика. Теперь Oracle Database доступна на любых платформах с поддержкой MCP, что расширяет возможности работы через современную командную строку Oracle SQLcl.

Читать подробнее

#en

@database_design | Другие наши каналы
PLAID оптимизировал обработку потоковых данных в реальном времени с помощью MongoDB Atlas Stream Processing. Это позволило снизить затраты, упростить управление и масштабировать систему, сохранив при этом эффективность передачи данных в Google BigQuery. Оптимизация индексов MongoDB: почему встроенные объекты могут замедлять запросы. В статье разбирают случаи, когда избыточное и неправильное индексирование больших вложенных объектов приводит к снижению производительности и как этого избежать для ускорения работы базы данных. Оптимизация MongoDB: как правильно использовать составные и частичные индексы для улучшения производительности базы данных. В статье разбираются ошибки при создании индексов и советы, как подобрать эффективные индексы под разные запросы и сократить нагрузку на систему.

Читать подробнее

#en

@database_design | Другие наши каналы
Вендорские СХД vs open-source-решения: с чем лучше экономить при работе с «железом»

Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.

В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула.


Читать: https://habr.com/ru/companies/runity/articles/927848/

#ru

@database_design | Другие наши каналы
Как индексы на вложенных объектах влияют на производительность MongoDB

Тяжелые и обширные индексы на вложенных объектах могут приводить к замедлению запросов из-за недостатка памяти для кеша. Важно оптимизировать структуру индексов, чтобы избежать проблем с производительностью при работе с большими данными. Как правильно настроить индексы в MongoDB для высокой производительности
Статья объясняет, почему важно создавать составные и частичные индексы, чтобы ускорить операции поиска и избежать лишней нагрузки на систему. Оптимальный выбор индексов помогает эффективно масштабировать базу данных с ростом приложения. Как PLAID сократил расходы и упростил обработку данных в реальном времени с помощью MongoDB Atlas Stream Processing. Новое решение снизило затраты, повысило масштабируемость и упростило управление потоками данных, заменив дорогие Kafka-коннекторы и улучшив интеграцию с BigQuery.

Читать подробнее

#en

@database_design | Другие наши каналы
10 библиотек Python, которые меняют карьеру

10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.

Читать: «10 библиотек Python, которые меняют карьеру»

#ru

@database_design | Другие наши каналы
Обзор сервера ITPOD-SY4108G-D12R-G4: мощная платформа для AI/ML вычислений

Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.

В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.


Читать: https://habr.com/ru/companies/itglobalcom/articles/928716/

#ru

@database_design | Другие наши каналы
Новое в Oracle Database 23ai Release Update 7 для разработчиков. Обновление предлагает расширенные возможности и улучшения, которые помогут создавать более эффективные и интеллектуальные приложения с поддержкой искусственного интеллекта. Подробности о нововведениях ждут вас в статье.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности безопасности Oracle Database 19c и 23ai: с обновлением базы данных в июле 2025 года появится поддержка многофакторной аутентификации для локальных пользователей, включая традиционные аккаунты типа SCOTT/TIGER.

Читать подробнее

#en

@database_design | Другие наши каналы
Windows Home Server: взгляд на домашний сервер Microsoft, который не прижился

Время мчится с бешеной скоростью. Кажется, что релиз этой операционной системы был совсем недавно, а на самом деле прошло уже 18 лет. За это время мир не раз менялся, а вместе с ним изменились и потребности пользователей. Сегодня с высоты прожитых лет попробуем разобраться, что пошло не так в развитии Windows Home Server (WHS) и почему перспективный изначально проект в итоге свернули.


Читать: https://habr.com/ru/companies/ru_mts/articles/928850/

#ru

@database_design | Другие наши каналы
Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов

Свежая статистика, исследования и советы экспертов: как российским IT-специалистам найти работу за границей в 2025 году.

Читать: «Как найти работу в IT за границей в 2025 году: ответы на часто задаваемые вопросы и рекомендации экспертов»

#ru

@database_design | Другие наши каналы
Лучшие бесплатные программы для поиска дубликатов фото

Вам знакомо это чувство лёгкой паники, когда ваш ноутбук внезапно начинает жалобно пищать, а на экране возникает зловещее предупреждение: «Диск почти заполнен»? Со мной это тоже недавно случилось. Я открыл «Проводник» и остолбенел – мой внешний диск на 1 ТБ был забит под завязку – на 95%!

Виновниками оказались не фильмы и не игры, а гигантское кладбище фотографий. Двенадцать папок с безликим именем «DCIM», горы скриншотов, которые я копировал по пять раз «на всякий случай», и целые россыпи почти одинаковых снимков заката, сделанных в режиме серийной съёмки. Попытка вручную найти идентичные фото напоминала поиск иголки в стоге сена размером с Сибирь.

В предыдущей статье я разбирал, как лучше сортировать фото, и ещё тогда я понял: пора объявлять войну дубликатам. И вот этот момент настал. После тестирования более 15 инструментов (и кучи потраченных нервов) я отобрал 5 бесплатных программ, которые реально помогают решить проблему. Этим опытом и поделюсь.


Читать: https://habr.com/ru/articles/928938/

#ru

@database_design | Другие наши каналы
Ошибки, которые не случились: C++ и compile‑time проверка SQL-запросов

В этой статье мы посмотрим, как можно реализовать полную compile‑time валидацию SQL‑запросов на основе схемы базы данных, встраиваемой прямо в код. Без магии, без рантайма, без сторонних тулов. Только стандартный C++ и ваша структура БД. Валидация таблиц, столбцов, типов аргументов и их количества — всё на compile‑time.

Представьте, если бы компилятор сам указывал «такой таблицы нет», «несуществующий столбец», «несовместимые типы» — до запуска программы. Такой подход полностью устраняет «сюрпризы» во время исполнения и исключает класс ошибок, связанных с генерацией SQL во время работы программы. Ваша программа даже не соберётся.


Читать: https://habr.com/ru/articles/929052/

#ru

@database_design | Другие наши каналы
Обзор рынка платформ защиты данных от KuppingerCole

В отчёте аналитика Alexei Balaganski рассматривается текущее состояние рынка платформ по защите данных и подчёркивается необходимость сильной защиты в условиях растущих угроз и новых регуляций.

Читать подробнее

#en

@database_design | Другие наши каналы
Использование метрик для мониторинга облачных баз данных на примере PostgreSQL

Если вы работаете с базами данных, то вам определенно стоит иметь понимание о производительности кластера СУБД. Для этого можно использовать базовые метрики. А можно — метрики от DBaaS в сочетании с Grafana. Они позволяют строить кастомные графики, которые могут быть полезны в той или иной ситуации.

Привет! Меня зовут Рамиль Адильбеков, я DevOps-инженер в Selectel. В этой статье покажу, как можно настроить базовый стек Prometheus/Grafana, подключить метрики от кластера облачных баз данных и загрузить дашборд.


Читать: https://habr.com/ru/companies/selectel/articles/928854/

#ru

@database_design | Другие наши каналы
«Эра Flink 2.0»: что реально меняется в архитектуре real‑time вычислений

Apache Flink 2.0 — первый мажорный релиз после 1.0 (2016), закрывающий многолетний цикл эволюции архитектуры и устраняющий накопленные болевые точки масштабирования потоковых платформ: усложняющуюся конфигурацию, ограниченность локального состояния, разрыв между batch и streaming, устаревшие API и операционную стоимость при росте AI/real‑time сценариев. В команде BitDive мы уже используем Flink 2.0 для низколатентной обработки потоковых метрик и трассировок (агрегация, выделение аномалий) — это позволило ускорить recovery и снизить стоимость вычислений по сравнению с линией 1.20.x.


Читать: https://habr.com/ru/articles/929222/

#ru

@database_design | Другие наши каналы
Google Datastream теперь поддерживает MongoDB для интеграции с BigQuery. Это упрощает потоковую передачу данных в реальном времени, улучшая аналитические возможности и ускоряя внедрение ИИ. Новая функция помогает компаниям быстрее принимать решения на основе актуальных данных. CentralReach и Base39 используют MongoDB Atlas и AI для улучшения сервисов: автоматизация ухода за пациентами с аутизмом и ускоренный кредитный анализ. Их решения повышают точность, снижая затраты и сокращая сроки обработки. Подробнее о современных AI-приложениях в бизнесе.

Читать подробнее

#en

@database_design | Другие наши каналы