DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Реализация TimescaleDB в Zabbix: преимущества, ключевые таблицы и установка

Всем привет! Мы делаем проекты по Zabbix, накопили большую экспертизу и решили сделать переводы нескольких статей, которые нам показались интересными и полезными. Наверняка, будут полезны и вам. Также своим опытом делимся в телеграм-канале zabbix_ru, где вы можете найти полезные материалы и записи наших вебинаров, опубликованных на нашем ютуб-канале (прим. переводчика). Ниже ссылки на предыдущие статьи из цикла.

Миграция с MySQL на PostgreSQL

SELinux: интеграция с Zabbix и другими инструментами

Защита от ложных срабатываний триггеров в Zabbix с использованием функций min/max/avg

Zabbix – автоматизация управления пользователями (JIT)

Zabbix — это надежное решение с открытым исходным кодом для мониторинга ИТ-инфраструктуры, позволяющее отслеживать и анализировать производительность сети, серверов, приложений и других компонентов. По мере роста объема данных эффективное управление временными рядами становится ключевым фактором. Поэтому, начиная с версии 5.0, Zabbix начал поддерживать TimescaleDB — расширение PostgreSQL, оптимизированное для временных рядов. В этой статье рассматриваются преимущества использования TimescaleDB в Zabbix, ключевые таблицы и процесс установки. Подробности под катом.


Читать: https://habr.com/ru/articles/970702/

#ru

@database_design | Другие наши каналы
Как в 2026 году снизить стоимость разработки интеграций

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». В этом году мы много работали над интеграциями для крупных и средних компаний. Одна из платформ, которую активно внедряем в проектах — DATAREON Platform. В процессе часто возникает потребность в автоматизации рутинных задач: генерации обработчиков, настройке коннекторов, работе с хранилищем. Расскажу, что есть сейчас для более простого и более дешевого переноса данных из 1С.


Читать: https://habr.com/ru/companies/w_code/articles/973144/

#ru

@database_design | Другие наши каналы
От ClickHouse к StarRocks с разделением хранения и вычислений: практический апгрейд архитектуры UBT в Trip

This is a hands-on case study of migrating Trip’s UBT from ClickHouse to StarRocks with storage–compute separation. By redesigning partitioning, enabling DataCache and MergeCommit, and backfilling history via SparkLoad, we reduced average query latency from 1.4 s to 203 ms, P95 to 800 ms, cut storage from 2.6 PB to 1.2 PB, and decreased node count from 50 to 40. We detail Compaction tuning, partitioned materialized views, and second‑level elastic scaling without data migration, and compare gohangout vs. Flink in reliability and operability. The article targets data engineers and architects running high‑load real‑time OLAP workloads.


Читать: https://habr.com/ru/articles/973230/

#ru

@database_design | Другие наши каналы
Утечка сквозь уязвимость: как построить защиту приложения, чтобы данные не достались злоумышленникам

Утечки данных в мобильных приложениях могут происходить не только из-за внешних атак, но и из-за ошибок во внутренней архитектуре. Они могут возникать из-за использования внешних модулей или других инструментов, которые позволяют сократить время разработки. Но утечки и уязвимости грозят серьезными штрафами.
Как ликвидировать уязвимость

Читать: https://habr.com/ru/articles/973244/

#ru

@database_design | Другие наши каналы
Зачем вообще использовать ORM?

Разработка софта всегда была поиском баланса между разными аспектами, вроде скорости разработки (как быстро ты выкатываешь новые фичи), производительности приложения, потребления им памяти, красотой интерфейса и отполированностью логики.

В большинстве случаев скорость разработки важнее, чем производительность и потребление памяти.

ORM — это как раз инструмент, экономящий время разработки. Но за счёт чего?


Читать: https://habr.com/ru/articles/973608/

#ru

@database_design | Другие наши каналы
Обследование инфраструктуры: первый шаг к быстрой и безопасной миграции ЦОД

Миграция ЦОД — не новая история. Казалось бы, про важность обследования инфраструктуры перед переездом уже знают все. Но на практике ошибки повторяются снова и снова — даже у тех, кто делает это не впервые.

Меня зовут Артём, я ведущий инженер департамента информационных технологий в iCore. В этой статье я постарался собрать ключевые моменты, на которые стоит обратить внимание при обследовании инфраструктуры перед миграцией. Надеюсь, это поможет избежать распространенных проблем и упростит процесс миграции.


Читать: https://habr.com/ru/companies/icore/articles/973710/

#ru

@database_design | Другие наши каналы
Миграция высоконагруженной инфраструктуры без даунтайма: технические детали переезда Дзена на видеоплатформу VK

Привет, Хабр! Меня зовут Влад Почернин, я разработчик в команде видеоформатов Дзена. Сегодня я расскажу, как мы мигрировали контент Дзена на видеоплатформу VK — инфраструктуру, обслуживающую видеоконтент соцплатформ ВКонтакте и Одноклассники, а также видеосервисов VK Видео и VK Клипы.


Читать: https://habr.com/ru/companies/vk/articles/973184/

#ru

@database_design | Другие наши каналы
Обследование инфраструктуры: первый шаг к быстрой и безопасной миграции ЦОД

Миграция ЦОД — не новая история. Казалось бы, про важность обследования инфраструктуры перед переездом уже знают все. Но на практике ошибки повторяются снова и снова — даже у тех, кто делает это не впервые.

Меня зовут Артём, я ведущий инженер департамента информационных технологий в iCore. В этой статье я постарался собрать ключевые моменты, на которые стоит обратить внимание при обследовании инфраструктуры перед миграцией. Надеюсь, это поможет избежать распространенных проблем и упростит процесс миграции.


Читать: https://habr.com/ru/companies/icore/articles/973710/

#ru

@database_design | Другие наши каналы
TypeQL: SQL для аналитиков, который знает о данных всё

Сколько я пользуюсь SQL, столько же он меня бесит. Сегодня хочу рассказать про свой прототип языка для создания больших и сложных аналитических запросов, который компилируется в SQL. Он будет опираться на структуру конкретной БД, и даже больше — он будет опираться на логику данных.


Читать: https://habr.com/ru/articles/973966/

#ru

@database_design | Другие наши каналы
Подключение SD карты по SPI

В этом тексте я написал про некоторые особенности работ c SD картами при соединении их с микроконтроллером по интерфейсу SPI.


Читать: https://habr.com/ru/articles/974076/

#ru

@database_design | Другие наши каналы
Разговор о том, как сделать интеграцию умнее: опыт, грабли и рабочие подходы

Привет, Хабр!

Знаете, что объединяет разработчика из стартапа, архитектора банковской системы и техлида платежного сервиса? Все они хотя бы раз материлась над интеграцией, которая должна была занять день, а растянулась на месяц. Легаси не подружилось с новой системой, протоколы оказались несовместимы, а документация — устаревшей на три года.


Читать: https://habr.com/ru/articles/974262/

#ru

@database_design | Другие наши каналы
Как понять, чего хочет заказчик?

Всегда, когда речь идет и разработке отчётов, дашбордов,витрин данных, в принципе любой системы, сначала нужно сформулировать требования совместно с бизнес-подразделениями. Я Кристина Проскурина, руковожу управлением бизнес-анализа данных в РСХБ.Цифра. В этой статье расскажу, как выглядят основные этапы процесса сбора и формирования требований.


Читать: https://habr.com/ru/companies/rshb/articles/974404/

#ru

@database_design | Другие наши каналы
Векторный поиск: как выбрать систему и не пожалеть

От поиска по архивам документов и медиафайлам до рекомендательных систем и AI приложений — всюду работают эмбеддинги и векторный поиск. Но когда дело доходит до выбора конкретного инструмента, глаза разбегаются: Qdrant, Milvus, Weaviate, Redis, Elasticsearch, Pgvector…

Если вы:
- планируете внедрять семантический поиск в свой продукт,
- выбираете между проверенными временем БД и специализированными системами обработки векторов,
- ищете независисые бенчмарки,
то этот материал — для вас. Мы разберем основные концепции векторного поиска, сравним популярные open-source решения и протестируем скорость их работы с учетом загрузки процессора и памяти.


Читать: https://habr.com/ru/companies/tensor/articles/970480/

#ru

@database_design | Другие наши каналы
Солнечные панели для ЦОДа выгоднее, чем АЭС

Сегодня одна из главных проблем мировой экономики — как обеспечить электроэнергией сотни мощнейших дата-центров, которые строят по всему миру для обучения и инференса ИИ.

Строительство этих дата-центров обеспечили 92% роста ВВП США в I кв. 2025 года, то есть без ИИ экономика сразу скатится в рецессию. Стройки ЦОДов, как строительство автобанов или небоскрёбов во времена великой депрессии, дают рабочие места и поддерживают экономику. С другой стороны, они потенциально ущемляют остальные сектора экономики, перетягивая рабочие места и инвестиции (это уже другая тема, которую мы здесь обсуждать не будем).

Где же взять столько энергии, ведь текущих ТЭС никак не хватит на 280 гигантских ЦОДов, которые построят в ближайшие три года только в США. Один из выходов — установка модульных ядерных реакторов непосредственно возле ЦОДов, в этом направлении сейчас идут перспективные инженерные разработки.

Но есть и другие варианты.


Читать: https://habr.com/ru/companies/ultravds/articles/972894/

#ru

@database_design | Другие наши каналы
Работаем быстро, храним экономно: в деталях о механизме охлаждения для Tarantool DB 3.0

Компании ежедневно генерируют большие объемы данных, но далеко не вся информация одинаково важна: со временем многие данные становятся менее востребованными, продолжая занимать дорогие и высокопроизводительные накопители (SSD, RAM). В результате хранение таких «холодных» данных обходится неоправданно дорого, поскольку потребность в постоянном доступе к ним минимальна.

Решение проблемы — технология охлаждения данных, которая предполагает перемещение редко используемой информации на более дешевые и емкие носители, то есть файлы остаются доступными, но перестают нагружать дорогие и быстрые устройства. Именно такой механизм охлаждения данных мы добавили в Tarantool DB 3.0.

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase. В этой статье я расскажу, как именно мы реализовали механизм охлаждения и какие бизнес-выгоды могут получить компании при его использовании.


Читать: https://habr.com/ru/companies/vktech/articles/973738/

#ru

@database_design | Другие наши каналы
Выбор российского ETL-инструмента в 2025 и чек-лист

Привет!

Перед вами новое исследование, посвящённое одной из ключевых технологий управления данными — процессам извлечения, преобразования и загрузки данных (ETL). Оно стало логическим продолжением первого обзора рынка ETL-решений, выпущенного нашей командой три года назад.

За это время многое изменилось. Если в 2022-м рынок опирался на зарубежные платформы, то сегодня акценты сместились в сторону отечественных продуктов. Причины очевидны: уход иностранных вендоров, трудности с продлением лицензий, обновлениями и поддержкой. Импортозамещение из формальности превратилось в стратегическую задачу, а потребность в надёжных российских инструментах — в вопрос технологической безопасности.

Одновременно усилились и глобальные вызовы: рост объёмов данных, переход бизнеса к моделям прогнозной аналитики и управлению на основе данных. ETL-системы в этой экосистеме занимают фундаментальное место — именно они превращают разрозненные источники в согласованный поток информации, на котором строятся аналитика, модели машинного обучения и управленческие решения.


Читать: https://habr.com/ru/articles/974502/

#ru

@database_design | Другие наши каналы
Очереди на PostgreSQL: антипаттерн или реальность жизни

Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них.

В Яндекс 360 есть сервисы с очень большими нагрузками — и по RPS, и по объёму хранимых данных, и по числу обрабатываемых асинхронных задач. Именно последняя часть — асинхронная обработка — будет в центре этого рассказа.

Тема может показаться немного провокационной: речь пойдёт об очередях поверх SQL‑баз, а в сообществе такое решение принято считать антипаттерном — и на это есть основания. На конференциях и в статьях обычно можно услышать скепсис: «Очередь на PostgreSQL? Не стоит даже пытаться». Действительно, подобных попыток было много, и почти все сталкивались с типовыми проблемами — от блокировок до деградации производительности.

Тем не менее, в реальности у многих крупных компаний всё равно есть свои очереди, построенные поверх SQL‑баз — как PostgreSQL, так и MySQL. Это решение встречается и в российских, и в зарубежных командах. Яндекс Диск здесь не исключение — у нас тоже есть своя реализация, о которой сегодня и пойдёт речь.


Читать: https://habr.com/ru/companies/yandex/articles/972164/

#ru

@database_design | Другие наши каналы
Почему заменить ОЗУ в СХД Huawei Dorado проще, чем контроллер

Я занимаюсь технической поддержкой и сопровождением в компании «Онланта». Сегодня в блоге ЛАНИТ я расскажу о решении реального кейса по замене ОЗУ (оперативной памяти) в СХД Huawei.

Согласно рекомендациям и техническим руководствам вендоров, когда в контроллере возникают неисправности, рекомендуется выполнять его замену, оставляя без изменений установленные внутри компоненты. Такой подход помогает минимизировать время простоя оборудования, а также снизить риски некорректной диагностики.

Однако на практике при детальной диагностике зачастую можно выявить конкретный неисправный компонент — например, модуль оперативной памяти (ОЗУ) — и заменить только его. Это позволяет значительно сократить затраты по сравнению с заменой всего контроллера, стоимость которого может быть в разы выше стоимости отдельных комплектующих.


Читать: https://habr.com/ru/companies/lanit/articles/964974/

#ru

@database_design | Другие наши каналы
«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях

Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.


Читать: https://habr.com/ru/companies/jetinfosystems/articles/974850/

#ru

@database_design | Другие наши каналы
Управляем несколькими СУБД из одного интерфейса: тестируем сервис

Проверили инструмент для управления несколькими СУБД через один веб-интерфейс

Читать: «Управляем несколькими СУБД из одного интерфейса: тестируем сервис»

#ru

@database_design | Другие наши каналы
Postgresus 2.0: новая версия open source инструмента для резервного копирования PostgreSQL

С момента первого релиза Postgresus прошло 6 месяцев. За это время проект получил 246 коммитов, новые функции, а также ~2.7 звёзд на GitHub и ~40к загрузок из Docker Hub. Сообщество проекта тоже подросло, сейчас в проекте числится 11 контрибьюторов, а группа в Telegram — 85 человек.

В этой статье я расскажу, что поменялось в проекте за полгода, какие новые возможности появились и какие планы дальше.


Читать: https://habr.com/ru/articles/974492/

#ru

@database_design | Другие наши каналы