DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Где до сих пор используют дискеты и другие устаревшие носители, которые не умирают даже в 2025 году

В это может быть непросто поверить, на наших глазах уже выросло целое поколение, которое дискету не то что не использовало, а даже в глаза не видело. В целом, все логично. Технология давно умерла и предана забвению. Так, по крайней мере, принято считать. Но есть категория людей, которым об этом почему-то не рассказали, и они продолжают полагаться в своей работе даже не на диски DVD-RW, а на старые добрые дискеты. Разных форматов, конечно, но все-таки дискеты. И таких историй больше, чем кажется.


Читать: https://habr.com/ru/companies/x-com/articles/958624/

#ru

@database_design | Другие наши каналы
Непопулярный вариант развертывания хранилища Nextcloud

Привет, Хабр. У меня тут такая история случилась: накопился массив фотографий с путешествий, всяких документов, семейных архивов и учебных материалов по всяких курсам — всего где-то гигов 300. Все важное, ценное, и, конечно, это все очень не хочется потерять.

Я почитал статьи здесь на Хабре, погуглил и понял, что многие покупают себе физические серверы с дисками и на них устраивают хранилища, например, Nextcloud. Звучит удобно: можно настроить синхронизацию со всех устройств, не надо переживать за безопасность, потому что на сервере уже есть защита, и я полностью управляю своими данными. Одно «но» — для меня это дороговато. Получается, что на средний вариант такого сервера и пары дисков, чтобы настроить рейд-массив, нужна приличная сумма. Плюс по комментариям к статьям понял, что придется заморочиться с установкой Nextcloud на сервер. Не уверен, что хочу ввязываться в такие сложности.

Пока изучал тему, увидел, что есть и другой вариант — более дешевый и вроде такой же простой по установке и настройке. Решил протестировать и рассказать, что же у меня в итоге получилось.


Читать: https://habr.com/ru/companies/cloud_ru/articles/957612/

#ru

@database_design | Другие наши каналы
Миграции Postgres с использованием логической репликации

Миграция PostgreSQL — редкий проект, где «быстро и безболезненно» почти никогда не совпадают. Дамп/восстановление годится для сотен гигабайт, потоковая репликация по WAL — для тех, у кого есть к ней доступ. Но когда простоя не хочется, а WAL недоступен, остаётся третий путь — логическая репликация.

В этом материале — практический сценарий: как заранее перенести схему, обеспечить уникальную идентификацию строк (PK/уникальный индекс/REPLICA IDENTITY FULL), настроить публикации и подписки, следить за первичной загрузкой через pg_stat_subnoscription, корректно остановить запись на источнике и синхронизировать последовательности.
Старт миграции

Читать: https://habr.com/ru/companies/otus/articles/958718/

#ru

@database_design | Другие наши каналы
Как использовать Clickhouse без боли

ClickHouse — одна из самых популярных систем для анализа данных. По информации TheirStack, этот инструмент использует более 3 700 компаний по всему миру.

У ClickHouse быстрая аналитика, эффективное сжатие и отличное масштабирование. Но у системы есть и недостатки — ограниченная поддержка UPDATE и DELETE, а также сложная миграция.

Привет, Хабр! Меня зовут Михаил Филимонов, я руковожу разработкой хранилища данных в группе Магнит OMNI. В этой статье я расскажу о проблемах работы с ClickHouse, как их решать и какие инструменты для этого потребуются.


Читать: https://habr.com/ru/companies/magnit/articles/955312/

#ru

@database_design | Другие наши каналы
Как мы в Skyeng построили свою мультитач-атрибуцию, чтобы больше не ругаться из-за заявок

Всем привет! Меня зовут Анастасия Козлова, я Senior BI Analyst в маркетинге Skyeng. Сегодня хочу рассказать, как мы научились справедливо оценивать вклад каждого рекламного канала с помощью кастомной мультиканальной модели атрибуции, что нас к этому подтолкнуло и как мы её настроили технически.


Читать: https://habr.com/ru/companies/skyeng/articles/954572/

#ru

@database_design | Другие наши каналы
Масштабирование кластера Valkey до 1 миллиарда запросов в секунду

Предстоящий релиз Valkey 9.0 несёт в себе значительные улучшения в отказоустойчивости больших кластеров, позволяя масштабироваться до 2000 узлов и достигать производительности свыше 1 миллиарда запросов в секунду, и всё это с гарантированно ограниченным временем восстановления. В этой статье мы рассмотрим, как работает система кластеризации Valkey, а также архитектурные усовершенствования и тщательное тестирование, которые сделали возможным такой уровень масштабирования.


Читать: https://habr.com/ru/articles/958998/

#ru

@database_design | Другие наши каналы
MariaDB Enterprise Platform 2026 — единая платформа для интеллектуальных AI‑приложений

MariaDB объявила релиз Enterprise Platform 2026, который объединяет транзакционный, аналитический и векторный AI-движки в одной системе, чтобы снизить архитектурное трение и ускорить инновации.

Читать подробнее

#en

@database_design | Другие наши каналы
Write. Review. Commit. Repeat. Как документируют в Postgres Professional

Как вы думаете, сколько человек документирует продукты в Postgres Professional? 50? 100? А вот и нет — всего десять. Рассказываем, как команде техписателей удается управлять сотнями файлов, почему их работа — это квест, и как они успевают контрибьютить в ванильный PostgreSQL.


Читать: https://habr.com/ru/companies/postgrespro/articles/924718/

#ru

@database_design | Другие наши каналы
MariaDB и Exasol — мгновенная аналитика на живых данных
В статье сообщается о партнёрстве, которое обещает устранить барьер между операционными данными и аналитикой, упростить стек данных и дать пользователям мгновенные аналитические инсайты. Подробнее — в исходной статье.

Читать подробнее

#en

@database_design | Другие наши каналы
Exadata — платформа не только для крупнейших
В статье говорится, что за 15+ лет Exadata стала ведущей платформой для Oracle Database и подходит не только для критичных и сверхбольших баз, но и для более широкого круга задач.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle RAC в облаке: масштабирование и доступность
Как использовать Oracle RAC в облачных средах — разбирают преимущества, варианты развёртывания и практические рекомендации по масштабированию и повышению отказоустойчивости баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Итоги 2024: ключевые анонсы Oracle Database в облаке
В статье подведены главные нововведения Oracle Database в облаке за 2024 год и прогнозы на 2025-й. Краткий обзор ключевых анонсов и направлений развития сервисов.

Читать подробнее

#en

@database_design | Другие наши каналы
Новинки Oracle Database в облаке — 2024

Oracle в 2024 году запустила Database@Google Cloud и Database@AWS, представила Exadata Exascale с интеллектуальной архитектурой и Oracle Database 23ai с нативным Vector search — ключевые обновления для ADB‑D и AI‑решений.

Читать подробнее

#en

@database_design | Другие наши каналы
Когда база данных становится открытой книгой

Базы данных превращаются в «открытую книгу», когда конфиденциальная информация из них становится доступна злоумышленникам или широкой публике из-за утечек. К сожалению, 2024-2025 годы принесли множество таких утечек – в самых разных отраслях. Согласно данным Роскомнадзора, только в России за 2024 год было зафиксировано 135 утечек баз данных, затронувших более 710 млн записей о россиянах. Лидерами по количеству утечек стали торговый сектор и государственные организации. В мире тенденция схожая: глобально число утечек и скомпрометированных записей бьёт рекорды. В этой статье будут разобраны недавние громкие кейсы утечек по секторам (энергетика, госсектор, e-commerce и др.), проанализируем технические причины: от открытых портов NoSQL и слитых резервных копий до уязвимых CI/CD-пайплайнов, а также практические рекомендации, как не допустить, чтобы ваша база данных стала общедоступной библиотекой. Мы в Security Vision также рассматриваем эти задачи как ключевые в разработке решений нового поколения, в том числе в области автоматизации защиты баз данных и безопасной разработки.


Читать: https://habr.com/ru/companies/securityvison/articles/959320/

#ru

@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.


Читать: https://habr.com/ru/companies/datasapience/articles/959496/

#ru

@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.


Читать: https://habr.com/ru/companies/datasapience/articles/959496/

#ru

@database_design | Другие наши каналы
5 ключевых улучшений нового поколения однофазных ИБП Systeme Electric

Недавно мы анонсировали выход на российский рынок нового поколения однофазных источников бесперебойного питания серии Smart-Save Online SRT G2. Да, звучит, вероятно, достаточно длинно, но данное название лучше всего отражает саму суть новинки – это следующее поколение уже давно представленной на рынке линейки SRT и, как полагается, улучшенное поколение! В рамках данного обзора постараемся сформулировать ключевые улучшения, которых нам удалось добиться, а также пояснить, как это может помочь нашим клиентам и партнерам.

Предлагаем посмотреть на сами ИБП – в линейке доступны две серии, соответствующие мощностным диапазонам 1-3 кВА и 5-10 кВА. На текущий момент это устоявшаяся традиция делить однофазные ИБП именно так, то есть на те, которые можно воткнуть в обычную розетку 16 А, и на более мощные устройства, требующие уже клеммного подключения входного питания.

Начнем с меньшей мощности 1-3 кВА.


Читать: https://habr.com/ru/companies/se_blog/articles/959526/

#ru

@database_design | Другие наши каналы
HTTP и HTTPS: Разница

Очень часто на собеседованиях кандидаты слышат вопрос: «В чем разница между HTTP и HTTPS?» И так же часто делают задумчивое лицо, не зная, что ответить. Мы даже как-то писали об этом пост.

Сегодня пришло время рассказать, в чем же разница между HTTP и HTTPS, а также разобрать механику HTTP-запроса и ответа и ключевые принципы работы обоих протоколов. В общем, прочитав эту статью, вы точно сможете дать правильный ответ на собеседовании.


Читать: https://habr.com/ru/articles/959544/

#ru

@database_design | Другие наши каналы
Dumper: единый инструмент для резервного копирования баз данных

Когда в инфраструктуре десятки сервисов и баз данных разных типов, ручное резервное копирование превращается в кошмар.

Один сервер использует PostgreSQL, другой — MySQL, третий — MongoDB, и для каждого нужны свои команды (pg_dump, mysqldump, mongodump) и свои скрипты.

Проект Dumper решает эту проблему он объединяет все типы баз в один универсальный инструмент.

Dumper написан на Go и работает через CLI, конфигурация задаётся в YAML — поэтому его легко встроить в cron, CI/CD pipelines, GitHub Actions или Docker-окружение.


Читать: https://habr.com/ru/articles/959572/

#ru

@database_design | Другие наши каналы
Spark, DataSphere и немного магии: как мы строим аналитическую платформу в облаке для банка

Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними.

Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark и Jupyter‑ноутбуков в Yandex DataSphere.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/957470/

#ru

@database_design | Другие наши каналы
dbt 101: что нужно знать на старте и лучшие практики

dbt — это фреймворк для трансформации данных внутри хранилища и отличный инструмент для аналитиков и дата-инженеров на больших проектах, где число SQL-скриптов может переваливать за сотни. Мы с командой много работаем с dbt, и в этой статье хочу поделиться своим опытом: расскажу о его ключевых элементах и некоторых лучших практиках на примере одного кейса.

Это не гайд, как развернуть dbt и создать проект, а знакомство с тулом для тех, кто пока с ним не работал и хочет разобраться, что это вообще такое.


Читать: https://habr.com/ru/articles/959846/

#ru

@database_design | Другие наши каналы