DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.33K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как работает база данных Firebird, часть 1

В этой серии статей я залезу внутрь реляционной базы данных Firebird. Я не буду рисовать архитектуру в виде прямоугольников, соединённых стрелками. Вместо этого я буду показывать куски кода, описывать, что они делают и как вызывают друг друга, чтобы выполнить конкретную работу.


Читать: https://habr.com/ru/articles/918552/

#ru

@database_design | Другие наши каналы
Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 2

В первой части обсуждалось как отличие реализации MVCC в Firebird и PostgreSQL может привести к сложностям при миграции информационной системы. Напоминаю девиз этой серии статей – "Ваши ожидания – это Ваши проблемы". Рассмотрим еще некоторые моменты, которые позволят Вам не находится в состоянии "обманутых ожиданий" при миграции с Firebird на PostgreSQL.


Читать: https://habr.com/ru/articles/926114/

#ru

@database_design | Другие наши каналы
Сохранение и восстановление версии бакета объектного хранилища MinIO S3 с учетом содержимого и конфигурации

Меня зовут Михаил, я работаю в Magnit Tech и занимаюсь внедрением 1C платформы на операционную систему Linux. В этой статье я расскажу, как реализовать создание резервных копий бакетов S3-совместимого объектного хранилища MinIO.

(Сразу дам спойлер: нам удалось это сделать с наименьшими затратами места на диске с использованием инкрементальных бэкапов).


Читать: https://habr.com/ru/companies/magnit/articles/926226/

#ru

@database_design | Другие наши каналы
Память — ключ к умным AI-агентам

Память становится базой для надежных и эффективных AI-агентов. Исследования Anthropic и Cognition показывают: для сложных задач лучше подходят многоагентные системы с распределённой памятью, для диалогов — одиночные агенты с непрерывным контекстом. Почему традиционные базы данных тормозят развитие AI
Реляционные базы данных усложняют работу разработчиков и увеличивают расходы из-за жесткой схемы и множества таблиц. Гибкие модели данных, как у MongoDB, ускоряют разработку, снижают издержки и позволяют быстрее выводить продукты на рынок. Путь к современной архитектуре данных с MongoDB и Microsoft

Интеграция MongoDB Atlas и Microsoft Intelligent Data Platform упрощает архитектуру данных, объединяя управление, аналитику и AI с высоким уровнем безопасности. Модернизация становится проще благодаря поэтапному подходу без полной перестройки.

Читать подробнее

#en

@database_design | Другие наши каналы
Новая платформа документации MariaDB на mariadb.com/docs объединяет знания и корпоративные руководства в одном месте. Улучшенный поиск на базе ИИ, удобная навигация и версии материалов помогут быстрее находить нужную информацию. Подробнее о запуске нового ресурса.

Читать подробнее

#en

@database_design | Другие наши каналы
Выбираем базу данных правильно! Чек-лист на все случаи жизни

Выбор базы данных — это как выбор инструмента: молотком не закручивают шурупы, а гаечным ключом не забивают гвозди. Чтобы не ошибиться, давайте разберёмся, какие бывают базы данных, чем они отличаются и когда их стоит использовать.


Читать: https://habr.com/ru/articles/926402/

#ru

@database_design | Другие наши каналы
Oracle и Amazon Web Services запустили сервис Oracle Database@AWS. Новый продукт объединяет возможности Oracle Database и инфраструктуру AWS, открывая новые возможности для бизнеса. В статье собраны мнения экспертов индустрии о перспективности этой интеграции.

Читать подробнее

#en

@database_design | Другие наши каналы
Почему растёт спрос на гиперконвергентные системы

Спрос на локальное оборудование для центров обработки данных снижается по мере того, как организации переносят рабочие нагрузки в облако. Но локальные решения не исчезли, и одним из востребованных сегментов является гиперконвергентная инфраструктура (HCI).


Читать: https://habr.com/ru/companies/sberbank/articles/926450/

#ru

@database_design | Другие наши каналы
Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 3

Третья часть статьи посвященной трудностям миграции с Firebird на PostgreSQL. (1ая часть, 2я часть).


Читать: https://habr.com/ru/articles/926116/

#ru

@database_design | Другие наши каналы
Что по экологии? Сколько углеродного следа оставляет ваш код

Узнайте, сколько CO₂ генерирует ваш код в 2025 году и как снизить углеродный след в IT. Практические советы по оптимизации архитектуры, выбору «зеленых» технологий и реальные кейсы компаний. Экологичное программирование — новый тренд для разработчиков и бизнеса.

Читать: «Что по экологии? Сколько углеродного следа оставляет ваш код»

#ru

@database_design | Другие наши каналы
Что по экологии? Сколько углеродного следа оставляет ваш код

Узнайте, сколько CO₂ генерирует ваш код в 2025 году и как снизить углеродный след в IT. Практические советы по оптимизации архитектуры, выбору «зеленых» технологий и реальные кейсы компаний. Экологичное программирование — новый тренд для разработчиков и бизнеса.

Читать: «Что по экологии? Сколько углеродного следа оставляет ваш код»

#ru

@database_design | Другие наши каналы
Многомерный анализ данных временных рядов

Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.


Читать: https://habr.com/ru/articles/926598/

#ru

@database_design | Другие наши каналы
Децентрализованные хостинги/системы хранения данных

Картинка Freepik

Вряд ли настоящая «вечность» возможна в нашем переменчивом мире (ну, если только мы не говорим об элементарных частицах, но это уже «совсем другая история»), однако существуют варианты достаточно устойчивых систем, которые затруднительно обрушить или забанить — и речь сегодня пойдёт об интересном примере таких конструкций: децентрализованных сетях хранения сайтов/файлов.

Отсутствие центрального сервера, распределённая архитектура — всё это делает устойчивость сети достаточно высокой. Рассмотрим существующие идеи в этой области…

Заголовки разделов рассказа ниже являются активными ссылками, нажав на которые, можно перейти на сайты соответствующих проектов.


Читать: https://habr.com/ru/companies/ruvds/articles/925252/

#ru

@database_design | Другие наши каналы
Как быстро развернуть приложение в облаке и не потерять данные в S3: туториал

Вы разработчик, проект растет, код пишется легко. И вот уже готово приложение, и вы хотите поскорее показать его заказчику, коллегам или пользователям. Но вместо этого приходится копаться в Kubernetes, настройках кластеров и балансировщиков. Знакомо?

Я Никита Корольков из Cloud.ru, и сегодня покажу, как без лишних сложностей и запуска виртуальных машин развернуть проект в облаке с помощью Evolution Container Apps и при этом не потерять данные, даже если вы не DevOps.
Узнать больше

Читать: https://habr.com/ru/companies/cloud_ru/articles/926674/

#ru

@database_design | Другие наши каналы
О тепловом моделировании российских СХД в области массива накопителей

Меня зовут Максим Копосов, я руководитель компании «Промобит». 16 лет назад мы начали разрабатывать российские системы хранения данных и другую вычислительную технику. Сегодня делаем СХД на отечественных и зарубежных процессорах, создаем оригинальное ПО для них. Наши инженеры находятся в постоянном поиске, и поэтому появляются собственные исследования, одним из которых сегодня хочу поделиться с вами. Это отчёт о тепловом моделировании систем хранения данных в области массива накопителей. В нем были оценены температурные режимы ключевых компонентов системы, таких как накопители (HDD формата 3.5 дюйма и SSD формата 2.5 дюйма) и PCIe-свитчи, при различных условиях эксплуатации. Измерения проводились на нашей СХД серии 4100.

Если этот материал покажется вам интересным, буду рад обратной связи в комментариях, и продолжу знакомить вас с исследованиями.


Читать: https://habr.com/ru/articles/926816/

#ru

@database_design | Другие наши каналы
Краткий обзор платформы данных Т-Банка

Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!

Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.

В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.


Читать: https://habr.com/ru/companies/tbank/articles/926886/

#ru

@database_design | Другие наши каналы
Краткий обзор платформы данных Т-Банка

Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!

Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.

В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.


Читать: https://habr.com/ru/companies/tbank/articles/926886/

#ru

@database_design | Другие наши каналы
Как заставить вашу базу данных летать, а не ползать. Часть 3 – ещё три способа шардирования

Всем привет! И снова с вами Илья Криволапов – системный аналитик в SENSE, где мы вместе с командой трудимся над проектом одного из цветных банков РФ. Напоминаю, что в профессии я уже больше пяти лет и, несмотря на фамилию, прод все еще живой и здоровый (ну почти)!

В свободное от работы время, я преподаю курс «Хранение и обработка больших объемов данных», где успел накопить немало наблюдений, кейсов и выводов, которые не хочется держать в столе. Поэтому всё самое полезное оформил в цикл статей на Хабре – рассказываю как строить базы данных с прицелом на рост и не сойти с ума под нагрузкой.

В первой части мы говорили о базовых стратегиях масштабирования: вертикальной и горизонтальной. Покрутили в руках репликацию, рассмотрели кейсы, когда и как можно к ней обращаться. Во второй углубились в шардинг и разобрали три популярных подхода: по диапазону, хэшу и геозонам. А сегодня будет финальная, третья часть. В ней мы рассмотрим ещё три способа шардирования: директивный, круговой и динамический. Расскажу, как они устроены, когда применяются, в чём их сильные стороны и где скрывается подвох.

Материал будет полезен всем, кто проектирует, масштабирует или просто поддерживает «здоровье» базы данных: DBA, архитекторам, DevOps-инженерам, аналитикам и разработчикам.

Финальный рывок – поехали!


Читать: https://habr.com/ru/companies/it_sense/articles/926602/

#ru

@database_design | Другие наши каналы
1
Как уменьшить размер модели Power BI на 90%

Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение.

В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.


Читать: https://habr.com/ru/companies/otus/articles/926904/

#ru

@database_design | Другие наши каналы
Руководство по pgcrypto — шифрование внутри PostgreSQL. Часть 2

Привет, Хабр! На связи снова Антон Дятлов, инженер по защите информации в Selectel. Буквально несколько дней назад мы с вами рассмотрели установку и безопасную настройку pgcrypto и изучили его основные возможности. Пришло время перейти к практическому применению этих знаний.

В этой статье разберем конкретные сценарии использования pgcrypto в реальных проектах и углубимся в вопросы производительности и проблемы индексирования зашифрованных данных. Отдельно я сформулировал чек-лист лучших практик безопасности и сравнил pgcrypto с альтернативными подходами, чтобы вы могли сделать осознанный выбор для своей архитектуры. Прошу под кат!


Читать: https://habr.com/ru/companies/selectel/articles/925948/

#ru

@database_design | Другие наши каналы
Новый уровень качества: voyage-3.5 и voyage-3.5-lite представляют улучшенные модели эмбеддингов с высокой точностью поиска и сниженной стоимостью. Они превосходят OpenAI-v3-large, экономя до 83% на векторных базах данных и открывают новые возможности для внедрения. Эволюция ИИ: Anthropic и Cognition предлагают разные подходы к созданию агентов. Ключ к надежности и эффективности — сложное управление памятью. Anthropic ориентируется на мультиагентные системы для исследований, Cognition — на единые агенты для диалоговых задач. Почему память важна для успешных AI-агентов

Статья раскрывает, что в развитии AI ключевую роль играет не только контекст, но и надежная память. Успешные агенты требуют устойчивых систем хранения и обновления знаний для работы с длинными и сложными задачами.

Читать подробнее

#en

@database_design | Другие наши каналы