DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
MongoDB Releases “Focus Mode” in Compass GUI

Read: https://www.mongodb.com/blog/post/mongodb-releases-focus-mode-compass-gui
Уменьшаем размер MacOS.vdi в VirtualBox

Что ж, приступим сразу к делу. Как-то мы устанавливали виртуальную машину для сборки одного проекта, однако от души сделали динамический диск на 80GB. Однако позже стало понятно, что не стоило этого делать, так как у виртуальной MacOS оказалась весьма интересная особенность - даже если пространство на виртуалке остается незаполненным, она все равно занимает место на нашем Хосте (в моем случае - Windows). И так, вместо 27GB, фактически она занимала 50GB. Странно? Ну, пожалуй. Ведь динамический диск должен расширяться по ходу заполнения файлами. А что делать, если место пустует...

Так вот, к чему я это. Хватит предисловий и давайте попробуем разобраться с этим.
В целом, весьма четкая инструкция по этому вопросу уже была размещена на самом форуме VirtualBox.

Инструкция была максимально простой, но мне стало немного беспокойно из-за конфузов, которые случались у некоторых ребят с форума. Дело в том, что команда diskutil secureErase freespace 0 / стерла все данные, что были на виртуалке Mojave.vdi у одного юзера, а после часовой кропотливой сборки проекта на моей виртуалке этого совсем не хотелось. Пришлось еще немного порыться в интернете и поосторожничать.


Читать: https://habr.com/ru/post/723994/
Как устроено индексирование баз данных



Индексирование баз данных — это техника, повышающая скорость и эффективность запросов к базе данных. Она создаёт отдельную структуру данных, сопоставляющую значения в одном или нескольких столбцах таблицы с соответствующими местоположениями на физическом накопителе, что позволяет базе данных быстро находить строки по конкретному запросу без необходимости сканирования всей таблицы. Применяются разные типы индексов, однако они занимают пространство и должны обновляться при изменении данных. Важно тщательно продумывать стратегию индексирования базы данных и регулярно её оптимизировать.


Читать: https://habr.com/ru/post/724066/
[recovery mode] Postgres как предчувствие. Вычисляем процент импортозамещения в режиме Highload от 1С

1С работает с СУБД  Postgres более 10 лет, а сейчас это единственный легальный вариант для инсталляций в России. Много ли мы потеряем в производительности по сравнению с MS SQL ? Выдержит ли Postgres 15.2 жесткий Highload со стороны 1С? Цель этой статьи - ответить на данные вопросы, с цифрами, которые можно использовать при расчете архитектуры.


Читать: https://habr.com/ru/post/723642/
Как мы создаём корпоративную почтовую систему нового поколения Mailion. Оптимизация стоимости хранения данных

Каждый из нас сталкивался с необходимостью настройки сложного ПО, интенсивно потребляющего ресурсы компьютера. Как правило, у такого софта довольно объёмная конфигурация, и из-за этого бывает трудно подобрать комбинацию параметров, при которой этот софт демонстрировал бы высокую производительность при минимальной утилизации железа.

Одна из наиболее ресурсоемких категорий софта сегодня — это системы хранения данных. К ним можно отнести как классические СУБД, так и хранилища различного назначения. В корпоративной почтовой системе Mailion мы используем объектное хранилище собственной разработки — Dispersed Object Store (DOS). Mailion поддерживает одновременную работу до миллиона пользователей, и подобный уровень нагрузки выдвигает существенные требования к производительности и экономической эффективности системы.

Под катом рассказываем, как мы искали оптимальную конфигурацию нашего объектного хранилища, и какие уроки извлекли из этого поиска.


Читать: https://habr.com/ru/post/721538/
Новая точка на карте ЦОДов Москвы

Мы открыли новый дата-центр «Ростелеком-ЦОД» в Медведково. Строительство началось в июле 2022 года на базе складского комплекса класса А+, первый этап был реализован за 9 месяцев.

Сегодня в эксплуатацию принято 4 машинных зала из шестнадцати. Каждый из них может вместить до 312 стандартных серверных шкафов, т. е. всего 1248 стойко-мест. Общая электрическая мощность четырех машинных залов и поддерживающей инженерной инфраструктуры составляет 9 МВт.
Погулять по ЦОДу

Читать: https://habr.com/ru/post/724220/
Как загадочный разработчик снизил затраты на AWS на 90%, а потом исчез

Недавно я завершил аудит своего SaaS-клиента. Его история достойна рассказа. Это история о жадности, лжи и красоте хакинга.

Это история о том, как благодаря мой клиент снизил свои ежемесячные траты на AWS на 90 тысяч долларов благодаря таинственному разработчику, который исчез, как только работа была сделана.

Когда спустя полгода затраты на AWS снова взлетели примерно до 120 тысяч в месяц, этот клиент попросил меня разобраться, что же произошло на самом деле.

И разгадка оказалась совершенно сумасшедшей!


Читать: https://habr.com/ru/post/724298/
🤯1
Генерация данных — творчество или рутина?

Долгие годы люди стремились к всё более реалистичному изображению окружающих их вещей. Много лет прошло от симпатичных наскальных мамонтов до шедевров эпохи Ренессанса и Просвещения. Однако где-то в 19-м веке (примерно, когда стала появляться первая фототехника, ага), что-то пошло не так, и живопись сменила своё направление от реализма к абстракции. Дальше больше; и все "скатилось" до клякс, пятен и потёков, размазанных по холсту или любой другой поверхности стоимостью в миллионы долларов... И при этом зачастую совершенно было непонятно, кто автор "шедевра": 3-х летний ребенок, маститый художник, нейросеть или кот, опрокинувший банку варенья.

Похожие процессы происходят и в мире данных, синтетические, сгенерированные, абстрактные данные обретают всё большую ценность на рынке. Такие данные являются более безопасными, а также позволяют тестировать системы качественнее и воспроизводить проблемы до их появления в продакшене... А еще делать прогнозы, анализ, безопасно обмениваться и многое другое.

В этом посте мы рассмотрим основные моменты генерации данных с нуля (на основе схемы БД), а так же на основе уже существующих данных. Рассмотрим способы, методы, особенности и инструменты. А каждый шаг будем иллюстрировать примерами живых и настоящих SQL-запросов (в основном PostgreSQL-flavour, но постараемся и не только). И в итоге убедимся, что SQL позволяет нам не только эффективно работать с уже существующими данными (на минуточку, уже почти на протяжении 50 лет), но с помощью него их можно еще и довольно эффектно придумывать.
А начнем мы конечно же с ChatGPT

Читать: https://habr.com/ru/post/723202/
Los 5 Pasos Necesarios para Modernizar el Mainframe de los Bancos

Read: https://www.mongodb.com/blog/post/5-step-guide-mainframe-modernization-banks-esp
Tendencias del 2023: Las Medidas de Modernización en el Sector de los Servicios Financieros

Read: https://www.mongodb.com/blog/post/predictions-2023-modernization-efforts-financial-services-industry-esp
PowerShell и LiveJournal (ЖЖ): скачивание постов журнала

У блог-платформы «LiveJournal» есть набор удалённых функций и протокол их вызова для сторонних веб-клиентов. В этой статье я описываю, какие из этих функций удобно использовать для загрузки к себе на компьютер всех постов своего журнала (блога). Также я даю пояснения к алгоритму загрузки всех постов, показанному в виде псевдокода в документации к клиент-серверному протоколу «LiveJournal», и привожу его перевод на русский язык с некоторыми изменениями.

В конце статьи я описываю свою практическую реализацию алгоритма загрузки постов на языке PowerShell. В статье есть иллюстрация работы полученного скрипта и ссылка на его исходный код на веб-сервисе «GitHub».


Читать: https://habr.com/ru/post/724412/
US Treasury Department Affirms What Leading Exadata Cloud@Customer Financial Services Customers Already Know!

The US Department of the Treasury published a paper noscriptd “The Financial Services Sector’s Adoption of Cloud Services.” In that paper they raised some potential concerns with Banks embracing the Cloud. It raises some valid points, but mostly it re-affirms what users of Oracle Exadata Cloud@Customer already know: Cloud@Customer is a better model than pure cloud for addressing the Cloud requirements of Financial Services companies.

Read: https://blogs.oracle.com/database/post/us-treasury-affirms-financial-services-customers
Согласованность данных: что это на самом деле такое и почему с ней все так сложно

Понятие согласованности данных сложное, неоднозначное и включает в себя широкий спектр определений, лишь частично совпадающих друг с другом. Команда VK Cloud перевела статью, в которой автор определяет термин «согласованность» в области распределенных БД и рассуждает на тему этой самой согласованности.


Читать: https://habr.com/ru/post/723734/
Согласованность данных: что это на самом деле такое и почему с ней все так сложно

Понятие согласованности данных сложное, неоднозначное и включает в себя широкий спектр определений, лишь частично совпадающих друг с другом. Команда VK Cloud перевела статью, в которой автор определяет термин «согласованность» в области распределенных БД и рассуждает на тему этой самой согласованности.


Читать: https://habr.com/ru/post/723734/
🤔2
SharedPreferences отличное хранилище для вашего flutter-приложения. Но есть нюансы…

Вы задаёте себе вопрос, какое хранилище данных выбрать для flutter-приложения? Отлично, тогда продемонстрирую, каким образом можно воспользоваться key-value решением, используя два метода set()и get()для всех типов данных*, и не разбрасываться ключами по всему коду.

Данный способ уже используется в приложении Weather Today.
Что там под звёздочкой

Читать: https://habr.com/ru/post/724706/
Самый надёжный из древних носителей

Приветствую всех!

Думаю, всем нам известно, что вплоть до середины нулевых основным средством для переноса данных между компьютерами служили дискеты. Но, разумеется, нетрудно догадаться, что помимо них были и другие, менее распространённые носители. Какие-то из них были чрезвычайно надёжными, какие-то, напротив, иногда становились худшим, что могло случиться с устройством для хранения данных.
Итак, в сегодняшней статье поговорим об одном из самых крутых носителей данных тех лет — о магнитооптических дисках. Разберёмся, как устроены и как работают такие девайсы, каковы они в использовании. Традиционно будет много интересного.


Читать: https://habr.com/ru/post/724628/
Совместная работа с документами в компании, если нельзя использовать Google Drive и другие популярные сервисы

Сложно представить свои повседневные будни без использования облачных сервисов Google Drive, DropBox, iCloud и других. Тем не менее, в нынешних обстоятельствах мы вынуждены менять привычные решения. На первый план вышли такие характеристики продуктов, как страна происхождения компании-разработчика, геолокализация данных и другие.

Как быть, если корпоративные сервисы, разрешенные для использования в организации, не справляются?


Читать: https://habr.com/ru/post/725030/
Использование отечественных BI-систем для миграции данных из Postgres в Clickhouse

В последние годы напряженная экономическая и политическая ситуация в связи с усилением международных санкций привела к уходу многих зарубежных компаний с рынка бизнес-аналитических систем и ограничению доступа к их продуктам и услугам. В частности, рынок бизнес-аналитики столкнулся с серьезными вызовами, так как многие российские предприятия и организации стали ограничены в использовании западных BI-систем. Однако эти трудности послужили стимулом для роста интереса к отечественным разработкам в сфере бизнес-аналитики.


Читать: https://habr.com/ru/post/725096/
Women Leaders at MongoDB: Lena Smart Discusses Clarity and Goal Setting

Read: https://www.mongodb.com/blog/post/women-leaders-mongodb-lena-smart-discusses-clarity-goal-setting
MariaDB R2DBC Connector 1.1.4 now available

Read: https://mariadb.com/?p=35118