DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Exadata — платформа не только для крупнейших
В статье говорится, что за 15+ лет Exadata стала ведущей платформой для Oracle Database и подходит не только для критичных и сверхбольших баз, но и для более широкого круга задач.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle RAC в облаке: масштабирование и доступность
Как использовать Oracle RAC в облачных средах — разбирают преимущества, варианты развёртывания и практические рекомендации по масштабированию и повышению отказоустойчивости баз данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Итоги 2024: ключевые анонсы Oracle Database в облаке
В статье подведены главные нововведения Oracle Database в облаке за 2024 год и прогнозы на 2025-й. Краткий обзор ключевых анонсов и направлений развития сервисов.

Читать подробнее

#en

@database_design | Другие наши каналы
Новинки Oracle Database в облаке — 2024

Oracle в 2024 году запустила Database@Google Cloud и Database@AWS, представила Exadata Exascale с интеллектуальной архитектурой и Oracle Database 23ai с нативным Vector search — ключевые обновления для ADB‑D и AI‑решений.

Читать подробнее

#en

@database_design | Другие наши каналы
Когда база данных становится открытой книгой

Базы данных превращаются в «открытую книгу», когда конфиденциальная информация из них становится доступна злоумышленникам или широкой публике из-за утечек. К сожалению, 2024-2025 годы принесли множество таких утечек – в самых разных отраслях. Согласно данным Роскомнадзора, только в России за 2024 год было зафиксировано 135 утечек баз данных, затронувших более 710 млн записей о россиянах. Лидерами по количеству утечек стали торговый сектор и государственные организации. В мире тенденция схожая: глобально число утечек и скомпрометированных записей бьёт рекорды. В этой статье будут разобраны недавние громкие кейсы утечек по секторам (энергетика, госсектор, e-commerce и др.), проанализируем технические причины: от открытых портов NoSQL и слитых резервных копий до уязвимых CI/CD-пайплайнов, а также практические рекомендации, как не допустить, чтобы ваша база данных стала общедоступной библиотекой. Мы в Security Vision также рассматриваем эти задачи как ключевые в разработке решений нового поколения, в том числе в области автоматизации защиты баз данных и безопасной разработки.


Читать: https://habr.com/ru/companies/securityvison/articles/959320/

#ru

@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.


Читать: https://habr.com/ru/companies/datasapience/articles/959496/

#ru

@database_design | Другие наши каналы
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.


Читать: https://habr.com/ru/companies/datasapience/articles/959496/

#ru

@database_design | Другие наши каналы
5 ключевых улучшений нового поколения однофазных ИБП Systeme Electric

Недавно мы анонсировали выход на российский рынок нового поколения однофазных источников бесперебойного питания серии Smart-Save Online SRT G2. Да, звучит, вероятно, достаточно длинно, но данное название лучше всего отражает саму суть новинки – это следующее поколение уже давно представленной на рынке линейки SRT и, как полагается, улучшенное поколение! В рамках данного обзора постараемся сформулировать ключевые улучшения, которых нам удалось добиться, а также пояснить, как это может помочь нашим клиентам и партнерам.

Предлагаем посмотреть на сами ИБП – в линейке доступны две серии, соответствующие мощностным диапазонам 1-3 кВА и 5-10 кВА. На текущий момент это устоявшаяся традиция делить однофазные ИБП именно так, то есть на те, которые можно воткнуть в обычную розетку 16 А, и на более мощные устройства, требующие уже клеммного подключения входного питания.

Начнем с меньшей мощности 1-3 кВА.


Читать: https://habr.com/ru/companies/se_blog/articles/959526/

#ru

@database_design | Другие наши каналы
HTTP и HTTPS: Разница

Очень часто на собеседованиях кандидаты слышат вопрос: «В чем разница между HTTP и HTTPS?» И так же часто делают задумчивое лицо, не зная, что ответить. Мы даже как-то писали об этом пост.

Сегодня пришло время рассказать, в чем же разница между HTTP и HTTPS, а также разобрать механику HTTP-запроса и ответа и ключевые принципы работы обоих протоколов. В общем, прочитав эту статью, вы точно сможете дать правильный ответ на собеседовании.


Читать: https://habr.com/ru/articles/959544/

#ru

@database_design | Другие наши каналы
Dumper: единый инструмент для резервного копирования баз данных

Когда в инфраструктуре десятки сервисов и баз данных разных типов, ручное резервное копирование превращается в кошмар.

Один сервер использует PostgreSQL, другой — MySQL, третий — MongoDB, и для каждого нужны свои команды (pg_dump, mysqldump, mongodump) и свои скрипты.

Проект Dumper решает эту проблему он объединяет все типы баз в один универсальный инструмент.

Dumper написан на Go и работает через CLI, конфигурация задаётся в YAML — поэтому его легко встроить в cron, CI/CD pipelines, GitHub Actions или Docker-окружение.


Читать: https://habr.com/ru/articles/959572/

#ru

@database_design | Другие наши каналы
Spark, DataSphere и немного магии: как мы строим аналитическую платформу в облаке для банка

Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними.

Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark и Jupyter‑ноутбуков в Yandex DataSphere.


Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/957470/

#ru

@database_design | Другие наши каналы
dbt 101: что нужно знать на старте и лучшие практики

dbt — это фреймворк для трансформации данных внутри хранилища и отличный инструмент для аналитиков и дата-инженеров на больших проектах, где число SQL-скриптов может переваливать за сотни. Мы с командой много работаем с dbt, и в этой статье хочу поделиться своим опытом: расскажу о его ключевых элементах и некоторых лучших практиках на примере одного кейса.

Это не гайд, как развернуть dbt и создать проект, а знакомство с тулом для тех, кто пока с ним не работал и хочет разобраться, что это вообще такое.


Читать: https://habr.com/ru/articles/959846/

#ru

@database_design | Другие наши каналы
Становятся ли жёсткие диски лучше? Спросим кривую отказов

Если вы уже давно знакомы с Backblaze (особенно, если следите за обзорами Drive Stats), то наверняка читали наши обсуждения кривой отказов. В статье «Drive Failure Over Time: The Bathtub Curve Is Leaking» мы писали о том, как проверяли истинность старого инженерного принципа, гласящего, что сбои в работе привода, представленные в виде временного графика, демонстрируют предсказуемую U-образную кривую, иначе называемую кривая «ванны».

Но тест этого не подтвердил. В результате анализа нашей коллекции приводов были зафиксированы всплески и плато, которые никак не вписывались в предсказуемый паттерн. Теперь, спустя 13 лет непрерывного сбора данных, удалось получить более ясную картину, но и более странную.

И «ванна» в этом случае не просто «потекла» (отсылка к leak в названии вышеупомянутой статьи, — прим. пер.), её форма больше напоминает бордюр при входе в душевую кабину. Складная история о том, что вначале идут сбои, а потом спокойный средний период с плавным повышением отказов, больше не вписываются в реалии жизни наших приводов. Они становятся лучше. Говоря точнее, датасет Drive Stats указывает на повышение их качественных показателей конкретно в дата-центрах.

Давайте же посмотрим, как выглядит полученная нами кривая отказов, и как она соотносится с прежними поколениями анализа.

Если коротко, то жёсткие диски становятся лучше.


Читать: https://habr.com/ru/companies/ruvds/articles/958920/

#ru

@database_design | Другие наши каналы
Эвристика: OR в SQL — это дорого

Один запрос выполняется 100 мс, другой — меньше 1 мс. Оба делают одно и то же, но второй написан на странном, почти алхимическом SQL. В чём подвох? Первый использует OR, а второй — хитрую комбинацию AND. Этот перевод — расследование того, почему условие OR так дорого обходится вашей базе данных, и практическое руководство по тому, как проектировать схемы, чтобы избежать этой ловушки производительности.


Читать: https://habr.com/ru/companies/postgrespro/articles/953506/

#ru

@database_design | Другие наши каналы
Вертикальное шардирование базы данных: проблемы, решения, практические рекомендации

База данных — это сердце системы. И в какой-то момент это сердце начинает давать сбои. Не от объема данных, а от их разнородности. Таблица users разрастается до 200 колонок. Одни нужны для логина каждую секунду, другие — для годового отчета раз в год. В итоге, чтобы прочитать два "горячих" поля, база тащит с диска целый блок с "холодными" данными. Это неэффективно.


Читать: https://habr.com/ru/articles/959748/

#ru

@database_design | Другие наши каналы
1
Какие приложения установить на Windows и macOS

Список разбит по категориям: от браузеров и гейминга до утилит безопасности и инструментов для продуктивности.

Читать: «Какие приложения установить на Windows и macOS»

#ru

@database_design | Другие наши каналы
Enterprise Manager 24ai: переработанный Oracle Data Masking

Enterprise Manager 24ai получил полностью обновлённый Oracle Data Masking and Subsetting: новый интерфейс и упрощённые рабочие процессы ускоряют обнаружение и маскирование конфиденциальных данных.

Читать подробнее

#en

@database_design | Другие наши каналы
Как порядок в CRM повышает эффективность клиентских процессов

Привет, Хабр!

Меня зовут Сергей Соловьёв, я руководитель отдела методологии в компании BPMSoft. Мы являемся разработчиком одноименной CRM-системы на базе low-code платформы со встроенными ИИ-инструментами. По версии Фонда Сколково и аналитического центра TAdviser, а также консалтинговой компании «Технологии доверия» – лучшей на российском рынке в 2024 году. В этой статье я расскажу, как мы управляем данными в собственной CRM и как это повышает эффективность бизнес-процессов.

Как появляется хаос

Разные подразделения компании работают с разными данными. Бухгалтерии важны название юридического лица и банковские реквизиты, отделу продаж — история взаимодействия с ним и потенциал кросс-продаж. При этом информация в CRM не всегда вносится корректно, что затрудняет поиск и работу с карточками клиентов. В результате данные оказываются фрагментированными и разрозненными: одному контрагенту нередко могут соответствовать две разные карточки.

Дубли контрагентов приводят к организационным проблемам. Если в CRM заведены две карточки одного клиента, разные менеджеры могут вести с ним параллельные переговоры, даже не подозревая об этом.

Проблема становится критичной по мере роста бизнеса и увеличения числа ошибок, связанных с некорректным ведением данных. Когда такие ситуации приобретают массовый характер, компании осознают необходимость системного управления. Однако на ранних этапах этому, как правило, не придают значения — в фокусе остается выбор и использование решений для автоматизации продаж и маркетинга. Чтобы эти процессы автоматизации работали точно, как швейцарские часы, нужно уделить внимание порядку в данных, от которого напрямую зависит эффективность использования новых систем и решений.


Читать: https://habr.com/ru/companies/bpmsoft/articles/960486/

#ru

@database_design | Другие наши каналы
Полезные фишки iCloud, Google Drive и Яндекс Диска, о которых многие не знают

Облачные хранилища стали настолько привычными, что большинство из нас использует их тупо на автопилоте – для хранения фотографий или бэкапов. Из-за этого, кстати, часть функций, которые есть в облаках, для многих остаются в тайне. А ведь внутри этих сервисов спрятаны возможности, способные реально изменить подход к работе с данными.


Читать: https://habr.com/ru/companies/finops_ru/articles/960518/

#ru

@database_design | Другие наши каналы
SFP не определяется системой: как мы решали проблему

Всем привет! Я руковожу группой технической поддержки и сопровождения в компании «Онланта». Мы занимаемся поддержкой оборудования различных вендоров. Сегодня расскажу о кейсе по решению проблемы с СХД Dell: система не определяет SFP.


Читать: https://habr.com/ru/companies/lanit/articles/958612/

#ru

@database_design | Другие наши каналы
Гайд по здравому смыслу: Как защитить корпоративные данные в эпоху нейросетей

Привет, Хабр! Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и СЕО онлайн-университета «Зерокодер». Обычно я пишу о том, что нейросети — это круто, но было бы нечестно не говорить и об обратной стороне монеты.

Сегодня я хочу порассуждать о том, как нечистые на руки люди могут использовать ИИ для манипуляции с данными, и о том, какие способы защиты от потенциальных уязвимостей я смог для себя выделить.

Если есть что добавить — пишите в комменты!


Читать: https://habr.com/ru/articles/957282/

#ru

@database_design | Другие наши каналы