Как устроено индексирование баз данных
Индексирование баз данных — это техника, повышающая скорость и эффективность запросов к базе данных. Она создаёт отдельную структуру данных, сопоставляющую значения в одном или нескольких столбцах таблицы с соответствующими местоположениями на физическом накопителе, что позволяет базе данных быстро находить строки по конкретному запросу без необходимости сканирования всей таблицы. Применяются разные типы индексов, однако они занимают пространство и должны обновляться при изменении данных. Важно тщательно продумывать стратегию индексирования базы данных и регулярно её оптимизировать.
Читать: https://habr.com/ru/companies/ruvds/articles/724066/
Индексирование баз данных — это техника, повышающая скорость и эффективность запросов к базе данных. Она создаёт отдельную структуру данных, сопоставляющую значения в одном или нескольких столбцах таблицы с соответствующими местоположениями на физическом накопителе, что позволяет базе данных быстро находить строки по конкретному запросу без необходимости сканирования всей таблицы. Применяются разные типы индексов, однако они занимают пространство и должны обновляться при изменении данных. Важно тщательно продумывать стратегию индексирования базы данных и регулярно её оптимизировать.
Читать: https://habr.com/ru/companies/ruvds/articles/724066/
Генерация данных — творчество или рутина?
Долгие годы люди стремились к всё более реалистичному изображению окружающих их вещей. Много лет прошло от симпатичных наскальных мамонтов до шедевров эпохи Ренессанса и Просвещения. Однако где-то в 19-м веке (примерно, когда стала появляться первая фототехника, ага), что-то пошло не так, и живопись сменила своё направление от реализма к абстракции. Дальше больше; и все "скатилось" до клякс, пятен и потёков, размазанных по холсту или любой другой поверхности стоимостью в миллионы долларов... И при этом зачастую совершенно было непонятно, кто автор "шедевра": 3-х летний ребенок, маститый художник, нейросеть или кот, опрокинувший банку варенья.
Похожие процессы происходят и в мире данных, синтетические, сгенерированные, абстрактные данные обретают всё большую ценность на рынке. Такие данные являются более безопасными, а также позволяют тестировать системы качественнее и воспроизводить проблемы до их появления в продакшене... А еще делать прогнозы, анализ, безопасно обмениваться и многое другое.
В этом посте мы рассмотрим основные моменты генерации данных с нуля (на основе схемы БД), а так же на основе уже существующих данных. Рассмотрим способы, методы, особенности и инструменты. А каждый шаг будем иллюстрировать примерами живых и настоящих SQL-запросов (в основном PostgreSQL-flavour, но постараемся и не только). И в итоге убедимся, что SQL позволяет нам не только эффективно работать с уже существующими данными (на минуточку, уже почти на протяжении 50 лет), но с помощью него их можно еще и довольно эффектно придумывать.
А начнем мы конечно же с ChatGPT
Читать: https://habr.com/ru/articles/723202/
Долгие годы люди стремились к всё более реалистичному изображению окружающих их вещей. Много лет прошло от симпатичных наскальных мамонтов до шедевров эпохи Ренессанса и Просвещения. Однако где-то в 19-м веке (примерно, когда стала появляться первая фототехника, ага), что-то пошло не так, и живопись сменила своё направление от реализма к абстракции. Дальше больше; и все "скатилось" до клякс, пятен и потёков, размазанных по холсту или любой другой поверхности стоимостью в миллионы долларов... И при этом зачастую совершенно было непонятно, кто автор "шедевра": 3-х летний ребенок, маститый художник, нейросеть или кот, опрокинувший банку варенья.
Похожие процессы происходят и в мире данных, синтетические, сгенерированные, абстрактные данные обретают всё большую ценность на рынке. Такие данные являются более безопасными, а также позволяют тестировать системы качественнее и воспроизводить проблемы до их появления в продакшене... А еще делать прогнозы, анализ, безопасно обмениваться и многое другое.
В этом посте мы рассмотрим основные моменты генерации данных с нуля (на основе схемы БД), а так же на основе уже существующих данных. Рассмотрим способы, методы, особенности и инструменты. А каждый шаг будем иллюстрировать примерами живых и настоящих SQL-запросов (в основном PostgreSQL-flavour, но постараемся и не только). И в итоге убедимся, что SQL позволяет нам не только эффективно работать с уже существующими данными (на минуточку, уже почти на протяжении 50 лет), но с помощью него их можно еще и довольно эффектно придумывать.
А начнем мы конечно же с ChatGPT
Читать: https://habr.com/ru/articles/723202/
Согласованность данных: что это на самом деле такое и почему с ней все так сложно
Понятие согласованности данных сложное, неоднозначное и включает в себя широкий спектр определений, лишь частично совпадающих друг с другом. Команда VK Cloud перевела статью, в которой автор определяет термин «согласованность» в области распределенных БД и рассуждает на тему этой самой согласованности.
Читать: https://habr.com/ru/companies/vk/articles/723734/
Понятие согласованности данных сложное, неоднозначное и включает в себя широкий спектр определений, лишь частично совпадающих друг с другом. Команда VK Cloud перевела статью, в которой автор определяет термин «согласованность» в области распределенных БД и рассуждает на тему этой самой согласованности.
Читать: https://habr.com/ru/companies/vk/articles/723734/
Использование отечественных BI-систем для миграции данных из Postgres в Clickhouse
В последние годы напряженная экономическая и политическая ситуация в связи с усилением международных санкций привела к уходу многих зарубежных компаний с рынка бизнес-аналитических систем и ограничению доступа к их продуктам и услугам. В частности, рынок бизнес-аналитики столкнулся с серьезными вызовами, так как многие российские предприятия и организации стали ограничены в использовании западных BI-систем. Однако эти трудности послужили стимулом для роста интереса к отечественным разработкам в сфере бизнес-аналитики.
Читать: https://habr.com/ru/companies/otus/articles/725096/
В последние годы напряженная экономическая и политическая ситуация в связи с усилением международных санкций привела к уходу многих зарубежных компаний с рынка бизнес-аналитических систем и ограничению доступа к их продуктам и услугам. В частности, рынок бизнес-аналитики столкнулся с серьезными вызовами, так как многие российские предприятия и организации стали ограничены в использовании западных BI-систем. Однако эти трудности послужили стимулом для роста интереса к отечественным разработкам в сфере бизнес-аналитики.
Читать: https://habr.com/ru/companies/otus/articles/725096/
NULL в SQL: Что это такое и почему его знание необходимо каждому разработчику
NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы.
История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных.
Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных").
Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение.
Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение.
Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице.
Читать: https://habr.com/ru/articles/725214/
NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы.
История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных.
Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных").
Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение.
Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение.
Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице.
Читать: https://habr.com/ru/articles/725214/
Способы организации инфраструктуры с базами данных: от простого к сложному и эффективному
За простыми UML- и ER-диаграммами архитектур скрываются витиеватые способы организации IT-инфраструктуры. Самый яркий пример — связь между веб-сервером и базой данных.
Какие есть варианты организации инфраструктуры с базами данных? Чем они отличаются и какие у них преимущества и недостатки? С такими же вопросами к нам приходят клиенты. Поэтому мы постарались расставить все по полочкам, а также показать, как связать сервер с базой данных через L3 VPN-соединение. Подробности под катом.
Читать: https://habr.com/ru/companies/selectel/articles/725234/
За простыми UML- и ER-диаграммами архитектур скрываются витиеватые способы организации IT-инфраструктуры. Самый яркий пример — связь между веб-сервером и базой данных.
Какие есть варианты организации инфраструктуры с базами данных? Чем они отличаются и какие у них преимущества и недостатки? С такими же вопросами к нам приходят клиенты. Поэтому мы постарались расставить все по полочкам, а также показать, как связать сервер с базой данных через L3 VPN-соединение. Подробности под катом.
Читать: https://habr.com/ru/companies/selectel/articles/725234/
Дублирование данных для создания ограничений (контролей) на уровне БД
Использование ограничений на стороне базы данных, таких как внешние ключи, проверки значений, требования уникальности, иногда вызывают споры среди разработчиков. Аргумменты «за» и «против» обеих сторон хорошо известны.
Рассмотрим пример, когда ограничения не просто применяются, а реализуют дополнительную логику с помощью дублирования некоторых данных.
Подробнее
Читать: https://habr.com/ru/articles/726328/
Использование ограничений на стороне базы данных, таких как внешние ключи, проверки значений, требования уникальности, иногда вызывают споры среди разработчиков. Аргумменты «за» и «против» обеих сторон хорошо известны.
Рассмотрим пример, когда ограничения не просто применяются, а реализуют дополнительную логику с помощью дублирования некоторых данных.
Подробнее
Читать: https://habr.com/ru/articles/726328/
Postgres: графовая база данных, о которой вы не подозревали
PostgreSQL (Postgres) — это мощная реляционная база данных, способная хранить широкий спектр типов и структур данных. Когда нам нужно хранить графовые структуры данных, мы часто обращаемся к базам данных, позиционируемым как подходящее для этого решение, например, к Neo4J или Dgraph. Но не торопитесь! Хотя при работе с графовыми структурами данных о Postgres обычно не вспоминают, она идеально справляется с эффективным хранением графовых данных и запросами к ним.
Читать: https://habr.com/ru/articles/726598/
PostgreSQL (Postgres) — это мощная реляционная база данных, способная хранить широкий спектр типов и структур данных. Когда нам нужно хранить графовые структуры данных, мы часто обращаемся к базам данных, позиционируемым как подходящее для этого решение, например, к Neo4J или Dgraph. Но не торопитесь! Хотя при работе с графовыми структурами данных о Postgres обычно не вспоминают, она идеально справляется с эффективным хранением графовых данных и запросами к ним.
Читать: https://habr.com/ru/articles/726598/
Leading by Example: Salvatore D’Auria is Taking MongoDB Italy to New Heights
Read: https://www.mongodb.com/blog/post/leading-example-salvatore-dauria-taking-mongodb-italy-new-heights
Read: https://www.mongodb.com/blog/post/leading-example-salvatore-dauria-taking-mongodb-italy-new-heights
How MongoDB, A*STAR, and Industry Partners are Collaborating on Singapore’s Supply Chain 4.0 Initiative
Read: https://www.mongodb.com/blog/post/mongodb-astar-industry-partners-collaborating-on-singapores-supply-chain-initiative
Read: https://www.mongodb.com/blog/post/mongodb-astar-industry-partners-collaborating-on-singapores-supply-chain-initiative
Базы данных для самых маленьких
Во время работы с различными проектами, будь то небольшой блог или огромная web-платформа, неизбежно возникает необходимость хранить и организовывать большие объемы данных. Базы данных являются ключевым элементом в этом процессе, и позволяют легко хранить и быстро получать доступ к необходимой информации. Однако, для начинающих свой путь в айти тема база данных может оказаться сложным и даже запутанным заданием.
В первый раз столкнувшись с термином "база данных", многим это может показаться непонятным и сложным. Я тоже помню свой первый опыт работы с базами данных, но с опытом понял, что их использование не только несложно, но и облегчает многие задачи в работе с информацией. Давайте вместе разберемся, что такое базы данных и зачем они нужны.
Читать: https://habr.com/ru/articles/726412/
Во время работы с различными проектами, будь то небольшой блог или огромная web-платформа, неизбежно возникает необходимость хранить и организовывать большие объемы данных. Базы данных являются ключевым элементом в этом процессе, и позволяют легко хранить и быстро получать доступ к необходимой информации. Однако, для начинающих свой путь в айти тема база данных может оказаться сложным и даже запутанным заданием.
В первый раз столкнувшись с термином "база данных", многим это может показаться непонятным и сложным. Я тоже помню свой первый опыт работы с базами данных, но с опытом понял, что их использование не только несложно, но и облегчает многие задачи в работе с информацией. Давайте вместе разберемся, что такое базы данных и зачем они нужны.
Читать: https://habr.com/ru/articles/726412/
Подключаемся к внутреннему протоколу iiko
Как подключиться к внутреннему протоколу iiko, если возможностей публичного API не хватает для выполнения задач.
Читать: «Подключаемся к внутреннему протоколу iiko»
Как подключиться к внутреннему протоколу iiko, если возможностей публичного API не хватает для выполнения задач.
Читать: «Подключаемся к внутреннему протоколу iiko»
Tproger
Внутренний протокол iiko: как подключиться
Как подключиться к внутреннему протоколу iiko, если возможностей публичного API не хватает для выполнения задач.
Простой и эффективный метод удаления дубликатов из таблицы
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Читать: «Простой и эффективный метод удаления дубликатов из таблицы»
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Читать: «Простой и эффективный метод удаления дубликатов из таблицы»
Tproger
Как просто удалить дубликаты из SQL-таблицы
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Простой и эффективный метод удаления дубликатов из таблицы
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Читать: «Простой и эффективный метод удаления дубликатов из таблицы»
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Читать: «Простой и эффективный метод удаления дубликатов из таблицы»
Tproger
Как просто удалить дубликаты из SQL-таблицы
Как быстро и просто удалить дубликаты данных в SQL-базе, чтобы избежать ошибок в программном коде, который использует эти данные.
Key benefits of JSON Relational Duality: Experience it today using "Oracle Database 23c Free--Developer Release"
Blog on Oracle Database 23c feature highlighting key benefits and providing links to tutorials and assets
Read: https://blogs.oracle.com/database/post/key-benefits-of-json-relational-duality-experience-it-today-using-oracle-database-23c-free-developer-release
Blog on Oracle Database 23c feature highlighting key benefits and providing links to tutorials and assets
Read: https://blogs.oracle.com/database/post/key-benefits-of-json-relational-duality-experience-it-today-using-oracle-database-23c-free-developer-release
Steps to Enable Exadata Cloud Service Monitoring using OCI Performance Hub
Detailed step by step instructions for enabling Exadata monitoring in ExaCS using Performance Hub.
Read: https://blogs.oracle.com/database/post/steps-to-enable-exadata-exacs-monitoring-using-oci-performance-hub
Detailed step by step instructions for enabling Exadata monitoring in ExaCS using Performance Hub.
Read: https://blogs.oracle.com/database/post/steps-to-enable-exadata-exacs-monitoring-using-oci-performance-hub
Oracle
Steps to Enable Exadata Cloud Service Monitoring using OCI Performance Hub
Detailed step by step instructions for enabling Exadata monitoring in ExaCS using Performance Hub.
Autonomous Database Newsletter - March 30, 2022
Latest newsletter for Autonomous Database Shared from the ADB product management teams
Read: https://blogs.oracle.com/database/post/autonomous-database-newsletter---march-30-2022-v2
Latest newsletter for Autonomous Database Shared from the ADB product management teams
Read: https://blogs.oracle.com/database/post/autonomous-database-newsletter---march-30-2022-v2
Leading Industry Analysts Comment on Oracle Database 23c Free—Developer Release
Oracle has just made Oracle Database 23c Free—Developer Release available to the developer community for early access. Read leading industry analysts' comments on the release.
Read: https://blogs.oracle.com/database/post/oracle-database-23c-free-analyst-reactions
Oracle has just made Oracle Database 23c Free—Developer Release available to the developer community for early access. Read leading industry analysts' comments on the release.
Read: https://blogs.oracle.com/database/post/oracle-database-23c-free-analyst-reactions
Oracle
Leading Industry Analysts Comment on Oracle Database 23c Free—Developer Release
Oracle has just made Oracle Database 23c Free—Developer Release available to the developer community for early access. Read leading industry analysts' comments on the release.
Sitonica SR403W: “Москвич” в мире серверов
Привет, Хабр! Сегодня мы делимся своими тестами сервера от компании “Ситоника”. Этот 4U-сервер, который может выступать как хранилище данных, так и одним из узлов виртуализации, поставляет российская компания. Практика показала, что его хватает для решения большинства типовых задач. Чем Sitonica SR403W отличается от наводнивших в последнее время отечественный рынок китайских серверов, и почему нам все равно пришлось выяснять нюансы его работы в WeChat, читайте под катом.
Читать: https://habr.com/ru/companies/croc/articles/727308/
Привет, Хабр! Сегодня мы делимся своими тестами сервера от компании “Ситоника”. Этот 4U-сервер, который может выступать как хранилище данных, так и одним из узлов виртуализации, поставляет российская компания. Практика показала, что его хватает для решения большинства типовых задач. Чем Sitonica SR403W отличается от наводнивших в последнее время отечественный рынок китайских серверов, и почему нам все равно пришлось выяснять нюансы его работы в WeChat, читайте под катом.
Читать: https://habr.com/ru/companies/croc/articles/727308/
👍1
GreenPlum: уникальные индексы для таблиц AO/CO
Уникальные ограничения — классическая функция реляционной базы данных, которая обеспечивает уникальность столбца или группы столбцов во время ввода данных или построения индекса. Они могут быть указаны с помощью ключевых слов
В статье разберём, как уникальные индексы помогают принимать более эффективные решения по планированию. А также рассмотрим примеры базовых сценариев и объясним, как они обрабатываются.
Читать: https://habr.com/ru/companies/southbridge/articles/727564/
Уникальные ограничения — классическая функция реляционной базы данных, которая обеспечивает уникальность столбца или группы столбцов во время ввода данных или построения индекса. Они могут быть указаны с помощью ключевых слов
UNIQUE / PRIMARY KEY. Уникальные индексы — сущности, которые их поддерживают. Хотя такие ограничения всегда можно было указать в heap-таблицах, они не поддерживались в append optimized таблицах (AO/CO). В статье разберём, как уникальные индексы помогают принимать более эффективные решения по планированию. А также рассмотрим примеры базовых сценариев и объясним, как они обрабатываются.
Читать: https://habr.com/ru/companies/southbridge/articles/727564/
SQL Server vs PostgreSQL: Сравнение двух известных реляционных баз данных
На сегодняшний день реляционные базы данных являются незаменимым инструментом для поддержки бизнес-процессов и приложений. Среди них две из самых популярных и востребованных СУБД - Microsoft SQL Server и PostgreSQL. Обе давно зарекомендовали себя как надежные и высокопроизводительные базы данных с широким функционалом. Однако, несмотря на эту общую характеристику, между ними все же есть отличия.
Сравнение SQL Server и PostgreSQL является важным вопросом для баз данных, используемых в бизнесе, чтобы лучше понимать их возможности и применимость в конкретных сферах. В данной статье мы более детально изучим основные различия между SQL Server и PostgreSQL и выявим, какая база данных наиболее подходит для решения конкретных задач.
Читать: https://habr.com/ru/articles/727700/
На сегодняшний день реляционные базы данных являются незаменимым инструментом для поддержки бизнес-процессов и приложений. Среди них две из самых популярных и востребованных СУБД - Microsoft SQL Server и PostgreSQL. Обе давно зарекомендовали себя как надежные и высокопроизводительные базы данных с широким функционалом. Однако, несмотря на эту общую характеристику, между ними все же есть отличия.
Сравнение SQL Server и PostgreSQL является важным вопросом для баз данных, используемых в бизнесе, чтобы лучше понимать их возможности и применимость в конкретных сферах. В данной статье мы более детально изучим основные различия между SQL Server и PostgreSQL и выявим, какая база данных наиболее подходит для решения конкретных задач.
Читать: https://habr.com/ru/articles/727700/