Кому нужна Cassandra? Пара слов о преимуществах колоночных ​​баз данных

Колоночная база данных — это такой тип базы данных, в которой данные группируются (хранятся и извлекаются) не по строкам, а по столбцам.

В традиционной строчной базе данных данные хранятся и извлекаются по строкам, что означает, что все столбцы строки должны храниться вместе. Однако в колоночной базе данных, ориентированной на столбцы, каждый столбец таблицы хранится отдельно, что позволяет более эффективно хранить и извлекать данные.

Одни из самых популярных колоночных баз данных – Apache Cassandra и Apache HBase.


Читать: https://habr.com/ru/companies/otus/articles/729890/

Bosch IoT and the Importance of Application-Driven Analytics

Read: https://www.mongodb.com/blog/post/bosch-iot-the-importance-application-driven-analytics

Московский политех не слышал про конфиденциальность

Почему не стоит подавать документы через сайт Московского Политеха, какая угроза персональным данным абитуриента и к чему может привести утечка данных? Обо всем этом — в данной статье.


Читать: https://habr.com/ru/articles/730236/

ADDM Spotlight provides strategic advice to optimize Oracle database performance

Oracle Database ADDM (Automatic Database Diagnostic Monitor) has new Spotlight capability in Oracle Enterprise Manager and Oracle Cloud Infrastructure Operations Insights service. The feature enables administrators to get ADDM analysis across databases deployed in diverse environments over long periods from a single pane of glass. Read this blog to learn how you can get better database performance analysis with this capability.

Read: https://blogs.oracle.com/database/post/addm-spotlight-strategic-advice-optimize-oracle-dbms

Ещё эпические фейлы при открытии в Казахстане (почему мы так задержались)


ЦОД в Астане, где мы встали

В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.

Это не первый опыт наших эпик фейлов в Казахстане.

Оставалось купить железо, настроить оплаты и заехать в ЦОДы.

Если бы всё шло хорошо, пост бы в этом месте кончился. Предоставили сервис, спасибо, всё дальше было отлично.


Читать: https://habr.com/ru/companies/ruvds/articles/730054/

DataHub: как делиться структурированными данными и получать за них донаты?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.


Читать: https://habr.com/ru/articles/730434/

Как создать таблицы в БД ClickHouse на основе CSV

Когда я впервые начал знакомиться с колоночно-ориентированной СУБД ClickHouse, я не смог найти подходящий инструмент (кроме встроенного в веб-интерфейс ClickHouse Cloud) для создания таблиц с нужными столбцами и типами данных на основе CSV файлов или Pandas датафреймов. Ни clickhouse-connect, ни clickhouse-driver не обладали такой функциональностью, как метод to_sqlв SQLAlchemy.

Я хотел загрузить свой любимый набор данных о чемпионатах мира по автогонкам класса Формула-1 в ClickHouse, но вручную создавать 15 таблиц было слишком лениво. Хотелось просто скормить нужные CSV файлы скрипту и на выходе получить БД с нужными таблицами и данными внутри.

Когда я ранее знакомился с PySpark, я заметил, что многие data-профессионалы используют Pandas для определения схемы данных перед загрузкой файлов CSV в PySpark. И я подумал, почему бы не использовать Pandas для определения типов данных по столбцам?

Так я создал этот скрипт, которым хочу поделиться. Я надеюсь, что он поможет вам сэкономить немного времени, а мне даст возможность получить от вас пару фидбеков и идей для улучшения.

Я не уверен в полной совместимости типов данных между Pandas и ClickHouse: быстрый поиск дал противоречивые результаты, поэтому поправьте меня, если найдете какие-либо расхождения.

И будьте осторожны с replace_flag- если установлено значение True, то скрипт пересоздаст таблицы с тем же именем, если они уже существуют, поэтому вы можете потерять существующие данные в своей базе данных. Чтобы избежать этого, но также избежать дублирования данных, я рекомендую указать несуществующее имя базы данных в качестве database_name. Если установлено значение False в replace_flag, данные из ваших файлов CSV будут добавляться в существующие таблицы с тем же именем (конечно же, число столбцов и их типы данных должны совпадать).


Читать: https://habr.com/ru/articles/730470/

Сравнение SQL- и NoSQL-баз данных



SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. Чтобы понять, какая из них подойдёт в вашем случае, необходимо разобраться в их различиях, преимуществах и недостатках.

В этой статье я рассмотрю основные характеристики SQL- и NoSQL-баз данных и сравню их, чтобы помочь выбрать лучший вариант для вашего проекта.

Читать: https://habr.com/ru/companies/ruvds/articles/727474/

DataHub: репозитории данных коммерческого типа. Как зарабатывать на доступе к данным?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье покажу, каким образом можно монетизировать имеющиеся у вас структурированные и неструктурированные данные будь вы разработчик, data-scientist или ML-специалист.


Читать: https://habr.com/ru/articles/730638/

Property Graphs in SQL Developer release 23.1

You can use your favorite SQL tool (SQL Developer) to run SQL queries and PGQL queries on property graphs.

Read: https://blogs.oracle.com/database/post/property-graphs-in-sql-developer-release-231

PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT

PHPize.online это онлайн-сервис, где можно быстро создать и выполнить запросы к базам данных SQL, используя любую из самых популярных СУБД.

Читать: «PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT»

MariaDB ColumnStore Docker Quick Start Guide

Read: https://mariadb.com/?p=35425

Database links in Autonomous Database Shared are the past - Cloud links are the future

Database links have been around for decades but always require measurable administration effort. You must exchange connection and authentication information about databases to connect those, one database at a time.

With Oracle Autonomous Database Shared, the ability to connect individual databases, or even many databases, is simplified significantly. Cloud links enable you to easily make data remotely accessible for one or many other autonomous databases within your defined security realms.

Read: https://blogs.oracle.com/database/post/database-links-in-autonomous-database-shared-are-the-past---cloud-links-are-the-future

Introduction to JavaScript in Oracle Database 23c Free - Developer Release

Oracle Database 23c Free - Developer Release is the first release of the next-generation Oracle Database, allowing developers a head-start on building applications with innovative 23c features that simplify development of modern data-driven apps. The entire feature set of Oracle Database 23c is planned to be generally available within the next 12 months.

Read: https://blogs.oracle.com/database/post/introduction-javanoscript-oracle-database-23c-free-developer-release

MariaDB ODBC Connector 3.2.0 Alpha now available

Read: https://mariadb.com/?p=35439

DataHub: организовываем доступ к публичным данным через Predefined Queries

Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу, каким образом можно организовать доступ для внешних пользователей к репозиториям данных через Predefined Queries.


Читать: https://habr.com/ru/articles/730858/

Всё своё ношу с собой. Личная библиотека знаний

Когда Интернет был маленьким, модемы медленными, а провайдеры жадными, мы сохраняли всё полезное у себя на винчестерах, героически пытаясь вместить всё нужное в скромный объём дискового пространства. В те времена это был единственный способ обеспечить себе быстрый и эффективный доступ к информации.

Высокоскоростной Интернет нас избаловал — мы перестали скачивать файлы и формировать свои собственные локальные библиотеки знаний и контента. Книги, музыка, фильмы, дистрибутивы, документация, исходники — всё теперь лежит на сайтах и в облаках. Зачем что-то скачивать, если всё оно моментально доступно по одному клику?

Когда я в очередной раз не нашёл по привычной ссылке нужный мне онлайн-ресурс, я понял, что пора вернуться к истокам. Как известно, облаков на самом деле не существует — это всего лишь чужие компьютеры...


Читать: https://habr.com/ru/articles/730818/

Проектирование реляционных баз данных: основные принципы

Привет, дорогие читатели! Я сегодня хочу поговорить о важной теме для всех, кто работает с базами данных. Это проектирование реляционных баз данных. Кажется, что звучит ужасно скучно, да? Но на самом деле это важнейший инструмент для успешной разработки и поддержки баз данных.

Представьте, что у вас есть огромная база с данными, и вы должны ее грамотно поддерживать и обновлять. Как вы будете организовывать все эти данные? Ведь вы не просто должны их просто хранить, но и легко извлекать, изменять, удалять и т.д. Именно здесь и приходит на помощь знание принципов проектирования реляционных баз данных, эти знания позволяют организовать вашу базу данных таким образом, чтобы минимизировать ошибки и неэффективность запросов, а также упростит ее поддержку в будущем.

Правильное проектирование может повысить эффективность работы базы данных и уменьшить количество запросов к ней, что в свою очередь уменьшает время ответа, повышает производительность и общую надежность базы.


Читать: https://habr.com/ru/companies/otus/articles/731010/

DataHub: веб-песочница для тех, кто изучает SQL

Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.


Читать: https://habr.com/ru/articles/731158/

Книга «MySQL по максимуму. 4-е издание»

Привет, Хаброжители!

Хотите выжать из MySQL максимум возможностей? Вам поможет уникальная книга, написанная экспертами для экспертов.

Пора изучать лучшие практики, начиная с постановки целей уровня обслуживания, проектирования схем, индексов, запросов и заканчивая настройкой вашего сервера, операционной системы и оборудования, чтобы реализовать потенциал вашей платформы по максимуму. Администраторы баз данных научатся безопасным и практичным способам масштабирования приложений с помощью репликации, балансировки нагрузки, высокой доступности и отказоустойчивости.

Это издание было обновлено и переработано с учетом последних достижений в области облачного и самостоятельного хостинга MySQL, производительности InnoDB, а также новых функций и инструментов. Вы сможете разработать платформу реляционных данных, которая будет масштабироваться вместе с вашим бизнесом, и узнаете о передовых методах обеспечения безопасности, производительности и стабильности баз данных.

Читать: https://habr.com/ru/companies/piter/articles/731236/

Three Major IoT Data-Related Challenges and How to Address Them

Read: https://www.mongodb.com/blog/post/three-major-iot-data-related-challenges-how-address-them