DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.3K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Ваше первое знакомство с BI-as-code

Сегодня я хочу представить вашему вниманию такую вещь, как BI-as-code, разобрав на примере нашего нового решения Lightdash CLI несколько базовых рабочих моментов. В этом руководстве собран передовой опыт работы с кодом для бизнес-аналитики.


Читать: https://habr.com/ru/post/698318/
Built by MongoDB: Qubitro Makes Device Data Accessible Anywhere it's Needed

Read: https://www.mongodb.com/blog/post/built-mongodb-qubitro-makes-device-data-accessible-anywhere-needed
Build Your Own Command-line Replica with GTID-aware mariadb-binlog (part 1)

Read: https://mariadb.com/?p=33825
Подключаемся: самое интересное на сегодняшнем ViRush

Сегодня в полдень начинается наша ежегодная конференция ViRush. В этот раз мы столкнулись с полным аншлагом оффлайн-регистраций даже при достаточной вместительности площадки. И это не удивительно, ведь мы будем говорить о кейсах миграции с известных платформ, о реальном опыте внедрения BI d в различные инфраструктуры. К счастью, для тех кто интеерсуется BI, на онлайн-трансляции место найдется всегда! В этом посте — немного подробнее о самых интересных докладах с ViRush, которые можно послушать за чашечкой кофе с печеньем, а также ссылка на трансляцию.


Читать: https://habr.com/ru/post/698484/
Чего тебе надобно, старче? Составляем дорожную карту развития СХД

Уважаемые Хабровчане,

Ни для кого не секрет, что российские системы хранения данных несмотря на бурное развитие последние годы все ещё существенно отстают по многим функциям от зарубежных. Аэродиск тут не исключение, мы всеми силами пытаемся догнать, перегнать, обойти, подсидеть и так далее, но реализация любой более-менее вменяемой технологической функции - это в первую очередь время и во вторую деньги.  С момента ухода из России многих зарубежных вендоров с рукопожатными лицами нам стало приходить много вопросов о том, когда в наших СХД будет доступен или улучшен тот или иной функционал.

При таком раскладе важность реализации нового или улучшение существующего функционала в наших СХД сложно переоценить и из этого уже в полный рост встаёт вопрос: «А что делать в первую очередь?»

И этот вопрос мы адресуем экспертам российского ИТ-сообщества, то есть Вам. А теперь приглашаем непосредственно к опросу, который можно пройти по этой ссылке.


Читать: https://habr.com/ru/post/698524/
Чем различаются Kafka и RabbitMQ: простыми словами

Если вас разбудят ночью и спросят, что такое брокеры сообщений, какие бывают и чем отличаются? Или зададут этот вопрос на собеседовании, а может просто захочется блеснуть эрудицией перед коллегами. Тогда, набрав воздуха в лёгкие, можно попробовать произнести вот такую речь.


Читать: https://habr.com/ru/post/698838/
Управление качеством данных: роли, процессы, инструменты

Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.


Читать: https://habr.com/ru/post/694690/
Кто ворует крипту: хакеры, сотрудники или владельцы. И какая биржа следующая?

Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.

Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Посмотрим, что дальше...

Читать: https://habr.com/ru/post/698924/
Аналитические панели в реальном времени. В поисках (Apache) Doris

Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.


Читать: https://habr.com/ru/post/699268/
Обзор-позор CNEWS: Рейтинг BI 2022

Привет, Хабр! В этом посте я хочу поделиться своими мыслями о вышедшем в конце прошлой недели рейтинге BI от “уважаемого” издания CNEWS. Это удивительное творение журналистской и аналитической мысли подтолкнуло меня к тому, что, наверное, не стоит читать “самый посещаемый ИТ-портал в России”. Под катом — подробный разбор, почему обзор BI от CNEWS кажется мне настолько нелепым и даже глупым.
Что же там такого наваяли в CNEWS?

Читать: https://habr.com/ru/post/699464/
Introducing the Next Generation of MongoDB Education

Read: https://www.mongodb.com/blog/post/introducing-next-generation-mongodb-education
MariaDB Java Connector 3.1.0 now available

Read: https://mariadb.com/?p=33997
Как работать с curl в Windows



Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.


Читать: https://habr.com/ru/post/699226/
[recovery mode] Храним процедуры, функции и триггеры на Java

Всем привет! Сегодня мы расскажем о полезной возможности СУБД Ред База Данных - создании внешних подпрограмм, то есть процедур, функций и триггеров на языке Java. Например, язык PSQL не позволяет работать с объектами файловой системы или сети, а Java запросто решает такие задачи и существенно расширяет возможности встроенного языка.


Читать: https://habr.com/ru/post/699732/
Как Postgres хранит строки

Мне стало интересно разобраться, как PostgreSQL хранит данные на диске, и в процессе своего исследования я обнаружил несколько интересных фактов, которыми хочу с вами поделиться.

Мы будем рассматривать только файлы кучи (heap). Heap-файл — это просто файл записей. Не путайте heap-файл с heap-памятью. Хотя их использование очень похоже: хранение динамических данных.


Читать: https://habr.com/ru/post/699812/
👍2
All About MariaDB MaxScale Database Proxy For Read-Write Splitting

Read: https://mariadb.com/?p=33950
Репортаж с ViRush 2022: Презентация Visiology 3.0, BI в разных отраслях, сотни партнеров и успешная миграция с Tableau

Привет, Хабр! На прошлой неделе состоялась ежегодная конференция ViRush, и этот пост предназначен для тех, кто на ней не был, но интересуется развитием BI на базе российских платформ в целом и Visiology в частности. Для самых занятых мы подготовили краткий репортаж с мероприятия. И если вы хотите узнать, почему мигрировать с Tableau нужно именно на Visiology, как переносить экспертизу из PowerBI, за счет чего корпорации МСП удалось сделать такие красивые дашборды, а также почему участники ViRush были так увлечены происходящим, давайте под кат.


Читать: https://habr.com/ru/post/699818/
Сломать контроль ресурсов в контрольных группах Linux. Часть 2

В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups.


Читать: https://habr.com/ru/post/699880/
TDE в Platform V DataGrid: учим систему шифрования менять ключи на лету

Привет, Хабр! Это Никита Амельчев и Павел Переслегин. Мы создаём Platform V DataGrid — распределённую базу данных, которая используется в сервисах Сбера и внешних клиентов. В статье расскажем, как мы усилили базовые функции шифрования TDE в нашем продукте и как решали вопрос совмещения полного шифрования и высокой производительности базы данных.


Читать: https://habr.com/ru/post/700036/
Enhancing the .NET Development Experience with Roslyn Static Analysis

Read: https://www.mongodb.com/blog/post/enhancing-net-development-experience-roslyn-static-analysis
Announcing MariaDB Community Server 10.10 GA and 10.11 RC

Read: https://mariadb.com/?p=34018