Database Indexes Explained
Have you wanted to improve the query performance? Or have you faced any situation where the indexes you added weren't used? Read further to know.
Note - Although most of this can be generalized, this post is specific to Postgres.
Database indexes are...
Read: https://joeljacob.hashnode.dev/database-index-explained
Have you wanted to improve the query performance? Or have you faced any situation where the indexes you added weren't used? Read further to know.
Note - Although most of this can be generalized, this post is specific to Postgres.
Database indexes are...
Read: https://joeljacob.hashnode.dev/database-index-explained
Amazon RDS Performance Insights supports additional performance history retention periods
Amazon Relational Database Service (Amazon RDS) Performance Insights now allows you to choose retention periods for your performance history that range from one month up to 24 months. You can also use the RDS Performance Insights free tier, which inc...
Read: https://dominguezdaniel.hashnode.dev/amazon-rds-performance-insights-supports-additional-performance-history-retention-periods
Amazon Relational Database Service (Amazon RDS) Performance Insights now allows you to choose retention periods for your performance history that range from one month up to 24 months. You can also use the RDS Performance Insights free tier, which inc...
Read: https://dominguezdaniel.hashnode.dev/amazon-rds-performance-insights-supports-additional-performance-history-retention-periods
Changing electrs's Database Backend (Part 1/7)
Introduction
In this series I'm going to talk about my project in Summer of Bitcoin.
This is the first part of what's gonna be seven blog posts about my progress through the project.
I'm going to explain what is it that I aim to achieve and my though...
Read: https://blog.khaledemara.dev/changing-electrss-database-backend-part-17
Introduction
In this series I'm going to talk about my project in Summer of Bitcoin.
This is the first part of what's gonna be seven blog posts about my progress through the project.
I'm going to explain what is it that I aim to achieve and my though...
Read: https://blog.khaledemara.dev/changing-electrss-database-backend-part-17
HarperDB: a Modern Tool for Fullstack Development
If you're looking for a new database for your next web development project, you may be wondering which DB will work best for you and your team. While having so many options is excellent, weighing the benefits and drawbacks of each type of database ca...
Read: https://theankurtyagi.hashnode.dev/harperdb-a-modern-tool-for-fullstack-development
If you're looking for a new database for your next web development project, you may be wondering which DB will work best for you and your team. While having so many options is excellent, weighing the benefits and drawbacks of each type of database ca...
Read: https://theankurtyagi.hashnode.dev/harperdb-a-modern-tool-for-fullstack-development
PostgreSQL Antipatterns: куда крутить NULLS
Периодически приходится разбирать случаи внезапного промаха запроса мимо "вроде бы подходящего" индекса - а все дело оказывается в чуть-чуть не той сортировке.
Читать: https://habr.com/ru/post/675580/
Периодически приходится разбирать случаи внезапного промаха запроса мимо "вроде бы подходящего" индекса - а все дело оказывается в чуть-чуть не той сортировке.
Читать: https://habr.com/ru/post/675580/
DICOM: цифровые снимки в медицине — ликбез для системного администратора
Одним из самых компьютеризированных разделов медицины является радиодиагностика. Медицинские исследования генерируют большое количество данных, которые затем обрабатываются передовыми методами визуализации, 3d-реконструкции по срезам и даже машинного обучения. Этот топик призван помочь системным администраторам погрузиться в тематику передачи и хранения медицинских изображений.
Фото автора
Читать: https://habr.com/ru/post/217761/
Одним из самых компьютеризированных разделов медицины является радиодиагностика. Медицинские исследования генерируют большое количество данных, которые затем обрабатываются передовыми методами визуализации, 3d-реконструкции по срезам и даже машинного обучения. Этот топик призван помочь системным администраторам погрузиться в тематику передачи и хранения медицинских изображений.
Фото автора
Читать: https://habr.com/ru/post/217761/
Django's Interaction with DataBases
Let's open a new app with the code we are familiar with. I am naming mine "notes".
python manage.py startapp notes
Like previously, we should register it to settings.py file as well.
After doing that, we should go to our models.py file.
This is the...
Read: https://ilkecandan.hashnode.dev/djangos-interaction-with-databases
Let's open a new app with the code we are familiar with. I am naming mine "notes".
python manage.py startapp notes
Like previously, we should register it to settings.py file as well.
After doing that, we should go to our models.py file.
This is the...
Read: https://ilkecandan.hashnode.dev/djangos-interaction-with-databases
Как сократить расходы в четыре раза при работе с сырыми данными в Google BigQuery
Всем привет! Меня зовут Павел Земсков, я занимаюсь аналитикой проектов VK. Сейчас я отвечаю за развитие группы продуктов для среднего и малого бизнеса внутри социальной сети ВКонтакте и на площадке Юлы.
Я расскажу о проверенном мной подходе к работе с запросами в базу данных, и о том, как это помогло сократить затраты на обращение к сырым данным в четыре раза. Статья будет полезна тем, кто записывает сырые данные по событиям пользователей в формате, близком к GA360 (GA360, OWOX, SegmentStream), и задумывается об оптимизации работы с данными и сокращении расходов на обработку запросов в Google BigQuery. Те, кто хранит данные в Clickhouse и начали задумываться об ускорении выполнения запросов, тоже могут использовать этот подход.
Устраивайтесь поудобнее!
Читать: https://habr.com/ru/post/675614/
Всем привет! Меня зовут Павел Земсков, я занимаюсь аналитикой проектов VK. Сейчас я отвечаю за развитие группы продуктов для среднего и малого бизнеса внутри социальной сети ВКонтакте и на площадке Юлы.
Я расскажу о проверенном мной подходе к работе с запросами в базу данных, и о том, как это помогло сократить затраты на обращение к сырым данным в четыре раза. Статья будет полезна тем, кто записывает сырые данные по событиям пользователей в формате, близком к GA360 (GA360, OWOX, SegmentStream), и задумывается об оптимизации работы с данными и сокращении расходов на обработку запросов в Google BigQuery. Те, кто хранит данные в Clickhouse и начали задумываться об ускорении выполнения запросов, тоже могут использовать этот подход.
Устраивайтесь поудобнее!
Читать: https://habr.com/ru/post/675614/
Visualizing your Prisma schema in a RedwoodJS project
Do you want to have a visualization of your database models? Using Redwood to build your fullstack application? Then this guide is for you! I'm going to show how easy it is to generate an ER diagram, and keep it updated!
We'll be using keonik/prisma-...
Read: https://tlundberg.com/visualizing-your-prisma-schema-in-a-redwoodjs-project
Do you want to have a visualization of your database models? Using Redwood to build your fullstack application? Then this guide is for you! I'm going to show how easy it is to generate an ER diagram, and keep it updated!
We'll be using keonik/prisma-...
Read: https://tlundberg.com/visualizing-your-prisma-schema-in-a-redwoodjs-project
SQL is (almost) always superior to NoSQL
Saying the above out loud is almost like publicly admitting you've got lepra today, because all the hype seems to be geared towards NoSQL and document based database systems, while RDBMS types of systems doesn't seem to get much love. However, somebo...
Read: https://hashnode.com/post/sql-is-almost-always-superior-to-nosql-cl5c83r4500ccasnv8w5q0xb2
Saying the above out loud is almost like publicly admitting you've got lepra today, because all the hype seems to be geared towards NoSQL and document based database systems, while RDBMS types of systems doesn't seem to get much love. However, somebo...
Read: https://hashnode.com/post/sql-is-almost-always-superior-to-nosql-cl5c83r4500ccasnv8w5q0xb2
Параллельный импорт. Часть 2. “Не бойся, я их пронесу!”
Продолжая серию материалов о механике параллельного импорта, сегодня мы поговорим о том, как обстоят дела на рынке тяжелого оборудования, необходимого для работы корпоративных сетей. Скажу сразу, что в этой сфере новая схема пока работает очень плохо (то есть еще хуже, чем с пользовательскими решениями). Под катом рассказываем, как обстоят дела, почему это происходит и размышляем, что можно сделать в сложившейся ситуации.
Читать: https://habr.com/ru/post/675848/
Продолжая серию материалов о механике параллельного импорта, сегодня мы поговорим о том, как обстоят дела на рынке тяжелого оборудования, необходимого для работы корпоративных сетей. Скажу сразу, что в этой сфере новая схема пока работает очень плохо (то есть еще хуже, чем с пользовательскими решениями). Под катом рассказываем, как обстоят дела, почему это происходит и размышляем, что можно сделать в сложившейся ситуации.
Читать: https://habr.com/ru/post/675848/
Tableau vs FineBI. Часть III: администрирование и лицензирование
Сегодня посмотрим на два важных аспекта сравниваемых BI-систем: администрирование и лицензирование. И то, и другое не менее важно, чем собственно функционал и интеграционные возможности решений. Посмотрим, насколько значимы различия и не подведет ли нас китайская платформа.
Читать: https://habr.com/ru/post/675890/
Сегодня посмотрим на два важных аспекта сравниваемых BI-систем: администрирование и лицензирование. И то, и другое не менее важно, чем собственно функционал и интеграционные возможности решений. Посмотрим, насколько значимы различия и не подведет ли нас китайская платформа.
Читать: https://habr.com/ru/post/675890/
Преобразование данных на TiDB стало проще
Средство формирования данных (Data build tool, dbt) — это популярный инструмент с открытым исходным кодом, который позволяет инженерам-аналитикам преобразовывать данные в своих хранилищах с помощью операторов SQL. Совсем недавно участники профильного соощества выпустили плагин dbt-tidb, который позволит TiDB-распределённой базе данных SQL работать с dbt. Благодаря плагину dbt-tidb инженеры-аналитики, работающие с TiDB, могут напрямую создавать формы и сопоставлять данные через SQL без необходимости думать о процессе создания таблиц или представлений. Теперь можно использовать Jinja, язык шаблонов dbt для написания SQL, тестирования, управления пакетами и других функций, что значительно повышает эффективность работы с данными.
Читать: https://habr.com/ru/post/673584/
Средство формирования данных (Data build tool, dbt) — это популярный инструмент с открытым исходным кодом, который позволяет инженерам-аналитикам преобразовывать данные в своих хранилищах с помощью операторов SQL. Совсем недавно участники профильного соощества выпустили плагин dbt-tidb, который позволит TiDB-распределённой базе данных SQL работать с dbt. Благодаря плагину dbt-tidb инженеры-аналитики, работающие с TiDB, могут напрямую создавать формы и сопоставлять данные через SQL без необходимости думать о процессе создания таблиц или представлений. Теперь можно использовать Jinja, язык шаблонов dbt для написания SQL, тестирования, управления пакетами и других функций, что значительно повышает эффективность работы с данными.
Читать: https://habr.com/ru/post/673584/
Accuracy & Reliability of Data
The marketing procedures have changed from the outbound to the inbound marketing strategies and the marketers work on making a blend of both the techniques to acquire success with the lead generation campaigns and also to grow better revenues and sal...
Read: https://techmanos.hashnode.dev/accuracy-and-reliability-of-data
The marketing procedures have changed from the outbound to the inbound marketing strategies and the marketers work on making a blend of both the techniques to acquire success with the lead generation campaigns and also to grow better revenues and sal...
Read: https://techmanos.hashnode.dev/accuracy-and-reliability-of-data
Subsidize Ethereum blockchain transaction costs for your users
Read: https://aws.amazon.com/blogs/database/subsidize-ethereum-blockchain-transaction-costs-for-your-users/
Read: https://aws.amazon.com/blogs/database/subsidize-ethereum-blockchain-transaction-costs-for-your-users/
Understand and build a hybrid database with Amazon RDS and AWS Outposts
Read: https://aws.amazon.com/blogs/database/understand-and-build-a-hybrid-database-with-amazon-rds-and-aws-outposts/
Read: https://aws.amazon.com/blogs/database/understand-and-build-a-hybrid-database-with-amazon-rds-and-aws-outposts/
How I made database joins type-safe in TypeScript.
Context: What is an ORM?
An ORM (Object-relational Mapper) is a tool that adds a layer of abstraction on to databases. For example, if we had a "team" table in a SQL database and wanted to fetch a team with TypeScript, we could do the following:
cons...
Read: https://blog.lucas-simon.com/type-safe-database-joins-in-typenoscript
Context: What is an ORM?
An ORM (Object-relational Mapper) is a tool that adds a layer of abstraction on to databases. For example, if we had a "team" table in a SQL database and wanted to fetch a team with TypeScript, we could do the following:
cons...
Read: https://blog.lucas-simon.com/type-safe-database-joins-in-typenoscript
Your ISP and/or mobile hotspot might be blocking connection to your Atlas MongoDB, here is the workaround
Recently, I started noticing a pattern, where whenever I use my mobile wifi hotspot -regardless the OS (Android or iOS)- database connections to any of my Atlas Mongodb servers will start timing out with following error related to DNS query
{
...
...
Read: https://hemache.hashnode.dev/your-isp-andor-mobile-hotspot-might-be-blocking-connection-to-your-atlas-mongodb-here-is-the-workaround
Recently, I started noticing a pattern, where whenever I use my mobile wifi hotspot -regardless the OS (Android or iOS)- database connections to any of my Atlas Mongodb servers will start timing out with following error related to DNS query
{
...
...
Read: https://hemache.hashnode.dev/your-isp-andor-mobile-hotspot-might-be-blocking-connection-to-your-atlas-mongodb-here-is-the-workaround
How to use supabase database in flutter || 🔴 Part - 1
Welcome friends to this blog post where you will learn how to use the supabase database in a flutter app.
For people who understand Hindi:
https://youtu.be/1QzT_y-BioU
Step1: Go to supabase. com and click on start project and then this 👇page will ap...
Read: https://nextdev1111.hashnode.dev/how-to-use-supabase-database-in-flutter-or-part-1
Welcome friends to this blog post where you will learn how to use the supabase database in a flutter app.
For people who understand Hindi:
https://youtu.be/1QzT_y-BioU
Step1: Go to supabase. com and click on start project and then this 👇page will ap...
Read: https://nextdev1111.hashnode.dev/how-to-use-supabase-database-in-flutter-or-part-1
Directory-Based / Dynamic sharding
There are four common types of sharding strategies.
Horizontal or range based.
Vertical.
Key-based (Algorithmic).
Directory-based (Dynamic).
In this blog, we will only discuss directory-based sharding a.k.a dynamic sharding.
Directory based shard p...
Read: https://pritom.hashnode.dev/dynamic-sharding
There are four common types of sharding strategies.
Horizontal or range based.
Vertical.
Key-based (Algorithmic).
Directory-based (Dynamic).
In this blog, we will only discuss directory-based sharding a.k.a dynamic sharding.
Directory based shard p...
Read: https://pritom.hashnode.dev/dynamic-sharding
[recovery mode] Скрипт архивации баз данных Microsoft SQL Server с полной моделью восстановления
В продолжение своей предыдущей статьи по архивации БД MSSQL и негативному отклику в связи с отсутствием возможности архивации логов транзакций, работаю я теперь в компании, где понадобилось автоматизировать этот момент для баз в том числе с полной моделью восстановления.
Скрип работает универсально для баз с различной моделью восстановления, в начале скрипта добавлены настройки для относительно гибкого формирования расписания. Скрипт можно поставить с SQL Agent и удобным интервалом (у меня, например, 1 раз час), первый запуск в сутках будет проверять, надо создавать или нет полную или разностную копию сегодня и далее в течении дня для БД с полной моделью восстановления будут создаваться бэкапы лога журнала транзакций.
Читать: https://habr.com/ru/post/676188/
В продолжение своей предыдущей статьи по архивации БД MSSQL и негативному отклику в связи с отсутствием возможности архивации логов транзакций, работаю я теперь в компании, где понадобилось автоматизировать этот момент для баз в том числе с полной моделью восстановления.
Скрип работает универсально для баз с различной моделью восстановления, в начале скрипта добавлены настройки для относительно гибкого формирования расписания. Скрипт можно поставить с SQL Agent и удобным интервалом (у меня, например, 1 раз час), первый запуск в сутках будет проверять, надо создавать или нет полную или разностную копию сегодня и далее в течении дня для БД с полной моделью восстановления будут создаваться бэкапы лога журнала транзакций.
Читать: https://habr.com/ru/post/676188/