Data Engineering Lifecycle
Architecting the Data Platform
Layers of a data platform architecture, A layer represents functional components that perform a specific set of tasks in the data
Data Ingestion or Data Collection layer
Data Storage and Integration Layer
Data Proces...
Read: https://pooj124.hashnode.dev/data-engineering-lifecycle
Architecting the Data Platform
Layers of a data platform architecture, A layer represents functional components that perform a specific set of tasks in the data
Data Ingestion or Data Collection layer
Data Storage and Integration Layer
Data Proces...
Read: https://pooj124.hashnode.dev/data-engineering-lifecycle
Case Study: Danny's Dinner
Introduction
Danny seriously loves Japanese food so, at the beginning of 2021, he decides to embark upon a risky venture and opens up a cute little restaurant that sells his 3 favourite foods: sushi, curry and ramen.
Danny’s Diner is in need of your ...
Read: https://itsadityagupta.hashnode.dev/case-study-dannys-dinner
Introduction
Danny seriously loves Japanese food so, at the beginning of 2021, he decides to embark upon a risky venture and opens up a cute little restaurant that sells his 3 favourite foods: sushi, curry and ramen.
Danny’s Diner is in need of your ...
Read: https://itsadityagupta.hashnode.dev/case-study-dannys-dinner
Use PostgreSQL the Right Way!
This post on Medium summarizes some situations and configurations I’ve had to adapt to work with the PostgreSQL database; let’s get to the tips.
To learn more:
https://jlgjosue.medium.com/use-postgresql-the-right-way-7d200aa7999f
Thanks for reading, ...
Read: https://josueluzardogebrim.hashnode.dev/use-postgresql-the-right-way
This post on Medium summarizes some situations and configurations I’ve had to adapt to work with the PostgreSQL database; let’s get to the tips.
To learn more:
https://jlgjosue.medium.com/use-postgresql-the-right-way-7d200aa7999f
Thanks for reading, ...
Read: https://josueluzardogebrim.hashnode.dev/use-postgresql-the-right-way
Creating database tables and adding data in Magento 2 Adobe Commerce
Create a db schema
Reference https://devdocs.magento.com/guides/v2.4/extension-dev-guide/declarative-schema/db-schema.html
Path will be a similar path to this
app\code\AzCodez\CustomerViewing\etc\db_schema.xml
Add this code to set up your table. Mo...
Read: https://blog.azcodez.com/creating-database-tables-and-adding-data-in-magento-2-adobe-commerce
Create a db schema
Reference https://devdocs.magento.com/guides/v2.4/extension-dev-guide/declarative-schema/db-schema.html
Path will be a similar path to this
app\code\AzCodez\CustomerViewing\etc\db_schema.xml
Add this code to set up your table. Mo...
Read: https://blog.azcodez.com/creating-database-tables-and-adding-data-in-magento-2-adobe-commerce
Introduction To Database Management Systems
If you want a simple and sweet introduction to databases and database management systems, then you are at the right place, because after reading this blog post you will be fully equipped with a basic understanding of databases and systems to manage t...
Read: https://yuvraj01.hashnode.dev/introduction-to-database-management-systems
If you want a simple and sweet introduction to databases and database management systems, then you are at the right place, because after reading this blog post you will be fully equipped with a basic understanding of databases and systems to manage t...
Read: https://yuvraj01.hashnode.dev/introduction-to-database-management-systems
Big Data Platforms
V's of Big Data :
Velocity: Velocity is the speed at which data accumulates. Data is being generated extremely fast, in a process that never stops. Near or real-time streaming, local, and cloud-based technologies can process information very quickl...
Read: https://pooj124.hashnode.dev/big-data-platforms
V's of Big Data :
Velocity: Velocity is the speed at which data accumulates. Data is being generated extremely fast, in a process that never stops. Near or real-time streaming, local, and cloud-based technologies can process information very quickl...
Read: https://pooj124.hashnode.dev/big-data-platforms
Database Operation from the command line
#Connecting to a Database
sql2csv: is tool in csvkit that allows you to pull data from the database and convert it to csv. It executes an SQL query on a large variety of SQL databases (e.g MS SQL, MySQL, Oracle, PostgreSQL, Sqlite).
Documentation
sql...
Read: https://rukayat-balogun.hashnode.dev/database-operation-from-the-command-line
#Connecting to a Database
sql2csv: is tool in csvkit that allows you to pull data from the database and convert it to csv. It executes an SQL query on a large variety of SQL databases (e.g MS SQL, MySQL, Oracle, PostgreSQL, Sqlite).
Documentation
sql...
Read: https://rukayat-balogun.hashnode.dev/database-operation-from-the-command-line
Duplicates in SQL
Duplicate records waste resources in DB and often introduce errors in computation. In this blog we will see how to check for duplicates and how to deal with them.
Identifying the duplicate entries
The first step should be to define which column or co...
Read: https://asrathore.hashnode.dev/duplicates-in-sql
Duplicate records waste resources in DB and often introduce errors in computation. In this blog we will see how to check for duplicates and how to deal with them.
Identifying the duplicate entries
The first step should be to define which column or co...
Read: https://asrathore.hashnode.dev/duplicates-in-sql
Amit Kumar's blog
Duplicates in SQL
All you need to know for handling duplicates in SQL.
👍2
Хранение и управление доступом на данные в хранилище S3
Привет! Сегодня хотим рассказать о, как использовать бакеты, хранить данные, настраивать политики и управлять доступом на данные при работе c объектным хранилищем S3.
Читать: https://habr.com/ru/post/681376/
Привет! Сегодня хотим рассказать о, как использовать бакеты, хранить данные, настраивать политики и управлять доступом на данные при работе c объектным хранилищем S3.
Читать: https://habr.com/ru/post/681376/
Database Design: From Novice to Professional [Ch.2: Guided Tour of the Development Process]
In the previous chapter we talked about how bad design can lead to problems in the future
in the two incoming chapters we will talk about the process you can follow that may help you in designing your database.
before we start we need to know that f...
Read: https://3omar.hashnode.dev/database-design-from-novice-to-professional-ch2-guided-tour-of-the-development-process
In the previous chapter we talked about how bad design can lead to problems in the future
in the two incoming chapters we will talk about the process you can follow that may help you in designing your database.
before we start we need to know that f...
Read: https://3omar.hashnode.dev/database-design-from-novice-to-professional-ch2-guided-tour-of-the-development-process
Database Design: From Novice to Professional [Ch.3: Initial Requirements and Use Cases]
In this chapter we will foucs on the Analysis part but in the abstract world focus on what the user can do in our system.
Remember the 4 process thinking, Now we consider part of the first step from real-world problem to eventual real-world solution ...
Read: https://3omar.hashnode.dev/database-design-from-novice-to-professional-ch3-initial-requirements-and-use-cases
In this chapter we will foucs on the Analysis part but in the abstract world focus on what the user can do in our system.
Remember the 4 process thinking, Now we consider part of the first step from real-world problem to eventual real-world solution ...
Read: https://3omar.hashnode.dev/database-design-from-novice-to-professional-ch3-initial-requirements-and-use-cases
Data Engineering - Performance Tuning and Troubleshooting
Data Pipelines - Performance Threats
Scalability in the face of increasing datasets and workloads
Application failures
Scheduled jobs not functioning accurately
Tool Incompatibilities
Data Pipelines - Performance Metrics
Latency: time taken for se...
Read: https://pooj124.hashnode.dev/data-engineering-performance-tuning-and-troubleshooting
Data Pipelines - Performance Threats
Scalability in the face of increasing datasets and workloads
Application failures
Scheduled jobs not functioning accurately
Tool Incompatibilities
Data Pipelines - Performance Metrics
Latency: time taken for se...
Read: https://pooj124.hashnode.dev/data-engineering-performance-tuning-and-troubleshooting
4 Critical Features for a Modern Payments System
Read: https://www.mongodb.com/blog/post/critical-features-modern-payments-system
Read: https://www.mongodb.com/blog/post/critical-features-modern-payments-system
Компания Ростсельмаш сливает данные своих клиентов
Компания Ростсельмаш, сливает данные своих клиентов.
Сегодня хочу поделиться своим мнением и опытом использования, сервисом картирования от компании Ростсельмаш.
У компании есть сервис под название Agrotronic. Который позволяет отлеживать данные по картированию. Для того, чтобы пользоваться их сервисом нужно купить датчики на комбайны, стоимостью от 500 т.р. шт. Поставить их на комбайн и когда техника будет убирать урожай на полях, на сайте будет отображаться в какой части поля, какая урожайность.
Читать: https://habr.com/ru/post/681478/
Компания Ростсельмаш, сливает данные своих клиентов.
Сегодня хочу поделиться своим мнением и опытом использования, сервисом картирования от компании Ростсельмаш.
У компании есть сервис под название Agrotronic. Который позволяет отлеживать данные по картированию. Для того, чтобы пользоваться их сервисом нужно купить датчики на комбайны, стоимостью от 500 т.р. шт. Поставить их на комбайн и когда техника будет убирать урожай на полях, на сайте будет отображаться в какой части поля, какая урожайность.
Читать: https://habr.com/ru/post/681478/
New in Atlas Search: Improve Content Recommendations With “More Like This”
Read: https://www.mongodb.com/blog/post/new-atlas-search-improve-content-recommendations-more-like-this
Read: https://www.mongodb.com/blog/post/new-atlas-search-improve-content-recommendations-more-like-this
A Newbie Entrepreneur's Guide to Data Modeling
##What Is Data Modeling?
Data modeling is the process of creating a visual representation of your data. You can use data models to improve data collection, analysis, and storage practices. Data modeling uses a variety of tools to create a diagram tha...
Read: https://safetyculture.hashnode.dev/a-newbie-entrepreneurs-guide-to-data-modeling
##What Is Data Modeling?
Data modeling is the process of creating a visual representation of your data. You can use data models to improve data collection, analysis, and storage practices. Data modeling uses a variety of tools to create a diagram tha...
Read: https://safetyculture.hashnode.dev/a-newbie-entrepreneurs-guide-to-data-modeling
A Newbie Entrepreneur's Guide to Data Modeling
What Is Data Modeling?
Data modeling is the process of creating a visual representation of your data. You can use data models to improve data collection, analysis, and storage practices. Data modeling uses a variety of tools to create a diagram that ...
Read: https://journalblog.hashnode.dev/a-newbie-entrepreneurs-guide-to-data-modeling
What Is Data Modeling?
Data modeling is the process of creating a visual representation of your data. You can use data models to improve data collection, analysis, and storage practices. Data modeling uses a variety of tools to create a diagram that ...
Read: https://journalblog.hashnode.dev/a-newbie-entrepreneurs-guide-to-data-modeling
Как мы создали единый электронный архив документов MOEX Group на основе open source
ОPEN SOURCE + КОМАНДА = ХРАНИЛИЩЕ НА 7+ МЛН ДОКУМЕНТОВ
Продукты с открытым кодом потенциально несут в себе большую ценность, но, чтобы ей воспользоваться, нужно инвестировать время команды в исследования, отстаивать их результаты и верить в успех.
Читать: https://habr.com/ru/post/681452/
ОPEN SOURCE + КОМАНДА = ХРАНИЛИЩЕ НА 7+ МЛН ДОКУМЕНТОВ
Продукты с открытым кодом потенциально несут в себе большую ценность, но, чтобы ей воспользоваться, нужно инвестировать время команды в исследования, отстаивать их результаты и верить в успех.
Читать: https://habr.com/ru/post/681452/
Гектор Гарсия-Молина и Кеннет Салем — «Саги»
От редакторов: название «сага» для паттерна долгоживущих транзакций так прижилось, что уже есть даже в Википедии. А как возникли этот паттерн и его название? Благодаря работе 1987 года. Похоже, что она до сих пор никем не была переведена на русский, и теперь мы решили это исправить.
Долгоживущие транзакции (long-lived transactions, LLT) блокируют ресурсы баз данных в течение длительных промежутков времени и существенно замедляют выполнение более коротких и многочисленных транзакций. Чтобы решить эту проблему, мы предлагаем ввести понятие саги. LLT является сагой, если она может быть записана как последовательность транзакций, которые можно чередовать с другими транзакциями. При этом система управления базой данных должна гарантировать, что либо успешно выполняются все транзакции саги, либо выполняются компенсирующие транзакции, корректирующие частичное выполнение. И само понятие саги, и его реализация относительно просты, но с помощью них можно существенно повысить производительность. В этой работе мы анализируем различные вопросы реализации саг, в том числе запуск саг на системах, не поддерживающих их напрямую. Мы также обсуждаем приемы проектирования баз данных и LLT.
Читать: https://habr.com/ru/post/680460/
От редакторов: название «сага» для паттерна долгоживущих транзакций так прижилось, что уже есть даже в Википедии. А как возникли этот паттерн и его название? Благодаря работе 1987 года. Похоже, что она до сих пор никем не была переведена на русский, и теперь мы решили это исправить.
Долгоживущие транзакции (long-lived transactions, LLT) блокируют ресурсы баз данных в течение длительных промежутков времени и существенно замедляют выполнение более коротких и многочисленных транзакций. Чтобы решить эту проблему, мы предлагаем ввести понятие саги. LLT является сагой, если она может быть записана как последовательность транзакций, которые можно чередовать с другими транзакциями. При этом система управления базой данных должна гарантировать, что либо успешно выполняются все транзакции саги, либо выполняются компенсирующие транзакции, корректирующие частичное выполнение. И само понятие саги, и его реализация относительно просты, но с помощью них можно существенно повысить производительность. В этой работе мы анализируем различные вопросы реализации саг, в том числе запуск саг на системах, не поддерживающих их напрямую. Мы также обсуждаем приемы проектирования баз данных и LLT.
Читать: https://habr.com/ru/post/680460/
🔥1
MySQL Port Connection: An Easy Guide on How to Use It
Let us take a closer look at what kinds of ports there are, what is the default port in MySQL, and how to connect to the MySQL port using command line - https://www.devart.com/dbforge/mysql/studio/mysql-port.html
Read: https://alextomson.hashnode.dev/mysql-port-connection-an-easy-guide-on-how-to-use-it
Let us take a closer look at what kinds of ports there are, what is the default port in MySQL, and how to connect to the MySQL port using command line - https://www.devart.com/dbforge/mysql/studio/mysql-port.html
Read: https://alextomson.hashnode.dev/mysql-port-connection-an-easy-guide-on-how-to-use-it
Data Wrangling
Data wrangling or Data Munging is a process that involves:
data Exploration
Transformation
Validation
Making Data available for credible and meaningful analysis
Structuring data:
The task includes actions that change the form and schema of your ...
Read: https://pooj124.hashnode.dev/data-wrangling
Data wrangling or Data Munging is a process that involves:
data Exploration
Transformation
Validation
Making Data available for credible and meaningful analysis
Structuring data:
The task includes actions that change the form and schema of your ...
Read: https://pooj124.hashnode.dev/data-wrangling