🍀از مجموعه بررسی اختصاصی پرونده تکنولوژی ها در IT ( توضیحات در سری پستهای آتی )

🌠پرونده کار با داده ها -۱

🚂دسته بندی ابزار های پردازش و
مدیریت داده
۱- سیستم های مدیریت پایگاه داده
۲-ابزارهای تلفیق داده
۳-ابزارهای کیفیت داده
۴-انبارداده های بزرگ و سازمانی نظیر هدووپ و اسپارک
@roozbeh_learning👈🏼

🚁راهنمای تهیه ابزارهای تلفیق داده
( مورد ۲)
@roozbeh_learning 👈🏼

🚁راهنمای تهیه ابزارهای تلفیق داده
شامل پیش نیازها
سوالات مرتبط
معرفی برترین تولید کنندگان جهانی
شرح مختصر مهمترین محصولات در این زمینه
@roozbeh_learning 👈🏼

✅بررسی مورد ۲ از مجموعه ابزارهای پردازش و مدیریت داده یعنی ابزارهای تلفیق داده :
در دنیای امروزی که داده های بسیاری جمع آوری و ذخیره میشوند که تبعا این عملیات در زیرساختهای متفاوتی انجام میگیرد ( نظیر اوراکل یا SQL Server ) ، نیاز به انتقال داده از سیستمی به دیگر سیستمها از نیازهای اساسی است . سرعت انتقال نیز از مباحث مهم در این حوزه به شمار میرود .
ابزارهای تلفیق داده برای ترکیب داده ها از منابع مختلف بصورت دسته ای ( بچ ) بصورت آنی یا نزدیک به زمان حال مورد استفاده قرار میگیرند .
برای مثال
محصول مایکروسافت برای این کار SQL Server Integration Services است .
برای اطلاعات بیشتر به این لینک مراجعه نمایید
https://msdn.microsoft.com/en-us/library/ff647273.aspx

@roozbeh_learning 👈🏼

☢نکات امنیتی مترتب بر ابزارهای تلفیق داده

🔸Coarse-grained security.

Because Data Integration bypasses the application logic, it also bypasses any security rules that are enforced by the application logic. Many databases manage access privileges at the table level. At the table level, a user either has access to the Customer table or the user does not have access. Most applications enforce security at an object level. At the object level, a specific user has access only to those customer records that are associated with the user.

🔸Privacy policies may not be enforced.

Many corporate databases are subject to privacy policies that are based on corporate or legal guidelines. Directly accessing these data stores may be in violation of these policies because it is difficult to control the ways the retrieved data may be used. In comparison, Functional Integration can offer restricted access to sensitive data to only allow queries that do not expose individual data. For example, a functional interface may allow the user to query the average compensation in a specific region but not individual compensation.

🔸Data may be encrypted.

Data inside the database may be encrypted so that it is not accessible for data integration unless the integration solution obtains the key to decrypt the data. Providing the key to the data integration solution could present a security risk unless the key is properly protected.

@roozbeh_learning 👈🏼

#Day_of_World

🚀روز جهانی در دسترس بودن سیستم ها و داده ها
سی و یکم مارس چیزی فراتر از روز بک آپ است و میتوان از آن بعنوان روز تمام فاکتور های موثر برای Avalibility سیستم ها نام برد .
https://www.scmagazineuk.com/world-availability-day-evolving-to-become-the-always-on-enterprise/article/647437/

@roozbeh_learning 👈🏼

#Data_Quality

🌐بررسی ابزارهای مورد سوم : ابزارهای کیفیت داده
@roozbeh_learning 👈🏼
اول به مقایسه گارتنر در سال ۲۰۱۶ نگاهی میاندازیم 👇👇

#Gartner

🏠رتبه بندی ابزارهای کیفیت داده از نظر گارتنر در سال ۲۰۱۶
@roozbeh_learning 👈🏼

@roozbeh_learning 👈🏼

مستند راهکار اوراکل
• Profiling, Audit and Dashboards • Parsing and Standardization • Match and Merge • Case Management • Address Verification • Product Data Capabilities
@roozbeh_learning👈🏼

#Oracle #Data_Quality

🏡شرح راهکار اوراکل برای کیفیت داده
از سری دیتاشیت های اوراکل
@roozbeh_learning 👈🏼

🍀🍀☝️
#Data_Management

🍀برای اطلاع دوستان و همراهان :

در حال بررسی پرونده ابزارها و تکنولوژی های کار با داده، فرآوری و کنترل آنها هستیم .

تا کنون به دومورد از آنها یعنی ابزارهای تلفیق و ابزارهای کیفیت نگاهی انداخته شده است .

لطفا برای مطالعه به پستهای ماقبل مراجعه کنید.
@roozbeh_learning👈🏼

#Data_Warehouse

🍀بررسی مورد چهارم

🚜انبار داده ها یا همان
Data Warehouse (DWH)

این نوع پایگاه داده ها مشخصات زیر را دارند


موضوع­ گراهستند (Subject Oriented): پايگاه­ داده به گونه­ اي سازماندهي شده است که تمامي اطلاعاتي که به یک موضوع يا موجوديت خاص مربوط هستند با يکديگر مرتبط هستند.

متغير با زمان: تغييرات ايجاد شده در پايگاه­ داده اوليه در آن بصورت زمان محور به دقت اعمال مي­شوند.

Non-volatile
داده­هاي اطلاعاتي هرگز حذف نشده، با داده­ هاي جديد جايگزين نمي­شوند.

يکپارچه: اطلاعات موجود در پايگاه­ داده از سراسر سازمان جمع­ آوري شده­ اند و با هم سازگاري دارند".

هدف اصلي DWH ايجاد بستري مناسب براي توليد اطلاعاتي است که به Knowledg worker هاي سازمان (مديران، عوامل اجرايي و تحليلگران) براي اتخاذ تصميم­هاي درست کمک مي­کند. براي اين منظور از DWH در تهيه گزارش­ها، اطلاعات تحليلي، تعامل بلادرنگ با سيستم­هاي عملياتي و Profiling استفاده مي­شود.



با DWH مي­توان در سازمان سيستم تصميم­يار (Decision support) ايجاد کرد. اطلاعاتي که در DWH نگهداري مي­شود از آنچه در پايگاه­هاي داده نگهداري مي­شود (که شامل اطلاعات جزيي و روزمره است) به مراتب مهم­تر و ارزشمندتر است. در DWH تمامي اطلاعات موجود در سازمان از ابتدا تاکنون به صورت يکپارچه و سازماندهي شده نگهداري مي­شود. در اين مخزن اطلاعاتي، اطلاعات از تمامي منابع اطلاعاتي و در يک بازه زماني طولاني جمع­ آوري مي­شوند و به اين دليل حجم اطلاعات بسيار زياد است.



در DWH نياز به سازماندهي مناسب اطلاعات و استفاده از روش­هاي مناسب دسترسي به اطلاعات وجود دارد. DWH با طراحي متفاوت خود به صورت چندبعدي (Multi dimensional) قادر است تمامي این موارد را در نظر بگيرد. براي مثال در اطلاعات نگهداري شده براي فروش، زمان فروش، ناحيه فروش، فروشنده و محصول به فروش رفته به عنوان ابعاد مختلف در نظر گرفته مي­شوند. اغلب اين بعدها حالت سلسله مراتبي (Hierarchical) دارند. مثلا ممکن است زمان فروش شامل تاريخ و ساعت فروش محصول باشد. طراحي مدل داده چند بعدي با استفاده از تکنيک­هاي مرسوم در محيط­هاي OLTP مانند ERD و نرمال­سازي مناسب نيست. زيرا آنچه در DWH مهم است ايجاد امکان پرس­و­جو و بارگذاري سريع اطلاعات است.
@roozbeh_learning 👈🏼
اکثر سیستم های موجود بر پایه هدووپ بنا نهاده شده اند در زیر با ۵ تولید کننده برتر در این حوزه آشنا میشویم .👇👇

1-Data warehouse market
@roozbeh_learning 👈🏼

2-Data warehouse market
@roozbeh_learning 👈🏼

3-Data warehouse market
@roozbeh_learning 👈🏼

4-Data warehouse market
@roozbeh_learning 👈🏼

5-Data warehouse market
@roozbeh_learning 👈🏼

#Data_warehouse_diagram

@roozbeh_learning 👈🏼