☢نکات امنیتی مترتب بر ابزارهای تلفیق داده

🔸Coarse-grained security.

Because Data Integration bypasses the application logic, it also bypasses any security rules that are enforced by the application logic. Many databases manage access privileges at the table level. At the table level, a user either has access to the Customer table or the user does not have access. Most applications enforce security at an object level. At the object level, a specific user has access only to those customer records that are associated with the user.

🔸Privacy policies may not be enforced.

Many corporate databases are subject to privacy policies that are based on corporate or legal guidelines. Directly accessing these data stores may be in violation of these policies because it is difficult to control the ways the retrieved data may be used. In comparison, Functional Integration can offer restricted access to sensitive data to only allow queries that do not expose individual data. For example, a functional interface may allow the user to query the average compensation in a specific region but not individual compensation.

🔸Data may be encrypted.

Data inside the database may be encrypted so that it is not accessible for data integration unless the integration solution obtains the key to decrypt the data. Providing the key to the data integration solution could present a security risk unless the key is properly protected.

@roozbeh_learning 👈🏼

#Day_of_World

🚀روز جهانی در دسترس بودن سیستم ها و داده ها
سی و یکم مارس چیزی فراتر از روز بک آپ است و میتوان از آن بعنوان روز تمام فاکتور های موثر برای Avalibility سیستم ها نام برد .
https://www.scmagazineuk.com/world-availability-day-evolving-to-become-the-always-on-enterprise/article/647437/

@roozbeh_learning 👈🏼

#Data_Quality

🌐بررسی ابزارهای مورد سوم : ابزارهای کیفیت داده
@roozbeh_learning 👈🏼
اول به مقایسه گارتنر در سال ۲۰۱۶ نگاهی میاندازیم 👇👇

#Gartner

🏠رتبه بندی ابزارهای کیفیت داده از نظر گارتنر در سال ۲۰۱۶
@roozbeh_learning 👈🏼

@roozbeh_learning 👈🏼

مستند راهکار اوراکل
• Profiling, Audit and Dashboards • Parsing and Standardization • Match and Merge • Case Management • Address Verification • Product Data Capabilities
@roozbeh_learning👈🏼

#Oracle #Data_Quality

🏡شرح راهکار اوراکل برای کیفیت داده
از سری دیتاشیت های اوراکل
@roozbeh_learning 👈🏼

🍀🍀☝️
#Data_Management

🍀برای اطلاع دوستان و همراهان :

در حال بررسی پرونده ابزارها و تکنولوژی های کار با داده، فرآوری و کنترل آنها هستیم .

تا کنون به دومورد از آنها یعنی ابزارهای تلفیق و ابزارهای کیفیت نگاهی انداخته شده است .

لطفا برای مطالعه به پستهای ماقبل مراجعه کنید.
@roozbeh_learning👈🏼

#Data_Warehouse

🍀بررسی مورد چهارم

🚜انبار داده ها یا همان
Data Warehouse (DWH)

این نوع پایگاه داده ها مشخصات زیر را دارند


موضوع­ گراهستند (Subject Oriented): پايگاه­ داده به گونه­ اي سازماندهي شده است که تمامي اطلاعاتي که به یک موضوع يا موجوديت خاص مربوط هستند با يکديگر مرتبط هستند.

متغير با زمان: تغييرات ايجاد شده در پايگاه­ داده اوليه در آن بصورت زمان محور به دقت اعمال مي­شوند.

Non-volatile
داده­هاي اطلاعاتي هرگز حذف نشده، با داده­ هاي جديد جايگزين نمي­شوند.

يکپارچه: اطلاعات موجود در پايگاه­ داده از سراسر سازمان جمع­ آوري شده­ اند و با هم سازگاري دارند".

هدف اصلي DWH ايجاد بستري مناسب براي توليد اطلاعاتي است که به Knowledg worker هاي سازمان (مديران، عوامل اجرايي و تحليلگران) براي اتخاذ تصميم­هاي درست کمک مي­کند. براي اين منظور از DWH در تهيه گزارش­ها، اطلاعات تحليلي، تعامل بلادرنگ با سيستم­هاي عملياتي و Profiling استفاده مي­شود.



با DWH مي­توان در سازمان سيستم تصميم­يار (Decision support) ايجاد کرد. اطلاعاتي که در DWH نگهداري مي­شود از آنچه در پايگاه­هاي داده نگهداري مي­شود (که شامل اطلاعات جزيي و روزمره است) به مراتب مهم­تر و ارزشمندتر است. در DWH تمامي اطلاعات موجود در سازمان از ابتدا تاکنون به صورت يکپارچه و سازماندهي شده نگهداري مي­شود. در اين مخزن اطلاعاتي، اطلاعات از تمامي منابع اطلاعاتي و در يک بازه زماني طولاني جمع­ آوري مي­شوند و به اين دليل حجم اطلاعات بسيار زياد است.



در DWH نياز به سازماندهي مناسب اطلاعات و استفاده از روش­هاي مناسب دسترسي به اطلاعات وجود دارد. DWH با طراحي متفاوت خود به صورت چندبعدي (Multi dimensional) قادر است تمامي این موارد را در نظر بگيرد. براي مثال در اطلاعات نگهداري شده براي فروش، زمان فروش، ناحيه فروش، فروشنده و محصول به فروش رفته به عنوان ابعاد مختلف در نظر گرفته مي­شوند. اغلب اين بعدها حالت سلسله مراتبي (Hierarchical) دارند. مثلا ممکن است زمان فروش شامل تاريخ و ساعت فروش محصول باشد. طراحي مدل داده چند بعدي با استفاده از تکنيک­هاي مرسوم در محيط­هاي OLTP مانند ERD و نرمال­سازي مناسب نيست. زيرا آنچه در DWH مهم است ايجاد امکان پرس­و­جو و بارگذاري سريع اطلاعات است.
@roozbeh_learning 👈🏼
اکثر سیستم های موجود بر پایه هدووپ بنا نهاده شده اند در زیر با ۵ تولید کننده برتر در این حوزه آشنا میشویم .👇👇

1-Data warehouse market
@roozbeh_learning 👈🏼

2-Data warehouse market
@roozbeh_learning 👈🏼

3-Data warehouse market
@roozbeh_learning 👈🏼

4-Data warehouse market
@roozbeh_learning 👈🏼

5-Data warehouse market
@roozbeh_learning 👈🏼

#Data_warehouse_diagram

@roozbeh_learning 👈🏼

#Hadoop #Big_data

Hadoop

امروزه هدوپ بصورت وسیعی و در زمینه های بسیاری از فعالیتهای دانشگاهی تا تجارت ، از علوم تا نجوم مورد استفاده قرار می گیرد . هدوپ مکانی امن برای ذخیره و تحلیل داده های کلان بشمار می رود ، مقیاس پذیر، توسعه پذیر و متن باز است . هدوپ هدف اصلی کمپانی های بزرگ تولید و ذخیره داده هاست از جمله Facebook ، IBM ، EMC ، Oracle و Microsoft است.
از کمپانیهای متخصص در زمینه سرویس های هدوپ می توان به MapR ، Cloudera و HortonWorks اشاره کرد.

به طور خلاصه ، هدوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است که ساز و کار پردازش حجم عظیمی از داده های توزیع شده را فراهم میکند. در واقع Hadoop را می توان به یک سیستم عامل تشبیه کرد که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند.

http://hadoop.ir/what/
https://goo.gl/L0iEXv
@roozbeh_learning 👈🏼

#Gartner

Data Management Solutions for Analytics

@roozbeh_learning 👈🏼

#ArcSight #Hadoop

✳️ارتباط آرک سایت با هدوپ و وندور های حمایت کننده از هدوپ برای تحلیل داده های حجیم .
@roozbeh_learning 👈🏼

#Hadoop #ArcSight #Cloudera

🚧برای مثال Cloudera اطلاعات آرک سایت را دریافت و تلفیق میکند .
( آرک سایت محصول HPE برای تلفیق داده های مختلف برای کشف نفوذ های امنیتی تحت عنوان SIEM در SOC ها است )
اکثر راهکارهای مبتنی هدوپ بصورت دوطرفه با آرک سایت میتوانند ارتباط برقرار کنند .
این عمل کمک مهم و افق نوینی در کشف نفوذ و مدیریت مقابله با حملات امنیتی است .

https://www.cloudera.com/more/services-and-support/professional-services/hp-arcsight-integration.html

@roozbeh_learning 👈🏼

⛱ویدیوهای آموزشی کوتاه

با توجه به بررسی که در خصوص ابزارهای مدیریت داده تاکنون در این کانال انجام شد ، برای آشنایی بیشتر ؛ در این زمان ویدیوهایی در مورد آشنایی با هدوپ و اسپارک در کانال آپارات آموزش روزبه قرار گرفت به آدرس زیر:
http://www.aparat.com/roozbeh_training

⛱ویدیو های جدیدی هم به لیست پخش ArcSight در کانال آپارات اضافه شدند
http://www.aparat.com/roozbeh_training