🍀🍀☝️
#Data_Management

🍀برای اطلاع دوستان و همراهان :

در حال بررسی پرونده ابزارها و تکنولوژی های کار با داده، فرآوری و کنترل آنها هستیم .

تا کنون به دومورد از آنها یعنی ابزارهای تلفیق و ابزارهای کیفیت نگاهی انداخته شده است .

لطفا برای مطالعه به پستهای ماقبل مراجعه کنید.
@roozbeh_learning👈🏼

#Data_Warehouse

🍀بررسی مورد چهارم

🚜انبار داده ها یا همان
Data Warehouse (DWH)

این نوع پایگاه داده ها مشخصات زیر را دارند


موضوع­ گراهستند (Subject Oriented): پايگاه­ داده به گونه­ اي سازماندهي شده است که تمامي اطلاعاتي که به یک موضوع يا موجوديت خاص مربوط هستند با يکديگر مرتبط هستند.

متغير با زمان: تغييرات ايجاد شده در پايگاه­ داده اوليه در آن بصورت زمان محور به دقت اعمال مي­شوند.

Non-volatile
داده­هاي اطلاعاتي هرگز حذف نشده، با داده­ هاي جديد جايگزين نمي­شوند.

يکپارچه: اطلاعات موجود در پايگاه­ داده از سراسر سازمان جمع­ آوري شده­ اند و با هم سازگاري دارند".

هدف اصلي DWH ايجاد بستري مناسب براي توليد اطلاعاتي است که به Knowledg worker هاي سازمان (مديران، عوامل اجرايي و تحليلگران) براي اتخاذ تصميم­هاي درست کمک مي­کند. براي اين منظور از DWH در تهيه گزارش­ها، اطلاعات تحليلي، تعامل بلادرنگ با سيستم­هاي عملياتي و Profiling استفاده مي­شود.



با DWH مي­توان در سازمان سيستم تصميم­يار (Decision support) ايجاد کرد. اطلاعاتي که در DWH نگهداري مي­شود از آنچه در پايگاه­هاي داده نگهداري مي­شود (که شامل اطلاعات جزيي و روزمره است) به مراتب مهم­تر و ارزشمندتر است. در DWH تمامي اطلاعات موجود در سازمان از ابتدا تاکنون به صورت يکپارچه و سازماندهي شده نگهداري مي­شود. در اين مخزن اطلاعاتي، اطلاعات از تمامي منابع اطلاعاتي و در يک بازه زماني طولاني جمع­ آوري مي­شوند و به اين دليل حجم اطلاعات بسيار زياد است.



در DWH نياز به سازماندهي مناسب اطلاعات و استفاده از روش­هاي مناسب دسترسي به اطلاعات وجود دارد. DWH با طراحي متفاوت خود به صورت چندبعدي (Multi dimensional) قادر است تمامي این موارد را در نظر بگيرد. براي مثال در اطلاعات نگهداري شده براي فروش، زمان فروش، ناحيه فروش، فروشنده و محصول به فروش رفته به عنوان ابعاد مختلف در نظر گرفته مي­شوند. اغلب اين بعدها حالت سلسله مراتبي (Hierarchical) دارند. مثلا ممکن است زمان فروش شامل تاريخ و ساعت فروش محصول باشد. طراحي مدل داده چند بعدي با استفاده از تکنيک­هاي مرسوم در محيط­هاي OLTP مانند ERD و نرمال­سازي مناسب نيست. زيرا آنچه در DWH مهم است ايجاد امکان پرس­و­جو و بارگذاري سريع اطلاعات است.
@roozbeh_learning 👈🏼
اکثر سیستم های موجود بر پایه هدووپ بنا نهاده شده اند در زیر با ۵ تولید کننده برتر در این حوزه آشنا میشویم .👇👇

1-Data warehouse market
@roozbeh_learning 👈🏼

2-Data warehouse market
@roozbeh_learning 👈🏼

3-Data warehouse market
@roozbeh_learning 👈🏼

4-Data warehouse market
@roozbeh_learning 👈🏼

5-Data warehouse market
@roozbeh_learning 👈🏼

#Data_warehouse_diagram

@roozbeh_learning 👈🏼

#Hadoop #Big_data

Hadoop

امروزه هدوپ بصورت وسیعی و در زمینه های بسیاری از فعالیتهای دانشگاهی تا تجارت ، از علوم تا نجوم مورد استفاده قرار می گیرد . هدوپ مکانی امن برای ذخیره و تحلیل داده های کلان بشمار می رود ، مقیاس پذیر، توسعه پذیر و متن باز است . هدوپ هدف اصلی کمپانی های بزرگ تولید و ذخیره داده هاست از جمله Facebook ، IBM ، EMC ، Oracle و Microsoft است.
از کمپانیهای متخصص در زمینه سرویس های هدوپ می توان به MapR ، Cloudera و HortonWorks اشاره کرد.

به طور خلاصه ، هدوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است که ساز و کار پردازش حجم عظیمی از داده های توزیع شده را فراهم میکند. در واقع Hadoop را می توان به یک سیستم عامل تشبیه کرد که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند.

http://hadoop.ir/what/
https://goo.gl/L0iEXv
@roozbeh_learning 👈🏼

#Gartner

Data Management Solutions for Analytics

@roozbeh_learning 👈🏼

#ArcSight #Hadoop

✳️ارتباط آرک سایت با هدوپ و وندور های حمایت کننده از هدوپ برای تحلیل داده های حجیم .
@roozbeh_learning 👈🏼

#Hadoop #ArcSight #Cloudera

🚧برای مثال Cloudera اطلاعات آرک سایت را دریافت و تلفیق میکند .
( آرک سایت محصول HPE برای تلفیق داده های مختلف برای کشف نفوذ های امنیتی تحت عنوان SIEM در SOC ها است )
اکثر راهکارهای مبتنی هدوپ بصورت دوطرفه با آرک سایت میتوانند ارتباط برقرار کنند .
این عمل کمک مهم و افق نوینی در کشف نفوذ و مدیریت مقابله با حملات امنیتی است .

https://www.cloudera.com/more/services-and-support/professional-services/hp-arcsight-integration.html

@roozbeh_learning 👈🏼

⛱ویدیوهای آموزشی کوتاه

با توجه به بررسی که در خصوص ابزارهای مدیریت داده تاکنون در این کانال انجام شد ، برای آشنایی بیشتر ؛ در این زمان ویدیوهایی در مورد آشنایی با هدوپ و اسپارک در کانال آپارات آموزش روزبه قرار گرفت به آدرس زیر:
http://www.aparat.com/roozbeh_training

⛱ویدیو های جدیدی هم به لیست پخش ArcSight در کانال آپارات اضافه شدند
http://www.aparat.com/roozbeh_training

🌠همکاری داوطلبان در تحقیقات پزشکی برای یافتن راه حل درمان بیماریها با در اختیار گذاشتن قدرت پردازشی رایانه یا موبایل خود
@roozbeh_learning 👈🏼

🌠همکاری داوطلبان از سراسر جهان در تحقیقات پزشکی، برای یافتن راه حل درمان بیماریها با در اختیار گذاشتن قدرت پردازشی رایانه یا موبایل خود
@roozbeh_learning 👈🏼


💠با توجه به نیاز مراکز تحقیقات پزشکی به منابع عظیم پردازشی و کامپیوتری ، و از طرفی محدود بودن این منابع ، جنبشی در جهان شکل گرفته است که اساس آن بر اشتراک منابع پردازشی داوطلبان است .

شرکت کنندگان در این حرکت به موسسه های مذکور اجازه میدهند درزمان بیکار بودن کامپیوتر یا موبایل خود ، از آن برای حل معادلات و انجام پردازش ها در راستای یافتن درمان بیماری هایی چون ایدز و سرطان استفاده شود.
بدین ترتیب زمان یافتن راهکارهای درمانی تسریع میگردد.

در لینک زیر پیشنهاد شرکت IBM برای داوطلبان آورده شده است
https://www.ibm.com/thought-leadership/world-community-grid/?lnk=ushpv18l1&lnk2=learn

لینک دانشگاه برکلی
http://boinc.berkeley.edu/wiki/World_Community_Grid

@roozbeh_learning 👈🏼

ضمن تبریک سال نو، هدیه ای به اعضای کانال @msjavan_ir تقدیم میگردد. ترجمه فصل اول کتاب Cloud+ مشتمل بر مهارتهای اصلی مهندسی رایانش ابری (لطفا با ارسال بازخورد در ترجمه فصلهای بعد همراهی نمایید).

🏕☝️☝️با سپاس از جناب مهندس سرگلزایی جوان بابت این سخاوتمندی 🙏🙏.
و تبریک به ایشان بابت چنین روحیه ای 👌👏🌻

☣سوء استفاده هکر ها از LinkedIn

با توجه به اینکه سایت لینکدین سایت معتبری است و در بسیاری از سازمانها بدلیل نیاز مدیریت منابع انسانی برای جستجوی کارمندان جدید، باز است ، این سایت به یکی از روشهای جدید برای نفوذ به سازمانها از طریق سهل ترین روش نفوذ یعنی عامل انسانی، بدل شده است ‌.

در زیر نکاتی برای افزایش آگاهی در هنگام کار با این شبکه اجتماعی آمده است :

https://goo.gl/qvdZcx

@roozbeh_learning 👈🏼

❇️تشکیل واحد فرماندهی سایبری در ارتش آلمان

کشور آلمان این واحد را در کنار سایر نیروهای هوایی و زمینی و دریایی ارتش این کشور قرار داده است.
این واحد کار خود را با ۲۶۰ متخصص شروع می‌کند و قرار است نیروهای آن به حدود ۱۳۵۰۰ متخصص افزایش پیدا کند. مرکز این واحد در شهر بن، پایتخت آلمان غربی سابق است.

http://www.securityweek.com/german-military-launch-cyber-command

@roozbeh_learning 👈🏼

#CISCO #Vulnerability

🔴نیاز به ریبوت تجهیزات امنیتی سیسکو

با توجه به اشکال در فریم ور مدلهایی از تجهیزات امنیتی سیسکو به شرح لینک زیر ؛ درصورتی که پس از تقریبا ۲۱۳ روز و ۱۲ ساعت این تجهیزات ریبوت نگردند ، ترافیک گذری از آنها متوقف میگردد.

http://www.cisco.com/c/en/us/support/docs/field-notices/642/fn64291.html

نکات مهم در برخورد با این مساله که حتما به اونها باید دقت کنید :

اول : ورژن دستگاه چک بشه که آیا جزو فریم ورهای مشکل دار هست یا نه

دوم : زمان up بودن دستگاه
با دستور زیر مشاهده کنید که بدانید چقدر تا ریبوت مورد نیاز ، مهلت دارید .

show version | grep up

سوم : درصورتیکه فیل اور دارید اول دستگاهی که استند بای است ریبوت شود بعد اکتیو بشه اون دستگاه .

چهارم : به روزرسانی مرتبط با این نقص در این هفته بیرون خواهد آمد

@roozbeh_learning 👈🏼