برای انسانهای موفق در هفته ، هفت امروز وجود دارد
و برای انسانهای ناموفق، هفت فردا
تفاوتهای کوچک نتیجه های بزرگی به بار می آورد💪✌️👌
زندگی همین امروز است
امروز قدم هاتو محکم تر بردار و به هدفت بیشتر از هر روز نزدیک شو✌️🏅🌸
امید است شروع دومین روز هفته با امید و انگیزه داشته باشیم.

امروز با آشنایی انواع ابرها و کاربرد آن ها در رایانش ابری در خدمت شما عزیزان هستم.

با تشکر از همراهی شما سروران

گلناز اردشیری
@BigDataTechnology

انواع ابرها در رایانش ابری 👇👇👇👇

Public Cloud

 (ابر عمومی):
این نوع ابر تحت عنوان Hosted Cloud(ابر میزبانی) نیز شناخته می شود. ابر عمومی توسط یک سازمان یا یک شرکت ایجاد شده و خدمات ابری را برای مشتریان مختلف با استفاده از منابع موجود در یک ابر یکسان، فراهم می آورد. به عبارتی دیگر، در این نوع ابر زیر ساخت ابری برای عموم و یا برای دسته بزرگی از مشتریان در دسترس است. و مالک آن سازمانی است که این خدمات ابری را می فروشد. (سرویس EC2 آمازون و Simple DB از این نوع هستند.)

Private Cloud
(ابر خصوصی):

  به ابری گفته می شود که برای استفاده اختصاصی و داخلی یک سازمان ایجاد شده است. و ممکن است توسط خود سازمان یا یک شرکت ثالث ایجاد شده باشد. این ابر می تواند داخل یا بیرون سازمان جای بگیرد. (خدمات شرکت گوگل نظیر GFS ، Map Reduce و Big Table از این نوع هستند.) 

Hybrid Cloud
(ابر آمیخته): 

این نوع ابر، همان طور که از نامش مشخص است، آمیزه ای از دو یا بیشتر ابر(عمومی، خصوصی و گروهی) می باشد. که هر کدام ویژگی های یکتای خود را نگه می دارند. ولی به وسیله فن آوری های استاندارد شده یا انحصاری به هم متصل شده اند. مثلاً استاندارد Cloud Bursting(ترکیدن ابر) برای متعادل و همسنگ کردن بار بین ابرها

Community Cloud

(ابر گروهی):

 در این نوع ابر، زیر ساخت ابری بین چند سازمان به اشتراک گذاشته شده و یک گروه مشخص که وظیفه ای مشترک مثل مأموریت ها و نیازهای امنیتی دارند، را پشتیبانی می کند. این ابر می تواند توسط این سازمان ها یا یک شرکت ثالث ایجاد و مدیریت گردد. همچنین این ابر می تواند داخل یا بیرون سازمان جای بگیرد. 

شمای کلی رایانش ابری

ارتباط رایانش ابری و کلان داده ها

ارتباط بین رایانش ابری و کلان داده ها :

کلان داده ها هدف عملیات محاسباتی است. و بر ظرفیت انباره و ظرفیت محاسباتی یک سرویس دهنده ی ابر تاکید دارد.
هدف اصلی رایانش ابری، استفاده از منابع محاسباتی انبوه و ظرفیت های محاسباتی با مدیریت متمرکز برای فراهم کردن کاربردهای اشتراک منابع با دانه بندی و کاربردهای کلان داده ها با توانایی محاسباتی است.
توسعه ی رایانش ابری راه کاری برای ذخیره سازی و پردازش کلان داده ها است.
به عبارت دیگر ، پیدایش کلان داده ها ، توسعه رایانش ابری را شتاب داده است.
فناوری ذخیره سازی توزیع شده مبتنی بر رایانش ابری، مدیریت موثر کلان داده ها را ممکن می سازد و ظرفیت محاسباتی موازی ایجاد شده و به وسیله ی رایانش ابری باعث بهبود بهره وری، اکتساب و تحلیل کلان داده ها می شود.
سیر تکامل کلان داده ها با رشد سریع تقاضاهای کاربردی پیش رفت و رایانش ابری با فناوری های مجازی سازی گسترش یافت.
بنابراین رایانش ابری نه تنها محاسبات و پردازش را برای کلان داده ها فراهم میکند بلکه خود نیز یک وضعیت از سرویس است.
در یک نگاه گسترده تر ،پیشرفت ها در رایانش ابری باعث گسترش کلان داده ها میشود و هر یک مکمل دیگری است.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

🔹آب قطره قطره می چکد، با پایداری و سماجت
🔹سنگ بزرگ را سوراخ می کند.... موش با پشتکار و استقامت ، موفق به پاره کردن
رشته ی محکمی از سیم می شود....
.
🔹و ضربه های پی در پی تبری کوچک، درخت کهن
را از پای در می آورد.....

با درود فراوان به همراهان عزیز

ضمن تبریک روز دانشجو به امیدان آینده کشور
سومین روز از این هفته پاییزی با یاد خداوند شروع می کنیم.

امروز با مطالبی پیرامون ظهور استاندارد در حوزه کلان داده ها و طبقه بندی فناوری حوزه کلان داده در یک نگاه در خدمت شما سروران هستم.

گلناز اردشیری

@BigDataTechnology

ظهور استاندارد در حوزه کلان داده:

مرکز ملی استاندارد آمریکا ، اخیرا استاندارد سازی در حوزه مهندسی داده و بویژه کلان داده را شروع کرده است و رسما در هفت حوزه  زیر از فعالان و صاحبنظران درخواست کرده است که مطالب و نقطه نظرات خود را برای آنها ارسال کنند.

 این هفت حوزه عبارتند از :

1- تعاریف و مفاهیم کلان داده
2- طبقه بندی کلان داده
3- نیازمندیهای کلان داده
4- امنیت  و محرمانگی در حوزه کلان داده
5- معماری امنیت کلان داده
6- معماری اطلاعات کلان داده
7- راهنما و مسیر حرکت در حوزه کلان داده

البته نسخه اولیه هر کدام از این هفت حوزه آماده شده که میتوانید جزییات آنها را در آدرس زیر مشاهده و دانلود کنید .

http://bigdatawg.nist.gov/V1_output_docs.php

در هر صورت بعد از سالها، یکی از حوزه های داغ فناوری اطلاعات یعنی کلان داده در حال استاندارد شدن است . امری که می تواند به جهت دهی شرکتها و افراد بسیار کمک کند.
امیدواریم نسخه اولیه و نهایی آن زودتر وارد بازار شود .

منبع : bigdata.ir

فناوریهای حوزه کلان داده در یک نگاه:

سایت InsightDataEngineering یک نمودار تعاملی ساده و جمع و جور برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است :

 این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است:


🔵ابزار تزریق داده :
ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .

Kafka

RabbitMQ

Fluentd

Sqoop

AWS Kinesis


🔵قالب های فایلی ذخیره و بازیابی اطلاعات :
گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .

Avro

Parquet

Thrift

ProtoBuf

SequenceFiles

🔵سیستم های فایلی ذخیره و بازیابی اطلاعات :

HDFS

AWS S3

Tachyon

🔵پردازش دسته ای :

Hadoop Map/Reduce

Spark

AWS EMR

TEZ

 یادگیری ماشین

H2O

Mahout

Spark MLib

پردازش گراف

GraphLab

Giraph

Spark GraphX

اجرای SQL

Hive

Presto

Drill

🔵پردازش جریانهای داده

Storm

Spark Streaming

Samza

NiFi

🔵بانکهای اطلاعاتی

بانکهای اطلاعاتی رابطه ای

بانکهای سندگرا

بانکهای سطر گسترده

بانکهای کلید مقدار

بانکهای گراف محور

🔵ابزارهای مدیریت شبکه  وکلاستر

YARN

Mesos

Zookeeper

Oozie

🔵ابزارهای نظارت و مانیتورینگ

Hue

Ambari

Lipstick

Ganglia

🔵داشبوردهای تحلیلی و تولید برنامه های کاربر

Flask

D3

AngularJS

Django

Highcharts

جزییات کامل این گروه بندی و نمودار را در آدرس زیر می توانید مشاهده کنید .

http://insightdataengineering.com/blog/pipeline_map.html

مقالاتی که دنیای کلان داده را تغییر داد:

در حوزه کلان داده در سالهای اخیر مقالات بسیار زیادی منتشر شده است و با توجه به گرایشات جهانی به این حوزه ، سال به سال نیز در حال افزایش است اما در این بین ، بعضی مقالات نقش پایه ای و اساسی در این حوزه ایفا کرده اند مانند مقاله ای که گوگل در سال ۲۰۰۶ با موضوع کلان جدول یا BigTable منتشر کرد و پایه ای شد برای طراحی بانکهای سطر گسترده ای مانند آمازون داینامو و کاساندرا .

در این مقاله این مقالات که نقطه عطفی در حوزه کلان داده بوده اند به صورت زیر فهرست شده اند که برای دانشجویان و محققین این حوزه توصیه میشود برای شروع کار ، از این مقالات پایه ای استفاده کنند :


🔵MapReduce: Simplified Data Processing on Large Clusters

🔵The Google File System

🔵Bigtable: A Distributed Storage System for Structured Data

🔵Dynamo: Amazon’s Highly Available Key-value Store

🔵The Chubby lock service for loosely-coupled distributed systems

🔵Chukwa: A large-scale monitoring system

🔵Cassandra – A Decentralized Structured Storage System

🔵HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads

🔵S4: Distributed Stream Computing Platform.

🔵Dremel: Interactive Analysis of Web-Scale Datasets

🔵Large-scale Incremental Processing Using Distributed Transactions and Notifications

🔵Pregel: A System for Large-Scale Graph Processing

🔵Spanner: Google’s Globally-Distributed Database

🔵Shark: Fast Data Analysis Using Coarse-grained Distributed Memory

🔵The PageRank Citation Ranking: Bringing Order to the Web

🔵A Few Useful Things to Know about Machine Learning

🔵Random Forests

🔵A Relational Model of Data for Large Shared Data Banks

🔵Map-Reduce for Machine Learning on Multicore

🔵Megastore: Providing Scalable, Highly Available Storage for Interactive Services

🔵Finding a needle in Haystack: Facebook’s photo storage

🔵Spark: Cluster Computing with Working Sets

🔵The Unified Logging Infrastructure for Data Analytics at Twitter

🔵F1: A Distributed SQL Database That Scales

🔵MLbase: A Distributed Machine-learning System

🔵Scalable Progressive Analytics on Big Data in the Cloud

🔵Big data: The next frontier for innovation, competition, and productivity

🔵The Promise and Peril of Big Data

🔵TDWI Checklist Report: Big Data Analytics

منبع: bigdata.ir

دوستانی که مایل به دریافت هر کدام از مقاله های فوق هستند ، نام مقاله و آدرس ایمیل خود را به 👇👇👇
@golnazardeshiri
ارسال کنند.