تجربه کردن، به تنهائی کافی نیست، تجربه را باید سنجید و در جایگاه خویش قرار داده و آن را تجزیه و تحلیل نمود تا بتوان به نتایج آن دست یافت.

چند قدم مانده به یلدا
به شبی خاطره انگیز و بلند
به سفیدی زمستان و اناری که دلش قصه ی یکرنگی است.
یلدایتان پیشاپیش مبارک🍉

با سلام و درود خدمت دوستان عزیز.
آخرین روز پاییزتون گرم و زیبا🍂🍁🔥

امروز با یاد پروردگار ادامه مطالب روش های تحلیل کلان داده ها را با هم دنبال خواهیم کرد.🙏

لازم به ذکر است پایه و اساس آموزش گام گام بر اساس سر فصل های کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی است.

با تشکر از توجه شما🌷

گلناز اردشیری

@BigDataTechnology

روش تحلیل کلان داده ها

Index
شاخص :

موارد استفاده :
"پایگاه داده های رابطه ای سنتی، فناوری مدیریت داده های نیمه ساخت یافته و غیر ساخت یافته"

مزایا :کاهش هزینه خواندن و نوشتن در دیسک
بهبود در سرعت درج،حذف،اصلاح پرس و جو

معایب: هزینه اضافی ذخیره سازی فایل های شاخص

دانلود بسته مجازی هدوپ

مرجع هدوپ ایران برای سهولت در استفاده از فریم ورک هدوپ و آشنایی سریع با توانایی های آن،بسته ماشین مجازی هدوپ اختصاصی خود را برای دانلود ارائه می کند. لازم به ذکر است این بسته ماشین مجازی دارای حجمی کمتر از ماشین های مجازی متداول نظیر Cloudera و Hortonworks (نزدیک به ۹۵۰ مگابایت) و همینطور ساده تر از آنها می باشد. با راه اندازی این بسته می توانید به سرعت با هدوپ کار کنید بدون اینکه درگیر مشکلات نصب شوید.

http://hadoop.ir/box/

ﺯﻣﺴﺘﺎﻥ ڪم ڪم می آید ❄
ﺩﻭﺭ ﻗﻠﺒﺘﺎﻥ ﺷﺎﻝ ﮔﺮﺩﻥ ﺑﭙﯿﭽﯿﺪ ⛄
ڪہﺩﺭ ڪﻮﻻﮎ آﺩﻣﻬﺎے ﯾﺦ ﺯﺩﻩ ﺍﯾﻦ ﺩﯾﺎﺭ،ﻣﻨﺠﻤﺪ ﻧﺸﻮﺩ ....🍃
ﻣﻮﺍﻇﺐ ﺳﺮﻣﺎے ﺳﻮﺯﺍﻥ ﻧﺎﻣﻼﯾﻤﺘے ﻫﺎﯼ ﺍﯾﻦ ﺩﻧﯿﺎ ﺑﺎﺷﯿﺪ،☔
ﻣﺒﺎﺩﺍ ﺭﻭﺣﺘﺎﻥ ﺳﻨﮓ ﺷﻮﺩ ...
ﺣﻮﺍﺳﺘﺎﻥ ﺑﻪ ﺑﺮﮔﻬﺎے ﺯﯾﺮ ﭘﺎﯾﺘﺎﻥ ﺑﺎﺷﺪ،
ﺍﻧﻬﺎ ﺭﻭﺯے ﻋﺮﻭﺱ ﺩﺭﺧﺘےﺑﻮﺩﻧﺪ،
ﻟﻬﺸﺎﻥ ﻧڪﻨﯿﺪ
ﺧﻼﺻﻪ ﺯﻣﺴﺘﺎﻥ ﺯﯾﺒﺎ ﺍﻣﺪﻩ ،🌞
ﻣﻮﺍﻇﺐ ﺍﻧﺴﺎﻧﯿﺘﻬﺎے ﺑﻪ ﺧﻮﺍﺏ ﺯﻣﺴﺘﺎﻧے ﺭﻓﺘﻪ ﺑﺎﺷﯿﺪ ...

❤ﺯﻣﺴﺘﺎﻧﺘﺎﻥ ﺯﯾﺮ ڪﺮﺳے ﻋﺸﻖ،ﮔﺮﻡ ﮔﺮﻡ...ツ❤

سلام و درود به دوستان عزیز بیگ دیتا
امروز با یاد پرورگار مهربان با ادامه بحث دیروز در خدمت شما هستم.

با تشکر با توجه شما 🌷

گلناز اردشیری
@BigDataTechnology

اتحادیه ITU نخستین استاندارد برای کلان‌داده‌ها را تدوین کرد.
اتحادیه بین‌المللی ITU وابسته به سازمان ملل متحد که سال‌هاست با کار بر روی مباحث فنی فراوان تلاش کرده همکاری جمعی در این زمینه‌ها را شکل دهد، جمعه گذشته نخستین استاندارد جهانی در حوزه کلان‌داده‌ها (Big Data) را عرضه کرد.
http://bigdatasp.com/wp-content/uploads/2015/06/bd5.jpg
استاندارد تازه بین‌المللی، حاوی پیش‌نیازها، قابلیت‌ها و کاربردهای کلان‌داده‌های مبتنی بر فضای ابری است. در استاندارد مزبور بر این مسئله هم تاکید شده که منافع این فناوری می‌تواند در یک مقیاس جهانی بدست آید.
این استاندارد ضمنا شرح می‌دهد که چگونه سیستم‌های پردازش ابری می‌توانند موجب پدید آوردن کلان‌داده‌ها گردند. به گفته یکی از مدیران ITU استاندارد ارائه شده جدید، مبانی جهانی مورد توافق برای کلان‌داده‌های مبتنی بر فضای ابری را فراهم کرده است.
در تشریح این استاندارد جدید، موضوعاتی مانند توصیه‌ها و الزامات جمع‌آوری داده‌ها، مشاهده، تحلیل و ذخیره‌سازی، و نیز مسائلی مانند ملاحظات امنیتی ذکر شده است.با این حال ظاهرا در این استاندارد، تفاوت قابل ملاحظه‌ای با شرایط و ضوابط حاکم بر شرکت‌ها و وضعیت کنونی به چشم نمی‌خورد.
به نظر می‌رسد این نکته از این واقعیت سرچشمه می‌گیرد که غالبا در فضای فناوری‌های جدید و پیش از شکل گرفتن استاندارد رسمی، شرکت‌ها و سازندگان نوعی توافق و هماهنگی میان یکدیگر را شکل می‌دهند که در نتیجه آن، چندگانگی و اختلاف رویه‌ها کاهش می‌یابد. به گفته یک کارشناس، این هماهنگی در فضای فناوری کلان‌داده‌ها هم اتفاق افتاده و نتیجتا توافق جمعی را پیش‌تر شکل داده است.
منبع: http://www.itu.int/en/ITU-T/techwatch/Pages/big-data-standards.aspx

روش تحلیل کلان داده ها

Triel

درخت پیشوندی :
نوعی درخت در هم ساز است.
در اصل برای بازیابی سریع به دست آوردن آمار فراوانی کلمات (word frequency) استفاده می شود.
ایده اصلی استفاده از پیشوند های مشترک رشته های کاراکتری است تا برای بهبود کارایی پرس و جو، تعداد مقایسه روی رشته های کاراکتری در بزرگ ترین اندازه را کاهش میدهد.

منبع :  کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

Parallel Computing
رایانش موازی :

 ایده اصلی :
تجزیه یک مسئله و انتساب زیر مسئله ها به چند پردازش مستقل.

محاسبات موازی کلاسیک و ابزاها:
MPI
MapReduce---》big data :

- hive
- pig
- sawzall

Dryad  --------》big data :

- Scope
- DryadLINQ

منبع کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

آزمایش اجرای MapReduce بر روی رزبری پای توسط شرکت مهندسی تکنولوژی فرافکر


همیشه این فرض وجود داشته که آیا برای استفاده از هدوپ و اجرای یک عمل MapReduce نیازمند سخت افزارهای گران و قدرتمند هستیم؟ ما در این آزمایش قصد داریم چگونگی اجرای یک عمل MapReduce را بر روی یک دستگاه کامپیوتر کوچک رزبری پای امتحان کنیم.

رزبری پای چیست؟

برد Raspberry Pi يک برد پردازشگر در ابعاد يک کارت اعتباري است. هدف از توليد اين برد ترويج آموزش علوم کامپيوتر و الکترونيک در مدارس و دانشگاه هاست. این کامپیوتر کوچک دارای پردازشگری با قدرت ۷۰۰ مگاهرتز و ۵۱۲ مگابایت رم می باشد.
اين برد از سيستم عامل‌هاي Debian GNU/Linux، Raspbian، Fedora،Arch Linux ARM، RISC OS، Free BSD و Plan9 پشتيباني مي‌کند.

شروع کار

برای شروع کار فرض می‌کنیم که رزبری پای ما دارای یک عدد کارت شبکه بیسیم و وصل به شبکه داخلی کامپیوتر اصلی ما می‌باشد و یا با استفاده از یک کابل شبکه لپ تاپ یا کامپیوتر خودمان را به آن متصل کرده ایم. همچنین بسته هدوپ را دانلود کرده اید و آنرا به درستی نصب کرده اید. اگر نمی دانید چطور هدوپ را نصب کنید به این لینک مراجعه کنید.

۱. آی پی رزبری پای ما ۱۹۲.۱۶۸.۱.۱۵۵ می باشد. با استفاده از ssh می بایست به این آی پی وصل شویم تا دسترسی خط فرمان به کامپیوتر رزبری پای داشته باشیم:

ssh pi@192.168.1.155

ا pi نام کاربری پیش‌فرض رزبری پای می‌باشد.

با اجرای این دستور از ما رمز عبور درخواست می‌شود که به صورت پیش‌فرض رمز عبور raspberry می باشد.

پس از اجرای این دستور خط فرمان کامپیوتر رزبری در اختیار ما قرار میگیرد:

۲. با استفاده از دستور cd به پوشه ای که هدوپ در آن قرار گرفته می رویم. فایل‌های اجرایی که می‌توان با هدوپ کار کرد در پوشه bin قرار گرفته است:

۳. در بسته هدوپ مثال‌های آماده‌ای وجود دارد که می‌توان از آن‌ها برای شروع استفاده کرد. ما هم می‌خواهیم از مثال آماده MapReduce که در پوشه share/hadoop/mapreduce موجود می‌باشد استفاده کنیم:

فایل اجرایی مثال MapReduce در این پوشه با نام hadoop-mapreduce-examples-2.7.1.jar می باشد.

۴. حالا نوبت به اجرای این مثال می رسد. دقت کنید که ما در حال حاضر در پوشه share/hadoop/mapreduce هستیم و باید به پوشه bin برگردیم. ولی نیازی به برگشت نیست و می‌توانیم مستقیماً مثال را از همین پوشه اجرا کنیم. در این فایل مثال‌های متعددی برای MapReduce وجود دارد که در هنگام اجرای این مثال باید ذکر شود که قصد اجرای کدام مثال را داریم.
ما می‌خواهیم که مثال مشهور شمارش کلمات یا wordcount را اجرا کنیم. برای اجرای این مثال نیازمند یک فایل ورودی می باشیم. برای اینکار با فایلی در پوشه home می‌سازیم با محتوای زیر:

1

hello world bye world salam jahan khodahafez jahan

ما این فایل را با نام file1 در پوشه /home/pi ذخیره می‌کنیم و در نهایت مثال MapReduce را با استفاده از دستور زیر اجرا می کنیم:

 

1

pi@raspberrypi ~/hadoop/share/hadoop/mapreduce $ ../../../bin/hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /home/pi/file1 /home/pi/output

با دستور ../../../ به پوشه که فایل اجرایی هدوپ در آن قرار گرفته است بر میگردیم.Hadoop jar در‌ واقع فایل برنامه ما که با مدل MapReduce در جاوا نوشته شده است اجرا می کند. فایل برنامه ما hadoop-mapreduce-examples-2.7.1.ja می باشد.پس از آن می بایست به فایل برنامه بگوییم از کدام مثال می‌خواهیم استفاده کنیم. که در اینجا مثال ما wordcount است.همانطور که گفتیم این مثال نیازمند یک فایل ورودی متنی است. فایل ورودی که ساختیم در پوشه /home/pi/ قرار دارد.در انتها می بایست یک پوشه ای که از قبل وجود ندارد را به فایل برنامه معرفی کنیم تا فایل خروجی برنامه در این پوشه قرار گیرد.

۵. در نهایت به پوشه خروجی می‌رویم و نتیجه را مشاهده می کنیم. در این پوشه ۲ فایل وجود دارد که در تصویر زیر مشاهده می کنید.

نتیجه برنامه ما در فایل part-r-00000 قرار دارد. اگر این فایل را با یک برنامه ویرایشگر متنی باز میکنیم نتیجه را به این صورت مشاهده می کنیم:

1

2

3

4

5

6

Bye     1

Hello   1

Jahan   2

Khodahafez      1

Salam   1

World   2

این خروجی حاکی از اجرای درست برنامه MapReduce ما دارد. اجرای این برنامه بر روی یک کامپیوتر رزبری پای با پردازنده ۷۰۰ مگاهرتز و ۵۱۲ مگابایت حافظه رم ، به مدت 603 میلی ثانیه طول کشید.

منبع : مرجع هدوپ ایران

ویژه نامه رصد فناوری اطلاعات - شماره 5 منتشر شد:
http://press.occc.ir

دوستان عزیز پیشنهاد میکنم جهت آشنایی با تازه های رایانش ابری حتما ویژه نامه رصد را مطالعه بفرمایید☝️