۲. با استفاده از دستور cd به پوشه ای که هدوپ در آن قرار گرفته می رویم. فایل‌های اجرایی که می‌توان با هدوپ کار کرد در پوشه bin قرار گرفته است:

۳. در بسته هدوپ مثال‌های آماده‌ای وجود دارد که می‌توان از آن‌ها برای شروع استفاده کرد. ما هم می‌خواهیم از مثال آماده MapReduce که در پوشه share/hadoop/mapreduce موجود می‌باشد استفاده کنیم:

فایل اجرایی مثال MapReduce در این پوشه با نام hadoop-mapreduce-examples-2.7.1.jar می باشد.

۴. حالا نوبت به اجرای این مثال می رسد. دقت کنید که ما در حال حاضر در پوشه share/hadoop/mapreduce هستیم و باید به پوشه bin برگردیم. ولی نیازی به برگشت نیست و می‌توانیم مستقیماً مثال را از همین پوشه اجرا کنیم. در این فایل مثال‌های متعددی برای MapReduce وجود دارد که در هنگام اجرای این مثال باید ذکر شود که قصد اجرای کدام مثال را داریم.
ما می‌خواهیم که مثال مشهور شمارش کلمات یا wordcount را اجرا کنیم. برای اجرای این مثال نیازمند یک فایل ورودی می باشیم. برای اینکار با فایلی در پوشه home می‌سازیم با محتوای زیر:

1

hello world bye world salam jahan khodahafez jahan

ما این فایل را با نام file1 در پوشه /home/pi ذخیره می‌کنیم و در نهایت مثال MapReduce را با استفاده از دستور زیر اجرا می کنیم:

 

1

pi@raspberrypi ~/hadoop/share/hadoop/mapreduce $ ../../../bin/hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /home/pi/file1 /home/pi/output

با دستور ../../../ به پوشه که فایل اجرایی هدوپ در آن قرار گرفته است بر میگردیم.Hadoop jar در‌ واقع فایل برنامه ما که با مدل MapReduce در جاوا نوشته شده است اجرا می کند. فایل برنامه ما hadoop-mapreduce-examples-2.7.1.ja می باشد.پس از آن می بایست به فایل برنامه بگوییم از کدام مثال می‌خواهیم استفاده کنیم. که در اینجا مثال ما wordcount است.همانطور که گفتیم این مثال نیازمند یک فایل ورودی متنی است. فایل ورودی که ساختیم در پوشه /home/pi/ قرار دارد.در انتها می بایست یک پوشه ای که از قبل وجود ندارد را به فایل برنامه معرفی کنیم تا فایل خروجی برنامه در این پوشه قرار گیرد.

۵. در نهایت به پوشه خروجی می‌رویم و نتیجه را مشاهده می کنیم. در این پوشه ۲ فایل وجود دارد که در تصویر زیر مشاهده می کنید.

نتیجه برنامه ما در فایل part-r-00000 قرار دارد. اگر این فایل را با یک برنامه ویرایشگر متنی باز میکنیم نتیجه را به این صورت مشاهده می کنیم:

1

2

3

4

5

6

Bye     1

Hello   1

Jahan   2

Khodahafez      1

Salam   1

World   2

این خروجی حاکی از اجرای درست برنامه MapReduce ما دارد. اجرای این برنامه بر روی یک کامپیوتر رزبری پای با پردازنده ۷۰۰ مگاهرتز و ۵۱۲ مگابایت حافظه رم ، به مدت 603 میلی ثانیه طول کشید.

منبع : مرجع هدوپ ایران

ویژه نامه رصد فناوری اطلاعات - شماره 5 منتشر شد:
http://press.occc.ir

دوستان عزیز پیشنهاد میکنم جهت آشنایی با تازه های رایانش ابری حتما ویژه نامه رصد را مطالعه بفرمایید☝️

برای جذب افراد جذاب، باید جذاب باشید.
برای جذب افراد قوی باید قوی باشید.
برای جذب افراد متعهد باید متعهد باشید.
به جای اینکه بخواهید روی انها تاثیر بگذارید، روی خودتان تاثیر بگذارید.
اگر شایسته باشید، می توانید جذب کنید.

با سلام و صبح بخیر خدمت سروران عزیز.🌞

امروز با یاد پروردگار مهربان با مطالب پیرامون معماری برای تحلیل کلان داده ها در خدمت شما هستم.

با تشکر از توجه شما 🌷

گلناز اردشیری

@BigDataTechnology

معماری برای تحلیل کلان داده ها :


تحلیل Real-Time در مقابل تحلیل off-line

تحلیل در سطوح مختلف

تحلیل با پیچیدگی متفاوت

در ادامه هر کدام را با هم بررسی خواهیم کرد.

@BigDataTechnology

تحلیل Real-Time :

وقتی داده های پیوسته در حال تغییر هستند، تحلیل سریع داده نیاز است و نتیجه با تاخیر خیلی کوتاه باید برگردد.

انواع معماری موجود :

1- خوشه های پردازشی با استفاده از پایگاه داده رابطه سنتی

2- سکوی محاسباتی مبتنی بر حافظه

مورد استفاده : تجارت الکترونیک و امور مالی

مثال : Greenplum از EMC و hana از SAP

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

Greenplum

تحلیل off- line :

معمولا برای کاربردهایی که احتیاج به زمان پاسخ سریع ندارند استفاده میشود.

مثل :

تحلیل آماری
الگوریتم های توصیه گر

بسیاری از شرکت های اینترنتی از این معماری مبتنی بر هدوپ برای کاهش هزینه ی تبدیل قالب داده ها و بهبود کارایی اکتساب داده ها استفاده میکنند.

ذهن شما مانند چتر نجات است،
تنها هنگامی که باز شود ، عمل می کند.💡


سلام و درود فراوان بر همراهان عزیز بیگ دیتا🌷

امروز با یاد پروردگار مطالب معماری تحلیل کلان داده ها را ادامه خواهیم داد.🙏

با تشکر از توجه شما ⛄

گلناز اردشیری

@BigDataTechnology

Scribe

یکی از ابزارهای فیسبوک برای تحلیل
معماری مبتنی بر هدوپ