فناوری داده های عظیم و الزامات قانونی آن
http://www.bigdata.ir/1394/08/%d9%81%d9%86%d8%a7%d9%88%d8%b1%db%8c-%d8%af%d8%a7%d8%af%d9%87-%d9%87%d8%a7%db%8c-%d8%b9%d8%b8%db%8c%d9%85-%d9%88-%d8%a7%d9%84%d8%b2%d8%a7%d9%85%d8%a7%d8%aa-%d9%82%d8%a7%d9%86%d9%88%d9%86%db%8c-%d8%a2/

فناوریهای حوزه کلان داده در یک نگاه
🐘🐘🐘
http://www.bigdata.ir/1394/05/%d9%81%d9%86%d8%a7%d9%88%d8%b1%db%8c%d9%87%d8%a7%db%8c-%d8%ad%d9%88%d8%b2%d9%87-%da%a9%d9%84%d8%a7%d9%86-%d8%af%d8%a7%d8%af%d9%87-%d8%af%d8%b1-%db%8c%da%a9-%d9%86%da%af%d8%a7%d9%87/

مروری بر ابزارهای SQL بر روی هدوپ و کلان داده

http://www.bigdata.ir/1394/04/%d9%85%d8%b1%d9%88%d8%b1%db%8c-%d8%a8%d8%b1-%d8%a7%d8%a8%d8%b2%d8%a7%d8%b1%d9%87%d8%a7%db%8c-sql-%d8%a8%d8%b1-%d8%b1%d9%88%db%8c-%d9%87%d8%af%d9%88%d9%be-%d9%88-%da%a9%d9%84%d8%a7%d9%86-%d8%af%d8%a7/

کدام موتور پردازشی هدوپ را باید استفاده کنیم ؟
http://www.bigdata.ir/1394/04/%da%a9%d8%af%d8%a7%d9%85-%d9%85%d9%88%d8%aa%d9%88%d8%b1-%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4%db%8c-%d9%87%d8%af%d9%88%d9%be-%d8%b1%d8%a7-%d8%a8%d8%a7%db%8c%d8%af-%d8%a7%d8%b3%d8%aa%d9%81%d8%a7%d8%af/

کاربردهای هدوپ در دنیای واقعی
🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘🐘
http://hadoop.ir/%d8%a7%d8%b3%d9%84%d8%a7%db%8c%d8%af-%da%a9%d8%a7%d8%b1%d8%a8%d8%b1%d8%af%d9%87%d8%a7%db%8c-%d9%87%d8%af%d9%88%d9%be-%d8%af%d8%b1-%d8%af%d9%86%db%8c%d8%a7%db%8c-%d9%88%d8%a7%d9%82%d8%b9%db%8c/

معرفی Radoop :
Radoop یک شرکت بزرگ تجزیه و تحلیل داده با هدف کم کردن موانع برای استفاده از Hadoop است. بستهRadoop اجازه می دهد تا حتی افراد غیر فنی نیز توانایی دسترسی ، تجزیه و تحلیل و شبیه سازی داده های بزرگ را داشته باشند. برای افراد متخصص علاوه بر امکانات ذکر شده برنامه نویسی ، تجزیه و تحلیل  و پیش بینی پیشرفته را فراهم می کند و این دلیل محکمی است که RapidMiner با تکیه بر توانایی هدوپ در پردازش موازی داده های کلان به عنوان محبوب ترین ابزار داده کاوی یکپارچه شناخته شود و کم کم کاربران زیادی را به سمت خود سوق دهد.
http://hadoop.ir/%d9%85%d8%b9%d8%b1%d9%81%db%8c-radoop/#respond

نحوه نصب هدوپ (Single Node)

http://hadoop.ir/howtoinstall/

آخرین نسخه هدوپ
این نسخه برای استفاده عملیاتی هنوز مناسب نیست و پس از گزارش اشکالات ، در نسخه های 2.7.1 و 2.7.2  حل خواهد شد. برای استفاده های عملیاتی و تجاری تا انتشار نسخه 2.7.1 و 2.7.2 صبر کنید.پشتیبانی از منبع ذخیره Windows Azure در بسته عمومی پشتیبانی از ترانکیت فایل ها در HDFSپشتیبانی از فایل های با طول بلوک متغیر در HDFSپشتیبانی از Storage Type در Quotaافزایش توانایی اعتبارسنجی در YARNکش کردن اتوماتیک در منابع محلی در YARN (آزمایشی)توانایی محدود کردن Task های در حال اجرای یک Job در MapReduceافزایش سرعت FileOutputCommitter برای Job های با حجم بالا و فایل های خروجی زیاد در MapReduce
http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

برای دانلود اخرین نسخه هدوپ بروی لینک بالا کلیک بفرمایید.

براساس تحقیقات موسسه IDC IT با رشد روز افزون داده ها نیاز مبرم به کارشناسان داده بیش از پیش احساس میشود و بر همین اساس پیش بینی هایی از آینده بیگ دیتا به شرح زیر انجام  شده است:

ابزارهای کشف داده های بصری در سال ۲۰۱۸ رشد ۲٫۵ برابری نسبت به سایر ابزارهای کسب و کار خواهد داشت. همچنین در ۵ سال آینده هزینه های مبتنی بر بیگ دیتا رشد ۳برابری خواهد داشت.کمبود کارمندان ماهر همچنان ادامه خواهد داشت. بر همین اساس تنها در کشور امریکا در سال ۲۰۱۵ حدود ۱۸۱ هزار جایگاه تجزیه و تحلیل وجود خواهد داشت که نیازمند جذب نیروی متخصص هستند.

http://uupload.ir/files/9x2i_photo_2015-11-13_11-29-28.jpg

دانلود فیلم آموزشی WEKA به زبان فارسی

وکا (Weka) یک نرم افزار داده کاوی متن‌باز می‌باشد که بسیاری از الگوریتم‌های یادگیری ماشین را پشتیبانی می‌کند. تمام قسمت‌های این نرم‌افزار به زبان جاوا نوشته شده است و در نتیجه می‌تواند بر روی هر پلتفرمی اجرا گردد.

فیلم های آموزش weka (داده کاوی) به زبان فارسی:

جلسه ی اول:
http://www.cmpclub.ir/viewtopic.php?f=473&t=1832&sid=ea93b17bfa58464f3a785ba1155c2b28

جلسه ی دوم:
http://www.cmpclub.ir/viewtopic.php?f=473&t=2065&sid=ea93b17bfa58464f3a785ba1155c2b28

جلسه سوم:
http://www.cmpclub.ir/viewtopic.php?f=473&t=2084&sid=ea93b17bfa58464f3a785ba1155c2b28

جلسه ی چهارم:
http://www.cmpclub.ir/viewtopic.php?f=473&t=2600&sid=087203fbfcb7855aa2075e655579b86f

http://uupload.ir/files/c5a3_cover.jpg

کتاب آموزش هدوپ برای علاقه مندان به علوم داده
Hadoop for dummies
زبان اصلی*

لینک دانلود:
http://s6.picofile.com/file/8221909968/Hadoop_For_Dummies_Dirk_deRoos.pdf.html

@mfta_ir

تعاریف داده های بزرگ

در سال 2001 موسسه گارتنر(Gartner)، (گروه متا) سه بعد از چالش ها و فرصت های پیش رو در حوزه رشد داده ها را مطرح کرد که عبارت بودند از:

افزایش حجم (Volume): افزایش در میزان دادهسرعت و شتاب (Velocity): افزایش سرعت تولید داده های ورودی و خروجیتنوع (Variety): افزایش محدوده تنوع و منابع داده ها

که این ویژگی ها (3Vs) بعد از آن به عنوان ویژگی های اصلی و معرف داده های بزرگ مطرح شدند.
در سال 2012 موسسه گارتنر تعریف جدیدی را ارایه کرد:
«داده های بزرگ، حجم بالا، سرعت و شتاب بالا و تنوع بالایی از دادایی های اطلاعاتی هستند که نیازمند شکل جدیدی از پزدازش هستند تا بتوانند تصمیم گیری را غنی¬تر سازند، بینش جدیدی را کشف کنند و نیز فرآیندها را بهینه نمایند.»
علاوه بر این مفهوم جدیدی به نام «صحت» (Veracity) نیز به ویژگی های داده های بزرگ افزوده شد تا بتواند ان را بهتر توصیف نماید.

نمای 3vs در یک نگاه

با سلام و احترام
دوستان و همراهان گرامی ضمن عرض خوش آمدگویی خدمت شما عزیزان؛
این هفته با معرفی کلان داده ها،سیر تکامل،خصوصیات و توسعه آن ها در خدمت شما هستم.
امیدوارم مطالب مفید و ارزشمند باشند.

در صورت تمایل به دعوت دوستان خود به این مجموعه، این پیام را خدمت آن بزرگواران ارسال نمایید .

با تشکر
گلناز اردشیری

@bigdatatechnology

اولین کنفرانس ملی مهندسی فناوری اطلاعات مکانی
http://ncegit2016.kntu.ac.ir/fa/

@eadv_events

مقاله کلان داده، کاربردها و چالش های آن