HBase
#HBase
@BigDataTechnology
یک پیاده سازی متن باز از ابزار Google Big Table می باشد و مانند دیتابیس های رابطه ای، داده ها در جداول ذخیره می شوند اما فرآیندهایی مانند Join و Query نویسی در آن بخوبی پشتیبانی نشده اند. البته باید به این نکته اشاره کرد که با وجود ابزار قدرتمند MapReduce ایجاد اعمالی مانند Join و پرس و جو در هادوپ بسیار ساده پیاده سازی می شود. به بیان دیگر می توان گفت با وجود Pig و Hive پیاده سازی این اعمال راحت خواهد بود.
در HBase چهار عمل اصلی Insert(Create) ، Read ، Update و Delete روی جداول بزرگ قابل انجام است، علاوه بر این برخی اعمال اتمیک ، برخی قفلگذاری مربوط به دیتابیس و ایندکس گذاری ها در آن لحاظ شده است. همانطور که در شکل نشان داده ایم HBase نیز مانند HDFS از دو بخش Master و Slave تشکیل شده است که این بخش ها HMaster و Region Server نامیده می شوند. البته این را هم باید گفت که HBase از HDFS به عنوان مسئول ذخیره سازی داده استفاده می کند. این باعث می شود HBase از همه ی خصوصیات HDFS مانند Replication استفاده کند.
مدیریت دادها در HBase در نودهای فرعی که توسط نود اصلی مدیریت می شود انجام می گردد.
@BigDataTechnology
#HBase
@BigDataTechnology
یک پیاده سازی متن باز از ابزار Google Big Table می باشد و مانند دیتابیس های رابطه ای، داده ها در جداول ذخیره می شوند اما فرآیندهایی مانند Join و Query نویسی در آن بخوبی پشتیبانی نشده اند. البته باید به این نکته اشاره کرد که با وجود ابزار قدرتمند MapReduce ایجاد اعمالی مانند Join و پرس و جو در هادوپ بسیار ساده پیاده سازی می شود. به بیان دیگر می توان گفت با وجود Pig و Hive پیاده سازی این اعمال راحت خواهد بود.
در HBase چهار عمل اصلی Insert(Create) ، Read ، Update و Delete روی جداول بزرگ قابل انجام است، علاوه بر این برخی اعمال اتمیک ، برخی قفلگذاری مربوط به دیتابیس و ایندکس گذاری ها در آن لحاظ شده است. همانطور که در شکل نشان داده ایم HBase نیز مانند HDFS از دو بخش Master و Slave تشکیل شده است که این بخش ها HMaster و Region Server نامیده می شوند. البته این را هم باید گفت که HBase از HDFS به عنوان مسئول ذخیره سازی داده استفاده می کند. این باعث می شود HBase از همه ی خصوصیات HDFS مانند Replication استفاده کند.
مدیریت دادها در HBase در نودهای فرعی که توسط نود اصلی مدیریت می شود انجام می گردد.
@BigDataTechnology
چه موقع باید از HBASE استفاده نمود؟
از Hbase زمانی استفاده می شود که برای خواندن و نوشتن در زمان واقعی نیاز باشد.
هدف این پروژه میزبانی از جداول بسیار بزرگ با میلیاردها ردیف و میلیون ها جدول می باشد.
از Hbase زمانی استفاده می شود که برای خواندن و نوشتن در زمان واقعی نیاز باشد.
هدف این پروژه میزبانی از جداول بسیار بزرگ با میلیاردها ردیف و میلیون ها جدول می باشد.
ویژگی های HBase
#HBase
@BigDataTechnology
- مقیاس پذیری خطی و مدولار .
- به شدت سازگار با خواندن و نوشتن.
- بخش بندی و تنظیم خودکارجداول.
- پشتیبانی خطایابی خودکاربین سرورها.
- کلاس های پایه مناسب جهت پشتیبانی Hadoop MapReduce jobs با استفاده از جداول (Apache HBase tables) .
- دسترسی راحت کاربر به Java API.
- فیلترهای حافظه نهان و بلوم جهت نمایش داده در زمان واقعی.
- رساندن گزاره پرس و جو از طریق سرور به فیلترها.
- و Thrift gateway و وب سرویس REST-ful از فرمتهای XML, Protobuf,گزینه های رمز گزاری داده های باینری را پشتیبانی می کند.
- توسعه پذیری در زمینه jruby-based (JIRB) shell.
- پشتیبانی برای exporting metrics از طریق Hadoop metrics subsystem در فایل ها یاGanglia و یا از طریق JMX.
@BigDataTechnology
#HBase
@BigDataTechnology
- مقیاس پذیری خطی و مدولار .
- به شدت سازگار با خواندن و نوشتن.
- بخش بندی و تنظیم خودکارجداول.
- پشتیبانی خطایابی خودکاربین سرورها.
- کلاس های پایه مناسب جهت پشتیبانی Hadoop MapReduce jobs با استفاده از جداول (Apache HBase tables) .
- دسترسی راحت کاربر به Java API.
- فیلترهای حافظه نهان و بلوم جهت نمایش داده در زمان واقعی.
- رساندن گزاره پرس و جو از طریق سرور به فیلترها.
- و Thrift gateway و وب سرویس REST-ful از فرمتهای XML, Protobuf,گزینه های رمز گزاری داده های باینری را پشتیبانی می کند.
- توسعه پذیری در زمینه jruby-based (JIRB) shell.
- پشتیبانی برای exporting metrics از طریق Hadoop metrics subsystem در فایل ها یاGanglia و یا از طریق JMX.
@BigDataTechnology
معرفی MAHOUT
#Mahout
زیر پروژه Mahout که جزء جدایی ناپذیر پروژه هدوپ است یک محیط برای ایجاد برنامه ها و الگوریتم های یادگیری ماشین به صورت توزیع شده می باشد.
این زیرپروژه شامل الگوریتم ها و کتابخانه های مختلفی برای داده کاوی می شود که می توان به الگوریتم های خوشه بندی نظیر K-Means و دسته بندی نظیر Naïve Bayes اشاره کرد.
و Mahout همچنین کتابخانه های محسابات ریاضی بر طبق جبر خطی و آمار را نیز برای جاوا فراهم می کند.
این زیر پروژه هنوز در حال تکمیل شدن است اما تا به حال الگوریتم های زیادی برای آن پیاده سازی شده است.
هرچند Mahout بیشتر به عنوان یکی از زیرپروژه های هدوپ شناخته می شود ولی این به این معنی نیست که وابسته به هدوپ باشد و Mahout می تواند بدون هدوپ و بر روی Single Node و حتی کلاستر غیر هدوپی مورد استفاده قرار گیرد.
لازم به ذکر است که Mahout به زبان جاوا و اسکالا نوشته شده است.
سه جزء مهم از Apache mahout
برای ساختن الگوریتمهای مقیاس پذیر عبارتند از :
- New Scala
- Spark algorithms
- الگوریتمهای Mapreduce کامل هدوپ که برایMahout به کار می رود.
@BigDataTechnology
#Mahout
زیر پروژه Mahout که جزء جدایی ناپذیر پروژه هدوپ است یک محیط برای ایجاد برنامه ها و الگوریتم های یادگیری ماشین به صورت توزیع شده می باشد.
این زیرپروژه شامل الگوریتم ها و کتابخانه های مختلفی برای داده کاوی می شود که می توان به الگوریتم های خوشه بندی نظیر K-Means و دسته بندی نظیر Naïve Bayes اشاره کرد.
و Mahout همچنین کتابخانه های محسابات ریاضی بر طبق جبر خطی و آمار را نیز برای جاوا فراهم می کند.
این زیر پروژه هنوز در حال تکمیل شدن است اما تا به حال الگوریتم های زیادی برای آن پیاده سازی شده است.
هرچند Mahout بیشتر به عنوان یکی از زیرپروژه های هدوپ شناخته می شود ولی این به این معنی نیست که وابسته به هدوپ باشد و Mahout می تواند بدون هدوپ و بر روی Single Node و حتی کلاستر غیر هدوپی مورد استفاده قرار گیرد.
لازم به ذکر است که Mahout به زبان جاوا و اسکالا نوشته شده است.
سه جزء مهم از Apache mahout
برای ساختن الگوریتمهای مقیاس پذیر عبارتند از :
- New Scala
- Spark algorithms
- الگوریتمهای Mapreduce کامل هدوپ که برایMahout به کار می رود.
@BigDataTechnology
هدوپ در ده سالی که گذشت ….
شرکت کلودارا به مناسبت ده سالگی هدوپ، یک اینفوگرافیک از تاریخچه آن و نقاط عطف این پروژه فراگیر امروزی ، طراحی کرده است که مشاهده آنرا به تمام علاقه مندان و فعالین این حوزه توصیه می کنم .
http://www.bigdata.ir/1395/02/%d9%87%d8%af%d9%88%d9%be-%d8%af%d8%b1-%d8%af%d9%87-%d8%b3%d8%a7%d9%84%db%8c-%da%a9%d9%87-%da%af%d8%b0%d8%b4%d8%aa/
شرکت کلودارا به مناسبت ده سالگی هدوپ، یک اینفوگرافیک از تاریخچه آن و نقاط عطف این پروژه فراگیر امروزی ، طراحی کرده است که مشاهده آنرا به تمام علاقه مندان و فعالین این حوزه توصیه می کنم .
http://www.bigdata.ir/1395/02/%d9%87%d8%af%d9%88%d9%be-%d8%af%d8%b1-%d8%af%d9%87-%d8%b3%d8%a7%d9%84%db%8c-%da%a9%d9%87-%da%af%d8%b0%d8%b4%d8%aa/
مهندسی داده
هدوپ در ده سالی که گذشت ….
شرکت کلودارا به مناسبت ده سالگی هدوپ، یک اینفوگرافیک از تاریخچه آن و نقاط عطف این پروژه فراگیر امروز...
پردازش یک میلیارد داده تاکسی های نیویورک
وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود.
کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها و دیتابیس های مختلف است به گونه ای که کاربر بتواند آنها را با هم مقایسه کند. نحوه تنظیم و بارگذاری داده ها در هریک و نیز محدودیت ها و معایب هر کدام با توضیحات کامل مشخص شده است .
http://www.bigdata.ir/1395/02/%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%db%8c%da%a9-%d9%85%db%8c%d9%84%db%8c%d8%a7%d8%b1%d8%af-%d8%af%d8%a7%d8%af%d9%87-%d8%aa%d8%a7%da%a9%d8%b3%db%8c-%d9%87%d8%a7%db%8c-%d9%86%db%8c%d9%88%db%8c%d9%88/
وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود.
کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری ها و دیتابیس های مختلف است به گونه ای که کاربر بتواند آنها را با هم مقایسه کند. نحوه تنظیم و بارگذاری داده ها در هریک و نیز محدودیت ها و معایب هر کدام با توضیحات کامل مشخص شده است .
http://www.bigdata.ir/1395/02/%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%db%8c%da%a9-%d9%85%db%8c%d9%84%db%8c%d8%a7%d8%b1%d8%af-%d8%af%d8%a7%d8%af%d9%87-%d8%aa%d8%a7%da%a9%d8%b3%db%8c-%d9%87%d8%a7%db%8c-%d9%86%db%8c%d9%88%db%8c%d9%88/
مهندسی داده
پردازش یک میلیارد داده تاکسی های نیویورک | مهندسی داده
وبلاگ marksblogg اخیراً مجموعه مقالاتی را منتشر کرده است در خصوص پردازش داده های مسیرهای طی شده توسط تاکسی های نیویورک در شش سال گذشته که بالای یک میلیارد رکورد را شامل می شود. کار بسیار خوبی که نویسنده مقاله انجام داده است، اجرای چند کوئری مشخص روی معماری…
جهت کسب اطلاع بیشتر به لینک زیر مراجعه کنید.
http://www.bigdata.ir/1395/02/%da%a9%d8%a7%d8%b1%da%af%d8%a7%d9%87-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%a7%d8%a8%d8%b2%d8%a7%d8%b1-%d8%a2%d9%85%d8%a7%d8%b1%db%8c-%da%a9%d9%84%d8%a7%d9%86-%d8%af%d8%a7%d8%af%d9%87/
http://www.bigdata.ir/1395/02/%da%a9%d8%a7%d8%b1%da%af%d8%a7%d9%87-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%a7%d8%a8%d8%b2%d8%a7%d8%b1-%d8%a2%d9%85%d8%a7%d8%b1%db%8c-%da%a9%d9%84%d8%a7%d9%86-%d8%af%d8%a7%d8%af%d9%87/
مهندسی داده
کارگاه آموزشی ابزارهای آماری و ریاضی مه داده ها برای علم زندگی
با همکاری مرکز تحقيقات علمی ملی فرانسه، مدرسه عالی سوپلک، دانشگاه پاريس 11، دانشگاه ساكلی پاريس و با...
Forwarded from DataScience.Media
میزان درصد منابع داده ای حجیم مورد استفاده برای تحلیل Big-Data در سازمان ها
#DataMining_BigData
@SQL_DataMining
#DataMining_BigData
@SQL_DataMining
سایت مکتب خونه ویدئوهای آموزشی کلاسهای دانشگاه های ایران ، به بازنشر دروس مختلف دانشگاهی کشور می پردازد . اخیراً درسی با عنوان الگوریتم های داده های حجیم که توسط دکتر آبام در دانشگاه صنعتی شریف در حال برگزاری است ، به این سایت اضافه شده است که هفته به هفته، مطالب مطرح شده در این کلاس ، آپلود شده و قابل مشاهده است .
http://maktabkhooneh.org/video/abam-bigdata-1
http://maktabkhooneh.org/video/abam-bigdata-1
Forwarded from BigData
اولین وبینار آنلاین «آشنایی با هدوپ»
19 اردی بهشت 1395 ساعت 19 تا 20
لینک ثبت نام: www.hadoop.ir/webinars/intro
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
19 اردی بهشت 1395 ساعت 19 تا 20
لینک ثبت نام: www.hadoop.ir/webinars/intro
مرجع هدوپ ایران
www.hadoop.ir
@hadoop