مقاله جدید مرجع هدوپ ایران:

«امنیت در هدوپ - بخش اول»

در این مقاله قصد داریم به بررسی امنیت در هدوپ بپردازیم و روش ها و راه کارهای آنرا بررسی کنیم. در ابتدا می بایست به نحوه نگاه هدوپ به مسئله امنیت بپردازیم.

هدوپ به صورت پیش فرض بدون هیچ ساز و کار امنیتی و بدون اعتبارسنجی اجرا می شود و هدوپ فرض را بر این قرار می دهد که "همه چی آرومه". در واقعیت هیج وقت اینطور نیست و بلاخره هدوپ در محیط های واقعی مورد استفاده قرار می گیرد و همیشه در محیط آزمایشگاهی امن نخواهیم ماند. در واقع کاربری که می خواهد با هدوپ کار کند کافی است نام کاربری خودش را به هدوپ معرفی کند و هدوپ هم (به صورت پیش فرض) فکر میکند کاربر موردنظر درست می گوید و بدون هیج اعتبارسنجی نه تنها خودش اجازه فعالیت به آن کاربر می دهد،بلکه به تمامی ماشین ها در شبکه اعلام می کند که این کاربر اجازه فعالیت دارد.

ادامه در : http://hadoop.ir/?p=629

مرجع هدوپ ایران
http://www.hadoop.ir
@hadoop

طیف یادگیری علم داده

🆔: @mfta_ir

خبرنامه هفتگی جامعه آزاد رایانش ابری ایران – 8 اسفند الی 21 اسفند 94 منتشر شد.
https://lnkd.in/dC2mwtv

۱۰ فناوری داغ بیگ دیتا
در لینک زیر، ۱۰ تا از داغ ترین فناوری های بیگ دیتا براساس تجزیه و تحلیل فورستر آمده است:👇👇👇

۱- تجزیه و تحلیل پیش بینانه: راه حل های نرم افزاری و یا سخت افزاری اجازه می دهد به شرکت ها برای کشف، ارزیابی، بهینه سازی، و استفاده از مدل های پیش بینانه با تجزیه و تحلیل منابع بیگ دیتا به منظور بهبود عملکرد کسب و کار و یا کاهش ریسک.
۲- پایگاه داده های NoSQL: کلید-مقدار، سند، و پایگاه داده نمودارها...

با مفتا همراه شوید...

🌎: http://mfta.ir/data-science/id=13876

🆔: @mfta_ir

خداوندا ، در این آخرین روزهای سال
دل مردمان این سرزمین را چنان در جویبار زلال رحمتت شستشو ده
که هر کجا تردیدی هست ایمان
هر کجا زخمی هست مرهم
هر کجا نومیدی هست امید
و هر کجا نفرتی هست عشق جای آنرا فرا گیرد.

@BigDataTechnology

با عرض سلام و احترام به اعضای کانال بیگ.
دوستان عزیز افتخاری برای بنده در سال 94 در خدمت شما سروران بودم و امیدوارم مطالب مفید قرار گرفته شده باشد.
امید است در سال جدید با انرژی و مطالب کاربردی بیشتر در خدمتتان باشم.

با توجه به فرارسیدن ایام تعطیل نوروز، پاسخ گویی به سوالات ، درخواست مقالات و فایل های تصویری آموزشی شما بزرگواران فقط تا امروز مورخ 26 اسفند 94 امکان پذیر می باشد و در سال 95 بعد از تعطیلات نوروزی در خدمت شما هستم.

لازم به ذکر است ، تمامی درخواست های ارسال فیلم آموزشی و مقالات شما عزیزان تا پایان سال جاری انجام می شود.

با تشکر از توجه شما.

گلناز اردشیری

@BigDataTechnology

#Hadoop

چند شرکت و مراکز تحقیقاتی که از Hadoop استفاده میکنند:

@BigDataTechnology

➖روزنامه New York Times برای ذخیره سازی تمام مقالات

➖فیسبوک روزانه برای آنالیز 135 ترابایت از مجموعه داده ها

➖در ژاپن Yahoo Japan برای آنالیز access log

➖همچنین DeNa از هدوپ برای آنالیز رفتاری همه ی کاربران که تعدادشان بیش از 2 میلیارد در روز است استفاده می کند.

@BigDataTechnology

دوستان عزیز بیگ دیتا با درخواست شما دوستان آموزش تصویری صفر تا صد دیتابیس NoSQL و MongoDB از طریق لینک زیر قابل دانلود می باشد :
@BigDataTechnology

➖Section 1: Course Intro
➖Section 2: The NoSQL Database
➖Section 3: Getting Started With MongoDB
➖Section 4: Working With Documents Part -1
➖Section 5: Working With Documents Part - 2
➖Section 5: Working With Documents Part - 2
➖Section 6: Node.js & MongoDB
➖Section 7: Course Summary


http://www.tahlildadeh.com/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4-NoSQL/%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%b5%d9%81%d8%b1-%d8%aa%d8%a7-%d8%b5%d8%af-%d8%af%db%8c%d8%aa%d8%a7%d8%a8%db%8c%d8%b3-NoSQL-%d9%88-MongoDB

آموزش اجرای Query بر روی مجموعه داده های بزرگ با سرویس Google BigQuery :

همان طور که می دانید شرکت گوگل یک سرویس Cloud برای اجرای Query بر روی مجموعه های بزرگ داده فراهم کرده است، این سرویس Google BigQuery می باشد.


➖مقدمه ای بر Google BigQuery
➖آموزش کار با Google BigQuery
➖آموزش استفاده از Google BigQuery API موجود برای زبان جاوا
➖مروری بر مسیر پیش روی Google BigQuery

@BigDataTechnology

جهت دریافت فایل آموزشی به لینک زیر مراجعه کنید.
http://www.tahlildadeh.com/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4-Oracle/%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%a7%d8%ac%d8%b1%d8%a7%db%8c-Query-%d8%a8%d8%b1-%d8%b1%d9%88%db%8c-%d9%85%d8%ac%d9%85%d9%88%d8%b9%d9%87-%d8%af%d8%a7%d8%af%d9%87-%d9%87%d8%a7%db%8c-%d8%a8%d8%b2%d8%b1%da%af-%d8%a8%d8%a7-%d8%b3%d8%b1%d9%88%db%8c%d8%b3-Google-BigQuery

 آموزش گام به گام مبانی اینترنت اشیا و برنامه نویسی برای این گونه وسایل بوسیله ‏iOS به زودی در کانال اینترنت اشیا....

@IoTTechnology

 ‌‎با مشاهده این دوره آموزشی با مبانی اینترنت اشیا آشنا شده ، سپس برنامه نویسی‎ iOS ‎برای کنترل برخی از این اشیا به عنوان ‏مثال رنگ یک چراغ مطالعه در طول روز در بستر اینترنت اشیا را خواهید آموخت‎. برخی از مطالب این مجموعه عبارتند از‎ : آشنایی با اینترنت اشیا‎ آشنایی با حس گرها و عملگرها‎ آموزش اتصال ورودی / خروجی‎ اتصال به دستگاه ها بوسیله‎ Wi-Fi ‎و یا بلوتوث‎ آموزش استفاده از‎ Apple iBeacon ساخت موارد دلخواه بوسیله سخت افزارهای قابل برنامه ریزی‎ مروری بر کاربردهای اینترنت اشیا ‌‎ این مجموعه آموزش ویدیویی محصول موسسه آموزشی‎ Lynda ‎است.‏

به دوستان خود اطلاع دهید.

با تشکر از توجه شما
گلناز اردشیری

منبع :دریافت فایل ها از وب سایت تحلیل داده ها

@IoTTechnology

✅ سریال ‘House of Cards’ و بیگ دیتا
سریال House of Cards که در سال ۲۰۱۳ در سرویس پخش فیلم نتفلیکس شروع به پخش کرده است توانست در کمتر از ۲ سال به رتبه ۹ از ۱۰ از ۲۷۵ هزار بیننده دست پیدا کند. این رتبه همان رتبه ایست که فیلم آواتار و Sopranos در گذشته بدست آورده بودند اما مهم این است که این رتبه قبل از بدست آمدن از سوی دانشمندان داده تضمین شده بود. اما چگونه؟ نتفلیکس برای این سریال از تمام بیگ دیتای بدست آمده از همه بازدید کننده هایش استفاده کرده است تا بتواند سلایق آنها را درک و از آن استفاده کند. به معنای دیگر نتفلیکس از بیگ دیتا استفاده کرده است تا سریالی مطابق سلیقه بیننده هایش بسازد.

🌍: http://thenextweb.com/insider/2016/03/20/data-inspires-creativity/

🆔: @mfta_ir

معرفی Flink Stack نسل چهارم بسترهای تحلیل کلان داده

http://tinyurl.com/heelhus

پلتفرم متن باز Flink
برای
distributed stream,
batch data processing

درصد رواج ساختارهای زیربنایی در حوزه بیگ دیتا

🆔: @mfta_ir

رویکردهای جدید برای پشتیبانی از Big-Data با استفاده از Hadoop در Microsoft
@SQL_DataMining

Predixtion Insight Big-Data Architecture
معماری مفهومی ارتباط ابزارها و سرویس های متنوع در مایکروسافت برای پشتیبانی از Big_data و تحلیل های پیشگویانه در زیرساخت اَبری
#DataMining_BigData

#DataMining_BigData
In-Place creation of predictive models in Hadoop using Mahout
@SQL_DataMining

هر آنچه که برای مدیریت پروژه های Big Data مورد نیاز است با استفاده از Hadoop در Microsoft Azure مهیّا است.
#DataMining_BigData
@SQL_DataMining

مقدمه ای بر پیکان (Apache Arrow) :

تحلیل درون حافظه داده های ستونی

#apache
#arrow
#bigData

پروژه متن باز پیکان ، علیرغم نوپا بودنش در اکو سیستم آپاچی، در حال تبدیل شدن به یک استاندارد در حوزه پردازش داده و ایجاد یک بستر مناسب برای تعامل بین فناوریهای مختلف کلان داده است.


توسعه گران ارشد ۱۳ پروژه متن باز اصلی دنیای کلان داده، یک تیم مشترک برای ایجاد و توسعه پیکان ، شکل داده اند و سایر شرکتها و پروژه ها هم در حال تطبیق دادن خود با آن هستند. این ۱۳ تا شرکت عبارتند از :

Calcite
Cassandra
Drill
Hadoop
HBase
Ibis
Impala
Kudu
Pandas
Parquet
Phoenix
Spark
Storm

تحلیل درون حافظه ای داده های ستونی :

پروژه پیکان، برآمده از چهار گرایش و نیاز جدید مهندسی داده امروز دنیاست :

داده های ستونی :
قبلاً در مقاله Kudu درباره مفهوم داده های ستونی توضیح داده شد اما به طور خلاصه ،امروزه فناوریهای کلان داده، ستونی شده اند. یعنی به جای ذخیره سطری داده ها ، آنها را به صورت ستونی ذخیره می کنند. با اینکار ، فیلترگذاری و جستجوی داده ها بسیار سریعتر و بهینه تر صورت میگیرد. مثال زیر گویای این مطلب است.البته پروژه Apache Parquet که مخصوص این نوع از ذخیره سازی ، ابداع شده است به رشد این گرایش کمک بزرگی کرد.

پردازش درون حافظه ای :
 اسپارک محبوبیت و رواج امروز خود را مدیون پردازش های درون حافظه ایست که باعث افزایش کارآیی قابل ملاحظه سیستم های نوین اطلاعاتی امروزی شده است .

داده های پیچیده و ساختارهای پویا :
داده های دنیای واقعی با ساختار سلسله مراتبی و تودرتو راحت نمایش داده می شوند که رشد قالب JSON و بانکهای اطلاعاتی سندگرا مانند مانگو دی بی، نشانگر این نیاز کسب و کار امروزی است . سیستم های مدرن تحلیلی معاصر باید بتواند این نوع از داده ها را به صورت پیش فرض پشتیبانی کند.

نیاز به تعامل و برقراری ارتباط بین فناوریهای مختلف حوزه کلان داده  :
در حال حاضر، فناوریها و کتابخانه های مختلف حوزه کلان داده، هر کدام روشی را برای ذخیره و پردازش داده ها ابداع کرده اند و برای برقراری ارتباط بین آنها و استفاده از داده ها به صورت مشترک، نیاز به فرآیندهای مختلف تبدیل داده داریم که هم زمان بر است و هم توسعه سامانه ها را با مشکل مواجه می کند. Apache Parquet ، Apache Avro تلاشهایی برای رفع این مشکل و استاندارد سازی تبادل داده هاست .

اغلب سیستم های پردازش داده معاصر، یک یا حداکثر دو مورد از موارد سه گانه فوق را دارا هستندو پیکان ، تلاشی است برای ساخت سامانه هایی با پشتیبانی از تمام نیازهای نوین مورد اشاره به صورت استاندارد و متن باز.

این مطلب ادامه دارد....

نویسنده :
استاد گران قدر جناب آقای سید مجتبی بنائی

www.bigdata.ir