Forwarded from DataBanks.ir آموزش منابع علمی پژوهشی
App Store
GoScholar for Google Scholar App: Journal Article Search + Download Papers to Academic Research Library on the App Store
Read reviews, compare customer ratings, see screenshots, and learn more about GoScholar for Google Scholar App: Journal Article Search + Download Papers to Academic Research Library. Download GoScholar for Google Scholar App: Journal Article Search + Download…
Forwarded from DataBanks.ir آموزش منابع علمی پژوهشی
App Store
Research Papers for Google Scholar App: Search Essay Reference + Download Journal Article from Academic Library on the App Store
Read reviews, compare customer ratings, see screenshots, and learn more about Research Papers for Google Scholar App: Search Essay Reference + Download Journal Article from Academic Library. Download Research Papers for Google Scholar App: Search Essay Reference…
Forwarded from DataBanks.ir آموزش منابع علمی پژوهشی
دانلود اپلیکشین آندروید Scopus (بزرگترین پایگاه اطلاعاتی چکیده و استنادی جهان از متون معتبر، مجلات علمی، کتاب ها، و مجموعه مقالات کنفرانس ها) 👇
چالش های کلان داده ها:
رشد سریع داده ها در بخش کلان داده ها طوفانی به پا کرد که چالش های بزرگی در اکتساب،ذخیره سازی،مدیریت و تحلیل داده ها به وجود آوردند.
سیستم های تحلیلی و مدیریت داده ی سنتی،مبتنی بر سیستم مدیریت پایگاه داده های رابطه ای بودند.
چنین سیستم هایی فقط برای داده های ساخت یافته به کار گرفته می شوند نه داده های نیم ساخت یافته و غیر ساخت یافته.
جامعه تحقیقاتی راه کارهایی ازجنبه های مختلف پیشنهاد کرده است.
به عنوان مثال برای نیازمندی های زیر ساخت کلان داده ها مثل بهره وری هزینه،قابلیت کشسانی و کم و زیاد کردن بدون اشکال منابع از رایانش ابری استفاده شد.
سیستم فایل های توزیع شده و پایگاه داده های NoSQL برای ذخیره سازی پایدار و مدیریت مجموعه داده های بزرگ انتخاب خوبی بودند.
مقالات بسیاری راجع به موانع سر راه توسعه کاربردهای تحلیل داده ها بحث کرده اند.
به بعضی چالش های کلیدی اشاره میکنیم:
👇👇👇👇👇👇👇
نمایش داده
فشردگی و کاهش افزونگی داده ها
مدیریت چرخه زندگی داده ها
مکانیسم تحلیلی
محرمانگی داده ها
مدیریت انرژی
توسعه پذیری و مقیاس پذیری
همکاری
✏✏✏✏✏✏✏✏✏✏
دوستان علاقمند در ادامه چالش های ذکر شده به مختصر توضیح داده می شود.
منبع: کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
رشد سریع داده ها در بخش کلان داده ها طوفانی به پا کرد که چالش های بزرگی در اکتساب،ذخیره سازی،مدیریت و تحلیل داده ها به وجود آوردند.
سیستم های تحلیلی و مدیریت داده ی سنتی،مبتنی بر سیستم مدیریت پایگاه داده های رابطه ای بودند.
چنین سیستم هایی فقط برای داده های ساخت یافته به کار گرفته می شوند نه داده های نیم ساخت یافته و غیر ساخت یافته.
جامعه تحقیقاتی راه کارهایی ازجنبه های مختلف پیشنهاد کرده است.
به عنوان مثال برای نیازمندی های زیر ساخت کلان داده ها مثل بهره وری هزینه،قابلیت کشسانی و کم و زیاد کردن بدون اشکال منابع از رایانش ابری استفاده شد.
سیستم فایل های توزیع شده و پایگاه داده های NoSQL برای ذخیره سازی پایدار و مدیریت مجموعه داده های بزرگ انتخاب خوبی بودند.
مقالات بسیاری راجع به موانع سر راه توسعه کاربردهای تحلیل داده ها بحث کرده اند.
به بعضی چالش های کلیدی اشاره میکنیم:
👇👇👇👇👇👇👇
نمایش داده
فشردگی و کاهش افزونگی داده ها
مدیریت چرخه زندگی داده ها
مکانیسم تحلیلی
محرمانگی داده ها
مدیریت انرژی
توسعه پذیری و مقیاس پذیری
همکاری
✏✏✏✏✏✏✏✏✏✏
دوستان علاقمند در ادامه چالش های ذکر شده به مختصر توضیح داده می شود.
منبع: کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
با سلام و احترام
دوستان و همراهان گرامی🌷
✏امیدوارم تا اینجا، مطالب مفید و ارزشمند قرار گرفته باشند.✏
در ادامه، با اطلاعاتی پیرامون:🔜
⬅️فناوری های وابسته کلان داده ها (رایانش ابری،IOT،هدوپ و دیتا سنترها)
⬅️تولید کلان داده ها
⬅️جمع اوری،انتقال و پیش پردازش کلان داده ها
⬅️ ذخیره سازی کلان داده ها
⬅️ تحلیل کلان داده ها
⬅️کاربردهای کلان داده
در خدمت شما عزیزان هستم.
در صورت تمایل به دعوت دوستان خود به این مجموعه، این پیام را خدمت آن بزرگواران ارسال نمایید .
با تشکر
گلناز اردشیری
@BigDataTechnology
دوستان و همراهان گرامی🌷
✏امیدوارم تا اینجا، مطالب مفید و ارزشمند قرار گرفته باشند.✏
در ادامه، با اطلاعاتی پیرامون:🔜
⬅️فناوری های وابسته کلان داده ها (رایانش ابری،IOT،هدوپ و دیتا سنترها)
⬅️تولید کلان داده ها
⬅️جمع اوری،انتقال و پیش پردازش کلان داده ها
⬅️ ذخیره سازی کلان داده ها
⬅️ تحلیل کلان داده ها
⬅️کاربردهای کلان داده
در خدمت شما عزیزان هستم.
در صورت تمایل به دعوت دوستان خود به این مجموعه، این پیام را خدمت آن بزرگواران ارسال نمایید .
با تشکر
گلناز اردشیری
@BigDataTechnology
Forwarded from Computer & Knowledge
10 مهارت برتر مورد نیاز در حوزه فناوری اطلاعات در سال 2015
Forwarded from Computer & Knowledge
وزارت علوم، تحقیقات و فناوری
فهرست نشریات معتبر 2014
فهرست نشریات نمایه شده در پایگاه بین المللی ISI
فهرست نشریات معتبر 2014
فهرست نشریات نمایه شده در پایگاه بین المللی ISI
Forwarded from Computer & Knowledge
خلاصه اطلاعات و آمار مربوط به شرکت فیسبوک (بروز رسانی در نوامبر 2015)
Forwarded from ایران کنفرانس
توضیحاتی مختصر چالش های کلیدی کلان داده ها:
1- نمایش داده - Data Representation
" بسیاری از داده ها سطوح نا همگون در ساختار، معناشناسی،سازمان دهی و قابلیت دسترسی دارند.
هدف نمایش داده بیشتر معنا دار نمودم داده ها برای تحلیل توسط کاربران است.
یک نمایش داده نا مناسب ارزش داده اصلی را کاهش خواهد داد و حتی ممکن است مانع تحلیل موثر داده شود. "
2- فشردگی و کاهش افزونگی داده ها -
Redundancy Reduction and Data Compression
" معمولادسطح بالایی از افزونگی در مجموعه داده ها وجود دارد.
فشردگی و کاهش افزونگی داده ها برای کاهش غیر مستقیم هزینه کلی سیستم موثر است.
به عنوان مثال اغلب داده های تولید شده توسط شبکه های حسرگر دارای افزونگی بالایی هستند که ممکن است بر اساس درجه اهمیت فشرده شده باشند. "
3- مدیریت چرخه زندگی داده ها - Data Life Cyrcle Management
" ارزش های پنهان شده در کلان داده ها به تازه بودن داده ها بستگی دارد.
بنابراین باید یک اصل مهم وابسته به ارزش تحلیلی توسعه باید مشخص کند چه داده ای باید ذخیره شود و چه داده ای باید دور ریخته شود. "
4- مکانیسم تحلیلی - Analytical Mechanism
" سیستم تحلیل کلان داده ها باید انبوهی از داده های ناهمگن را در مدت زمان محدودی پردازش کند.
اما RDBMS سنتی با طراحی انعطاف ناپذیر و فقدان مقیاس پذیری و توسعه پذیری که دارد برای براوردن نیازمندی های کارامد مناسب نیست.
پایگاه داده غیر رابطه ای با مزایای منحصر به فرد به تحلیل کلان داده ها پرداخت و فقدان روش سنتی را جبران کرد.
با این وجود در پایگاه داده غیر رابطه ای هنوز برخی مشکلات در کارایی و کاربرد های خاص آن ها وجود دارد.
1- نمایش داده - Data Representation
" بسیاری از داده ها سطوح نا همگون در ساختار، معناشناسی،سازمان دهی و قابلیت دسترسی دارند.
هدف نمایش داده بیشتر معنا دار نمودم داده ها برای تحلیل توسط کاربران است.
یک نمایش داده نا مناسب ارزش داده اصلی را کاهش خواهد داد و حتی ممکن است مانع تحلیل موثر داده شود. "
2- فشردگی و کاهش افزونگی داده ها -
Redundancy Reduction and Data Compression
" معمولادسطح بالایی از افزونگی در مجموعه داده ها وجود دارد.
فشردگی و کاهش افزونگی داده ها برای کاهش غیر مستقیم هزینه کلی سیستم موثر است.
به عنوان مثال اغلب داده های تولید شده توسط شبکه های حسرگر دارای افزونگی بالایی هستند که ممکن است بر اساس درجه اهمیت فشرده شده باشند. "
3- مدیریت چرخه زندگی داده ها - Data Life Cyrcle Management
" ارزش های پنهان شده در کلان داده ها به تازه بودن داده ها بستگی دارد.
بنابراین باید یک اصل مهم وابسته به ارزش تحلیلی توسعه باید مشخص کند چه داده ای باید ذخیره شود و چه داده ای باید دور ریخته شود. "
4- مکانیسم تحلیلی - Analytical Mechanism
" سیستم تحلیل کلان داده ها باید انبوهی از داده های ناهمگن را در مدت زمان محدودی پردازش کند.
اما RDBMS سنتی با طراحی انعطاف ناپذیر و فقدان مقیاس پذیری و توسعه پذیری که دارد برای براوردن نیازمندی های کارامد مناسب نیست.
پایگاه داده غیر رابطه ای با مزایای منحصر به فرد به تحلیل کلان داده ها پرداخت و فقدان روش سنتی را جبران کرد.
با این وجود در پایگاه داده غیر رابطه ای هنوز برخی مشکلات در کارایی و کاربرد های خاص آن ها وجود دارد.
5- محرمانگی داده ها - Data Confidentiality
" در حال حاضر اکثر مالکان یا فراهم آورندگان سرویس های کلان داده هابه دلیل توانایی محدودشان نمی توانند چنین مجموعه ی داده های انبوهی را به صورت موثر نگهداریو تحلیل کنند.
آنها برای تحلیل بیشتر داده ها به ابزارها یا تخصص هایی تکیه کنند که باعث افزایش خطرات امنیتی می شود.
برای تامین امنیت فقط زمانی تحلیل کلان داده ها ممکن است به شخص ثالثی واگذار شود که اقدامات امنیتی مناسبی برای حفاظت از داده های حساس صورت گرفته باشد. "
6- مدیریت انرژی
" مصرف انرژی در سیستم های محاسباتی کامپیوتر از لحاظ اقتصادی مورد توجه است.
با افزایش حجم ، پردازش ، ذخیره سازی و انتقال کلان داده ها ناچار به مصرف بیشتر و بیشتری انرژی است. "
7- توسعه پذیری و مقیاس پذیری - Expendability and Scalability
" سیستم تحلیلی کلان داده ها باید مجموعه داده های فعلی و آینده را پشتیبانی کند. الگوریتم های تحلیلی باید توانایی پردازش مجموعه داده های پیچیده تر و به صورت فزاینده در حال توسعه را داشته باشند. "
8- همکاری - Cooperation
" تحلیل کلان داده ها یک تحقیق میان رشته ای است که برای ثمر داده پتانسیل کلان داده ها نیاز به همکاری کارشناسان در زمینه های مختلف دارد.
مهندسان برای دسترسی به انواع مختلف داده و استفاده کامل از توانایی هایشان کمک کند تا برای تکمیل اهداف تحلیلی با یکدیگر همکاری کنند. "
" در حال حاضر اکثر مالکان یا فراهم آورندگان سرویس های کلان داده هابه دلیل توانایی محدودشان نمی توانند چنین مجموعه ی داده های انبوهی را به صورت موثر نگهداریو تحلیل کنند.
آنها برای تحلیل بیشتر داده ها به ابزارها یا تخصص هایی تکیه کنند که باعث افزایش خطرات امنیتی می شود.
برای تامین امنیت فقط زمانی تحلیل کلان داده ها ممکن است به شخص ثالثی واگذار شود که اقدامات امنیتی مناسبی برای حفاظت از داده های حساس صورت گرفته باشد. "
6- مدیریت انرژی
" مصرف انرژی در سیستم های محاسباتی کامپیوتر از لحاظ اقتصادی مورد توجه است.
با افزایش حجم ، پردازش ، ذخیره سازی و انتقال کلان داده ها ناچار به مصرف بیشتر و بیشتری انرژی است. "
7- توسعه پذیری و مقیاس پذیری - Expendability and Scalability
" سیستم تحلیلی کلان داده ها باید مجموعه داده های فعلی و آینده را پشتیبانی کند. الگوریتم های تحلیلی باید توانایی پردازش مجموعه داده های پیچیده تر و به صورت فزاینده در حال توسعه را داشته باشند. "
8- همکاری - Cooperation
" تحلیل کلان داده ها یک تحقیق میان رشته ای است که برای ثمر داده پتانسیل کلان داده ها نیاز به همکاری کارشناسان در زمینه های مختلف دارد.
مهندسان برای دسترسی به انواع مختلف داده و استفاده کامل از توانایی هایشان کمک کند تا برای تکمیل اهداف تحلیلی با یکدیگر همکاری کنند. "
دوستان و همراهان عزیز
هفته آینده با آشنایی فناوری های وابسته کلان داده از جمله :
⬅️رایانش ابری
⬅️تعریف ابرها
⬅️انواع ابرها
⬅️ارتباط بین رایانش ابری و کلان داده ها
در خدمت شما عزیزان هستم.
در صورت تمایل به دعوت دوستان خود به این مجموعه، این پیام را خدمت آن بزرگواران ارسال نمایید .
با تشکر
گلناز اردشیری
@BigDataTechnology
هفته آینده با آشنایی فناوری های وابسته کلان داده از جمله :
⬅️رایانش ابری
⬅️تعریف ابرها
⬅️انواع ابرها
⬅️ارتباط بین رایانش ابری و کلان داده ها
در خدمت شما عزیزان هستم.
در صورت تمایل به دعوت دوستان خود به این مجموعه، این پیام را خدمت آن بزرگواران ارسال نمایید .
با تشکر
گلناز اردشیری
@BigDataTechnology
رایانش ابری
☁
رایانش ابری ( Cloud Computing)
مدل رایانشی بر پایهٔ شبکه های بزرگ کامپیوتری مانند اینترنت است که الگویی تازه برای عرضه، مصرف و تحویل سرویس های فناوری اطلاعات (شامل سخت افزار، نرم افزار، اطلاعات، و سایر منابع اشتراکی رایانشی) با به کارگیری اینترنت ارائه میکند.
رایانش ابری راه کارهایی برای ارائهٔ خدمات فناوری اطلاعات به شیوه های مشابه با صنایع همگانی (آب، برق، تلفن و ...) پیشنهاد میکند.
این بدین معنی است که دسترسی به منابع فناوری اطلاعات در زمان تقاضا و بر اساس میزان تقاضای کاربر به گونه ای مقیاس پذیر و انعطاف پذیر از راه اینترنت به کاربر تحویل داده میشود.
☁
رایانش ابری ( Cloud Computing)
مدل رایانشی بر پایهٔ شبکه های بزرگ کامپیوتری مانند اینترنت است که الگویی تازه برای عرضه، مصرف و تحویل سرویس های فناوری اطلاعات (شامل سخت افزار، نرم افزار، اطلاعات، و سایر منابع اشتراکی رایانشی) با به کارگیری اینترنت ارائه میکند.
رایانش ابری راه کارهایی برای ارائهٔ خدمات فناوری اطلاعات به شیوه های مشابه با صنایع همگانی (آب، برق، تلفن و ...) پیشنهاد میکند.
این بدین معنی است که دسترسی به منابع فناوری اطلاعات در زمان تقاضا و بر اساس میزان تقاضای کاربر به گونه ای مقیاس پذیر و انعطاف پذیر از راه اینترنت به کاربر تحویل داده میشود.
تعریف رایانش ابری
با پیشرفت فناوری اطلاعات نیاز به انجام کارهای محاسباتی در همه جا و همه زمان به وجود آمده است.
همچنین نیاز به این هست که افراد بتوانند کارهای
محاسباتی سنگین خود را بدون داشتن سخت افزارها و نرم افزارهای گران بتوانند از طریق خدماتی انجام دهند.
رایانش ابری آخرین پاسخ فناوری به این نیازها بوده است.
از آنجا که اکنون این فناوری دوران طفولیت خود را میگذراند، هنوز تعریف استاندارد علمی که مورد قبول عام باشد برای آن ارائه نشده است اما بیشتر صاحب نظران بر روی قسمتهایی از تعریف این پدیده هم رای هستند.
موسسه ملی فناوری و استانداردها (NIST) رایانش ابری را اینگونه تعریف میکند:
👇👇👇👇👇👇👇
«رایانش ابری مدلی است برای فراهم كردن دسترسی آسان بر اساس تقاضای كاربر از طريق شبكه به مجموع های از منابع رایانشی قابل تغيير
و پیکربندی (مثل: شبکه ها، سرورها، فضای ذخیره سازی، برنامه های کاربردی و سرویسها) که اين دسترسي بتواند با کمترین نياز به مديريت منابع و یا نیاز به دخالت مستقيم فراهم کننده سرویس به سرعت فراهم شده یا آزاد (رها) گردد.»
عموما مصرف کننده های رایانش ابری مالک زیر ساخت فیزیکی ابر نیستند، بلکه برای اجتناب از هزینه سرمایه ای آن را از عرضه کنندگان شخص ثالث اجاره میکنند.
آنها منابع را در قالب سرویس مصرف میکنند و تنها بهای منابعی که به کار میبرند را میپردازند. بسیاری از سرویسهای رایانش ابری ارائه شده، با
به کار گیری مدل رایانش همگانی امکان مصرف این سرویسها را به گونهای مشابه با صنایع همگانی(مانند برق) فراهم میسازند.
این در حالی است که سایر «مصرف شدنی و ناملموس» میان چند گونه های عرضه کنندگان بر مبنای اشتراک سرویس های خود را عرضه میکنند. به اشتراک گذاردن قدرت رایانشی مستاجر میتواند باعث بهبود نرخ بهره وری شود؛ زیرا با این شیوه دیگر کارساز(سرور)ها بدون دلیل بیکار نمیمانند (که سبب میشود هزینه ها به میزان قابل توجهی کاهش یابند در عین حال که سرعت تولید و توسعه برنامه های کاربردی افزایش مییابد).
یک اثر جانبی این شیوه این است که رایانه ها به میزان بیشتری مورد استفاده قرار میگیرند زیرا مشتریان رایانش ابری نیازی به محاسبه و تعیین حداکثری برای بار حداکثر (Peak Load) خود ندارند.
با پیشرفت فناوری اطلاعات نیاز به انجام کارهای محاسباتی در همه جا و همه زمان به وجود آمده است.
همچنین نیاز به این هست که افراد بتوانند کارهای
محاسباتی سنگین خود را بدون داشتن سخت افزارها و نرم افزارهای گران بتوانند از طریق خدماتی انجام دهند.
رایانش ابری آخرین پاسخ فناوری به این نیازها بوده است.
از آنجا که اکنون این فناوری دوران طفولیت خود را میگذراند، هنوز تعریف استاندارد علمی که مورد قبول عام باشد برای آن ارائه نشده است اما بیشتر صاحب نظران بر روی قسمتهایی از تعریف این پدیده هم رای هستند.
موسسه ملی فناوری و استانداردها (NIST) رایانش ابری را اینگونه تعریف میکند:
👇👇👇👇👇👇👇
«رایانش ابری مدلی است برای فراهم كردن دسترسی آسان بر اساس تقاضای كاربر از طريق شبكه به مجموع های از منابع رایانشی قابل تغيير
و پیکربندی (مثل: شبکه ها، سرورها، فضای ذخیره سازی، برنامه های کاربردی و سرویسها) که اين دسترسي بتواند با کمترین نياز به مديريت منابع و یا نیاز به دخالت مستقيم فراهم کننده سرویس به سرعت فراهم شده یا آزاد (رها) گردد.»
عموما مصرف کننده های رایانش ابری مالک زیر ساخت فیزیکی ابر نیستند، بلکه برای اجتناب از هزینه سرمایه ای آن را از عرضه کنندگان شخص ثالث اجاره میکنند.
آنها منابع را در قالب سرویس مصرف میکنند و تنها بهای منابعی که به کار میبرند را میپردازند. بسیاری از سرویسهای رایانش ابری ارائه شده، با
به کار گیری مدل رایانش همگانی امکان مصرف این سرویسها را به گونهای مشابه با صنایع همگانی(مانند برق) فراهم میسازند.
این در حالی است که سایر «مصرف شدنی و ناملموس» میان چند گونه های عرضه کنندگان بر مبنای اشتراک سرویس های خود را عرضه میکنند. به اشتراک گذاردن قدرت رایانشی مستاجر میتواند باعث بهبود نرخ بهره وری شود؛ زیرا با این شیوه دیگر کارساز(سرور)ها بدون دلیل بیکار نمیمانند (که سبب میشود هزینه ها به میزان قابل توجهی کاهش یابند در عین حال که سرعت تولید و توسعه برنامه های کاربردی افزایش مییابد).
یک اثر جانبی این شیوه این است که رایانه ها به میزان بیشتری مورد استفاده قرار میگیرند زیرا مشتریان رایانش ابری نیازی به محاسبه و تعیین حداکثری برای بار حداکثر (Peak Load) خود ندارند.
معماری رایانش ابری :
معماری سامانه های نرم افزاری دست اندر کار در ارائهٔ رایانش ابری عموماَ شامل اجزایی است که با و یکدیگر از طریق رابط برنامه نویسی نرم افزار این معمولاَ وب سرویس ارتباط برقرار میکنند.
طراحی شباهتی با فلسفه یونیکس دارد که در آن چند برنامهٔ مختلف که هر یک کاری را به خوبی انجام میدهند، با یکدیگر از طریق واسط های جهانی کار میکنند. پیچیدگی کنترل میشود و سامانه های حاصل مدیریت پذیرتر از همتاهای یکپارچه خود هستند.
معماری سامانه های نرم افزاری دست اندر کار در ارائهٔ رایانش ابری عموماَ شامل اجزایی است که با و یکدیگر از طریق رابط برنامه نویسی نرم افزار این معمولاَ وب سرویس ارتباط برقرار میکنند.
طراحی شباهتی با فلسفه یونیکس دارد که در آن چند برنامهٔ مختلف که هر یک کاری را به خوبی انجام میدهند، با یکدیگر از طریق واسط های جهانی کار میکنند. پیچیدگی کنترل میشود و سامانه های حاصل مدیریت پذیرتر از همتاهای یکپارچه خود هستند.