BigData – Telegram
427 subscribers
231 photos
7 videos
75 files
213 links
معرفی کلان داده ها و فناوری های مرتبط

📞ارتباط با ادمین :
فقط روز چهارشنبه ساعت ۲۲ الی ۲۳
@Golnazardeshiri
-
Download Telegram
سیستم مدیریت پایگاه داده های داده رابطه ای(RDBMS):

این مدل را می توان جزو پرکاربردترین و شناخته شده ترین مدل مدیریت داده ها و نیز بالغ ترین مدل بین سایر مدلها دانست. شالوده مدل رابطه ای، منطق رابطه ای است. این منطق توسط ادگار کاد (Edgar Codd)، دانشمند علوم رایانه در سال ۱۹۷۰ معرفی شده و در واقع تفسیر دیگری از نظریه مجموعه ها و جبر رابطه ای است. هر قلم داده (Data Entity) در مدل رابطه ای، معادل یک سطر از جدولی است که با یک کلید از سایر سطرهای آن جدول متمایز میشود. منطق رابطه ای در واقع یک جبر بسته است. به این ترتیب که همه چیز، اعم از جداول و سطرهای جدول، یک رابطه است و حاصل عملگرهای جبری بر روی رابطه ها، باز هم یک رابطه است. به خاطر این شالوده قدرتمند، مدل رابطه ای توانست جایگزین مدل های ناکارآمدی چون مدل سلسله مراتبی و مدل شبکه ای شود که پیمایش بین داده ها از طریق اشاره گرها و زیرروال های پیمایشگر صورت میگرفت؛ بر خلاف مدل رابطه ای که هر سطر به طور منظم و مستقل در جایگاه خود قرار دارد و یافتن آنها نیازمند اشاره گرهای نسبی و فراخوانی زیرروال های پیمایشگر نیست. بسته بودن منطق رابطه ای، باعث به کارگیری پرسوجوها (query) به طور تو در تو و به طور موثر می شود. در این مدل، عملگرهای رابطه ای مانند join باعث اتصال جدول ها با یکدیگر و استفاده ی موثر از داده ها می شود. زبان دستکاری و به کارگیری داده ها (DML) در این مدل، معمولا زبان SQL است که یک زبان سطح بالا و اخباری (declarative) است. از آنجا که روند تدریجی توسعه سیستم های نرم افزاری می تواند باعث تغییرات اتی در ساختار پایگاه داده ها شود، طراحی درست یک پایگاه داده ها، مساله ای ضروری ومهم است. این موضوع در مدل ذخیره سازی رابطه ای، تا حدودی مساله ای چالشی است. گرچه معرفی سطوح نرمال سازی و روشهای نرمال سازی پایگاه های داده، گام های مورد نیاز را برای این امر فراهم می آورند، اما طراحی درست و نرمال یک پایگاه داده های رابطه ای خبرگی و مهارت خاص خود را می طلبد. هر دستور یا مجموعه دستورات وابسته به هم که از طریق کاربران به پایگاه داده ارسال میشود، تحت پوشش یک تراکنش اجرا میشود. مدیریت تراکنش ها در این نوع شیوه ذخیره سازی، مساله ای جدا از خود مدل ذخیره سازی است؛ به عبارتی سیستم های مدیریت پایگاه های داده رابطه ای (RDBMS) به طور معمولی موظفند در زمان اجرای تراکنش ها، خواص ACID را به نوعی رعایت و پیاده سازی کنند. بدین منظور هر یک از این سیستم ها شیوه و سیاست خاص خود را برای مدیریت تراکنش ها و پیاده سازی خواص ACID عرضه کرده اند. سیستم هایی مانند MySQL از شیوه قفل گذاری در سطح سطرهای جدول به این هدف می رسند.
اما در سیستمی مثل PostgreSQL، این امکان توسط چند نسخه سازی صورت می گیرد. مدل رابطه ای دارای محدودیتهای خاص خود است. کاربر نمی تواند به طور معمول و موثر، هر نوع ساختار داده دلخواه خود را در یک جدول پایگاه داده های رابطه ای ذخیره کند. به علاوه این که هر RDBMS برای خود مجموعه نوع داده (DataType)های خود را ارائه کرده است که جدای از ناهمخوانی با یکدیگر، محدود هستند.
با معرفی منطق برنامه نویسی شی گرا و زبانهای مرتبط با آن و همه گیر شدن استفاده از این منطق در طراحی سیستمهای نرم افزاری، این مشکل بیشتر خود را نمایش داد و یک شکاف بین منطق رابطه ای و منطق شی گرا حس شد. برنامه نویسان گاهی مجبور بودند همان طور که اشیاء داده را در برنامه شان استفاده می کردند، آنها را در پایگاه های داده ذخیره و استفاده ی مجدد کنند و به این ترتیب زمان و هزینه توسعه را کاهش دهند.
در ادامه با مدل هایی که سعی کردند این شکاف را برطرف کنند آشنا می شوید.

منبع:
http://www.bigdata.ir/1394/08/%D8%A2%D8%B4%D9%86%D8%A7%DB%8C%DB%8C-%D8%A8%D8%A7-%D9%85%D8%AF%D9%84-%D9%87%D8%A7%DB%8C-%D9%85%D8%AF%DB%8C%D8%B1%DB%8C%D8%AA-%D8%AF%D8%A7%D8%AF%D9%87-%D9%87%D8%A7/
داده های زیست - پزشکی :

در آغار قرن 21 همان طور که یک سری از فناوری های اندازه گیری زیستی با توان عملیاتی بالا به طور خلاقانه توسعه یافت، تحقیقات جدید نیز در زمینه زیست - پزشکی وارد عصر کلان داده ها شد با ایجاد مدل های تحلیلی هوشمند، کارا و دقیق و سیستم های نظری برای کاربرد های زیست - پزشکی،مکانیسم های حاکم اصلی پشت پدیده های پیچیده زیستی میتواند نمایان شود.

منبع : کتاب کلان دادها ترجمه دکتر امیر مسعود رحمانی
همایش داده های عظیم سال 93
تحلیل داده های عظیم به عنوان سرویس: مدلی برای ارایه خدمات تحلیل داده های عظیم بر مبنای رایانش ابری
دکتر امیر صحافی
فایل ارائه شده👇👇👇
Big Data View of Communication Networks
دکتر بابک خلج
فایل ارائه شده 👇👇👇
ارائه مدل داده مناسب برای داده های عظیم
دکتر علی اصغر صفایی
فایل ارائه شده👇👇👇
اکتساب کلان داده ها:

اکتساب کلان داده ها به عنوان مرحله دوم سیستم کلان داده ها ، شامل جمع آوری داده ها ، انتقال داده ها و پیش پردازش داده ها است.
در هنگام اکتساب کلان داده ها زمانی که داده های خام جمع آوری شد برای ارسال آن ها به یک سیستم مدیریت ذخیره سازی مناسب باید از یک مکانیسم انتقال کارآمد استفاده شود که از برنامه های تحلیلی مختلف پشتیبانی می کند.
مجموعه داده های جمع آوری شده گاهی اوقات ممکن است شامل مقداری داده های افزونه و یا بلا استفاده باشد که به طور غیر ضروری فضای ذخیره سازی را افزایش میدهد و بر تحلیل داده هی بعدی نیز تاثیر میگذارد.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
اندیشیدن آسان است و عمل کردن دشوار، اما مشکل ترین کار ها، عمل کردن به چیز هایی است که می اندیشیم.

با درود فراوان به دوستان و همراهان عزیز.

شروع هفته جدید را با نام و یاد پروردگار شروع میکنیم.
هفته ای پر از انرژی و سلامتی برایتان آرزومندم.

امروز با تکمیل مطالب روز قبل از جمله:

جمع آوری داده ها
انتقال داده ها
پیش پردازش

در خدمت شما سروران هستم.

در ضمن در هفته جاری نحوه ذخیره سازی کلان داده ها را با هم دنبال خواهیم کرد.

با تشکر از توجه شما
گلناز اردشیری

@BigDataTechnology
گراف مهارت های مورد نیاز برای تبدیل شدن به یک دانشمند علم داده
جمع آوری داده ها :

جمع آوری داده ها به معنی استفاده از روش های خاص جمع آوری داده ها برای اکتساب داده های خام از یک محیط تولید داده ی خاص است.

 روش های جمع آوری:

فایل های ثبت وقایع
حسگر ها
تجهیزات سیار
فایل ثبت وقایع :
Log Files

به عنوان روشی که به طور گسترده برای جمع آوری داده ها استفاده شده است، فایل های ثبت وقایع، فایل های تولید شده به صورت خودکار توسط سیستم منبع داده ها هستند تا فعالیت ها در قالب های معین فایل برای تحلیل های بعدی ذخیره شوند.
تقریبا در تمام وسایل دیجیتال فایل های ثبت وقایع به طور معمول استفاده می شوند.
3 قالب ثبت وقایع👇
NCSA-national center for supercomputering applications

WSC - world wide web consortium

IIS - internet information services

هر سه نوع در قالب متنی ASCII هستند.
ممکن است برای ذخیره ی اطلاعات ثبت وقایع برخی مواقع به جای فایل متنی از پایگاه داده استفاده شوند تا بازده پرس و جو از مخزن بهبود یابد.
اصلاح میکنم W3C world wide web consortium
حسگر ها :

 در زندگی روزمره ، حسگرها برای اندازه گیری مقادیر فیزیکی و تبدیل مقادیر فیزیکی به سیگنال های دیجیتال قابل خواندن برای پردازش های بعدی و ذخیره سازی رایج هستند.
اطلاعات دریافتی ممکن است به صورت موج صوتی ، صدا ،ارتعاش ، خودرو،شیمیایی، جریان، آب و هوا ، فشا و دما طبقه بندی شود.
اطلاعات دریافت شده از طریق شبکه های سیمی یا بی سیم به یک نقطه جمع آوری دادها منتقل میشوند.
برای کاربردی که ممکن است به راحتی استقرار یابد و مدیریت شود.
شبکه ی حسگر سیمی یک راه کار مناسب برای اکتساب اطلاعات مرتبط است.
تجهیزات سیار:

در حال حاضر، وسایل سیار به طور گسترده ای استفاده می شوند.
با قدرتمند شدن روز افزون کاربرد وسایل سیار، آن ها پیچیدگی بیشتر و ابزارهای اکتساب داده ها و همچنین تنوع بیشتر داده هارا نمایان می کنند.
برای وسایل سیار، به دست آوردن موقعیت جغرافیایی از طریق سیستم های موقعیت یاب؛
بدست آوردن اطلاعات صوتی از طریق میکروفون؛
بدست آوردن تصاویر، فیلم ها ، نمای خیابان ها، بارکدهای دو بعدی و سایر اطلاعات چند رسانه ای از طریق دوربین ها ؛ بدست آوردن حرکات و اطلاعات زبان بدن کاربر از طریق صفحه نمایش لمسی و حسگرهای گرانشی امکان پذیر است.
به عنوان مثال iphoneیک جاسوس سیار است.iphoneبدون این که کاربر خبر داشته باشد میتواند داده های بی سیم و اطلاعات موقعیت جغرافیایی را جمع کند و سپس چنین اطلاعاتی را برای پردازش به شرکت اپل ارسال کند.
به غیر از اپل دیگر سیستم عامل های هوشمند میتوانند اطلاعات را به شیوه ی مشابه جمع اوری کنند.
علاوه بر سه روش ذکر شده اکتساب داده ها از منابع داده های اصلی، روش ها یا سیستم های جمع آوری اطلاعات دیگری وجود دارد.
به عنوان مثال در آزمایش های علمی، بسیاری از ابزارهای خاص را می توان برای جمع آوری داده های تجربی استفاده کرد،مانند طیف سنج و تلسکوپ های رادیویی.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
ضمن تشکر از دوستانی که طی پیام خصوصی از اطلاعات کلان داده ها در این کانال استقبال کردند.
سپاس از همگی شما که منو از ادامه کار دلگرم میکنید.

شایان ذکر است، تمامی اطلاعاتی در رابطه با کلان داده ها و رایانش ابری که در اختیار شما عزیزان قرار میگیرد شامل زحمات و اطلاعات مفید  و رهنمودهای اساتید بنام از جمله دکتر امیر صحافی، دکتر امیر مسعود رحمانی، مهندس مجتبی بنائی و جامعه هدوپ ایران است و بنده فقط انتقال دهنده اطلاعات هستم.
انتقال داده ها :
به محض اتمام جمع آوری داده های خام، داده ها برای پردازش و تحلیل به زیر ساخت های ذخیره سازی داده ها منتقل خواهند شد.
کلان داده ها به طور عمده در یک دیتا سنتر ذخیره می شوند.
برای بهبود کارایی محاسبات یا تسهیل نگهداری سخت افزار جای گزاری داده ها باید تنظیم شده باشد .
مثلا ارسال داده های داخلی ممکن است در دیتا سنتر رخ دهد.
بنابراین ارسال داده ها شامل دو مرحله است :
ارسال inter-DCN :ارسال منبع دادها تا دیتا سنتر است.

ارسال intera-DCN :جریان های ارتباط داده عا در دیتا سنتر است که به مکانیسم ارتباط در دیتا سنتر بستگی دارد.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی