داده های زیست - پزشکی :

در آغار قرن 21 همان طور که یک سری از فناوری های اندازه گیری زیستی با توان عملیاتی بالا به طور خلاقانه توسعه یافت، تحقیقات جدید نیز در زمینه زیست - پزشکی وارد عصر کلان داده ها شد با ایجاد مدل های تحلیلی هوشمند، کارا و دقیق و سیستم های نظری برای کاربرد های زیست - پزشکی،مکانیسم های حاکم اصلی پشت پدیده های پیچیده زیستی میتواند نمایان شود.

منبع : کتاب کلان دادها ترجمه دکتر امیر مسعود رحمانی

همایش داده های عظیم سال 93
تحلیل داده های عظیم به عنوان سرویس: مدلی برای ارایه خدمات تحلیل داده های عظیم بر مبنای رایانش ابری
دکتر امیر صحافی
فایل ارائه شده👇👇👇

Big Data View of Communication Networks
دکتر بابک خلج
فایل ارائه شده 👇👇👇

ارائه مدل داده مناسب برای داده های عظیم
دکتر علی اصغر صفایی
فایل ارائه شده👇👇👇

اکتساب کلان داده ها:

اکتساب کلان داده ها به عنوان مرحله دوم سیستم کلان داده ها ، شامل جمع آوری داده ها ، انتقال داده ها و پیش پردازش داده ها است.
در هنگام اکتساب کلان داده ها زمانی که داده های خام جمع آوری شد برای ارسال آن ها به یک سیستم مدیریت ذخیره سازی مناسب باید از یک مکانیسم انتقال کارآمد استفاده شود که از برنامه های تحلیلی مختلف پشتیبانی می کند.
مجموعه داده های جمع آوری شده گاهی اوقات ممکن است شامل مقداری داده های افزونه و یا بلا استفاده باشد که به طور غیر ضروری فضای ذخیره سازی را افزایش میدهد و بر تحلیل داده هی بعدی نیز تاثیر میگذارد.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

اندیشیدن آسان است و عمل کردن دشوار، اما مشکل ترین کار ها، عمل کردن به چیز هایی است که می اندیشیم.

با درود فراوان به دوستان و همراهان عزیز.

شروع هفته جدید را با نام و یاد پروردگار شروع میکنیم.
هفته ای پر از انرژی و سلامتی برایتان آرزومندم.

امروز با تکمیل مطالب روز قبل از جمله:

جمع آوری داده ها
انتقال داده ها
پیش پردازش

در خدمت شما سروران هستم.

در ضمن در هفته جاری نحوه ذخیره سازی کلان داده ها را با هم دنبال خواهیم کرد.

با تشکر از توجه شما
گلناز اردشیری

@BigDataTechnology

گراف مهارت های مورد نیاز برای تبدیل شدن به یک دانشمند علم داده

جمع آوری داده ها :

جمع آوری داده ها به معنی استفاده از روش های خاص جمع آوری داده ها برای اکتساب داده های خام از یک محیط تولید داده ی خاص است.

 روش های جمع آوری:

فایل های ثبت وقایع
حسگر ها
تجهیزات سیار

فایل ثبت وقایع :
Log Files

به عنوان روشی که به طور گسترده برای جمع آوری داده ها استفاده شده است، فایل های ثبت وقایع، فایل های تولید شده به صورت خودکار توسط سیستم منبع داده ها هستند تا فعالیت ها در قالب های معین فایل برای تحلیل های بعدی ذخیره شوند.
تقریبا در تمام وسایل دیجیتال فایل های ثبت وقایع به طور معمول استفاده می شوند.
3 قالب ثبت وقایع👇
NCSA-national center for supercomputering applications

WSC - world wide web consortium

IIS - internet information services

هر سه نوع در قالب متنی ASCII هستند.
ممکن است برای ذخیره ی اطلاعات ثبت وقایع برخی مواقع به جای فایل متنی از پایگاه داده استفاده شوند تا بازده پرس و جو از مخزن بهبود یابد.

اصلاح میکنم W3C world wide web consortium

حسگر ها :

 در زندگی روزمره ، حسگرها برای اندازه گیری مقادیر فیزیکی و تبدیل مقادیر فیزیکی به سیگنال های دیجیتال قابل خواندن برای پردازش های بعدی و ذخیره سازی رایج هستند.
اطلاعات دریافتی ممکن است به صورت موج صوتی ، صدا ،ارتعاش ، خودرو،شیمیایی، جریان، آب و هوا ، فشا و دما طبقه بندی شود.
اطلاعات دریافت شده از طریق شبکه های سیمی یا بی سیم به یک نقطه جمع آوری دادها منتقل میشوند.
برای کاربردی که ممکن است به راحتی استقرار یابد و مدیریت شود.
شبکه ی حسگر سیمی یک راه کار مناسب برای اکتساب اطلاعات مرتبط است.

تجهیزات سیار:

در حال حاضر، وسایل سیار به طور گسترده ای استفاده می شوند.
با قدرتمند شدن روز افزون کاربرد وسایل سیار، آن ها پیچیدگی بیشتر و ابزارهای اکتساب داده ها و همچنین تنوع بیشتر داده هارا نمایان می کنند.
برای وسایل سیار، به دست آوردن موقعیت جغرافیایی از طریق سیستم های موقعیت یاب؛
بدست آوردن اطلاعات صوتی از طریق میکروفون؛
بدست آوردن تصاویر، فیلم ها ، نمای خیابان ها، بارکدهای دو بعدی و سایر اطلاعات چند رسانه ای از طریق دوربین ها ؛ بدست آوردن حرکات و اطلاعات زبان بدن کاربر از طریق صفحه نمایش لمسی و حسگرهای گرانشی امکان پذیر است.
به عنوان مثال iphoneیک جاسوس سیار است.iphoneبدون این که کاربر خبر داشته باشد میتواند داده های بی سیم و اطلاعات موقعیت جغرافیایی را جمع کند و سپس چنین اطلاعاتی را برای پردازش به شرکت اپل ارسال کند.
به غیر از اپل دیگر سیستم عامل های هوشمند میتوانند اطلاعات را به شیوه ی مشابه جمع اوری کنند.

علاوه بر سه روش ذکر شده اکتساب داده ها از منابع داده های اصلی، روش ها یا سیستم های جمع آوری اطلاعات دیگری وجود دارد.
به عنوان مثال در آزمایش های علمی، بسیاری از ابزارهای خاص را می توان برای جمع آوری داده های تجربی استفاده کرد،مانند طیف سنج و تلسکوپ های رادیویی.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

ضمن تشکر از دوستانی که طی پیام خصوصی از اطلاعات کلان داده ها در این کانال استقبال کردند.
سپاس از همگی شما که منو از ادامه کار دلگرم میکنید.

شایان ذکر است، تمامی اطلاعاتی در رابطه با کلان داده ها و رایانش ابری که در اختیار شما عزیزان قرار میگیرد شامل زحمات و اطلاعات مفید  و رهنمودهای اساتید بنام از جمله دکتر امیر صحافی، دکتر امیر مسعود رحمانی، مهندس مجتبی بنائی و جامعه هدوپ ایران است و بنده فقط انتقال دهنده اطلاعات هستم.

انتقال داده ها :
به محض اتمام جمع آوری داده های خام، داده ها برای پردازش و تحلیل به زیر ساخت های ذخیره سازی داده ها منتقل خواهند شد.
کلان داده ها به طور عمده در یک دیتا سنتر ذخیره می شوند.
برای بهبود کارایی محاسبات یا تسهیل نگهداری سخت افزار جای گزاری داده ها باید تنظیم شده باشد .
مثلا ارسال داده های داخلی ممکن است در دیتا سنتر رخ دهد.
بنابراین ارسال داده ها شامل دو مرحله است :
ارسال inter-DCN :ارسال منبع دادها تا دیتا سنتر است.

ارسال intera-DCN :جریان های ارتباط داده عا در دیتا سنتر است که به مکانیسم ارتباط در دیتا سنتر بستگی دارد.

منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی

DCN