داده های اینترنت اشیا
با گسترش تکنولوژی های دیجیتال و افزایش ارتباطات و تعاملات دیجیتالی، رفته رفته سایر علوم و موضوعات بشری نیز از این گسترش بهره مند می شوند. این گسترش با ورود دستگاه های بی سیم کم کم شکل جدیدی را به خود گرفت و جای خود را در قسمت های مهمی از زندگی بشر پیدا کرد.
در این بین یکی از مباحثی که بطور نوظهوری مطرح و شروع به رشد کرده است موضوع اینترنت اشیاء یا همان IOT (Internet Of Things) می باشد. این موضوع در اکثر موضوعات و صنایع خود را بروز داده است که یکی از مهمترین آن موضوعات، اقتصاد و تجارت می باشد. در این تحقیق، پتانسیل های موجود برای ارائه و گسترش این تکنولوژی در اقتصاد و تجارت الکترونیک بررسی شده است. این تکنولوژی در قسمت های مختلفی از تجارت الکترونیک کاربرد دارد. از فروش و بازاریابی تا مباحث لجستیک و انبار داری و همینطور مسائل مالی و غیره. در واقع موضوع اینترنت اشیاء، مفهومی جدید در دنیای فناوری اطلاعات است. این موضوع به مقدار زیادی گسترده است و حتی عده از آن به عنوان اینترنت نسل جدید نام می برند. در واقع این تکنولوژی شامل تعداد زیادی از دستگاه های ریز، سنسور ها، موبایل ها ست که اطلاعاتی را مخابره، ذخیره، بررسی و محاسبه می کنند.
در واقع در این حوزه یک شی (thing) می تواند یک انسان با یک سنسور مانیتور ضربان قلب، یک خودرو با سنسور کنترل باد لاستیک خودرو، یک دستگاه کوچک در یک کارخانه که دود و دما مانیتور می کند و یا هر چیز طبیعی یا دستگاهی که می تواند آدرس شناسه ایی مانند آدرس آی پی را داشته باشد و اطلاعاتی را از طریق قسمت ارتباطی خود مخابره و ارسال کند باشد.
این دستگاه بایستی به دستگاه های دیگر و یا شبکه ای متصل باشد تا بتواند اطلاعات خود را مخابره و ارسال کند. امروزه چنین دستگاه هایی با تکنولوژی هایی مانند RFID (Radio-frequency identification) ، wifi، barcode، QR code و امواج مادون قرمز کار تشخیص و شناسایی را انجام می دهند. هر دستگاه در این گستره بوسیله یک شناسه کاربری (ID) شناسایی شده و عموما فراتر از مدل ارتباطی M2M (Machine-to-Machine) ارتباط برقرار می کنند و پروتکل های مختلفی را پشتیبانی می کنند.
در این تحقیق نقش و کارایی این تکنولوژی در حوزه تجارت الکترونیک بررسی شده است.
همینطور نیاز به آدرس دهی گسترده در این بین نیز پر رنگ شده و پروتکل هایی مانند آی پی نسخه 6 نیز بیشتر مورد توجه قرار گرفته اند. کاربرد و استفاده های مختلفی را برای این تکنولوژی می توان نام برد. مواردی مانند:
سیستم های کنترل و سیستم های مانیتورینگ برای استفاده در خانه های هوشمند، کارخانه ها، بیمارستان ها، اماکن ورزشی، ساختمان های هوشمند، مراکز خرید و تجاری و غیره . طبق بررسی اخیر گارتنر پیش بینی می شود تا سال 2020 میلادی حدود 26,000,000,000 دستگاه اینترنت اشیاء وجود داشته باشد. تحقیق دیگری توسط ABI research صورت گرفته که نشان میدهد تا سال 2020 چیزی حدود 30,000,000,000 دستگاه متصل به اینترنت اشیاء بصورت بی سیم وجود خواهند داشت.
منبع :جامع آزاد رایانش ابری
@BigDataTechnology
با گسترش تکنولوژی های دیجیتال و افزایش ارتباطات و تعاملات دیجیتالی، رفته رفته سایر علوم و موضوعات بشری نیز از این گسترش بهره مند می شوند. این گسترش با ورود دستگاه های بی سیم کم کم شکل جدیدی را به خود گرفت و جای خود را در قسمت های مهمی از زندگی بشر پیدا کرد.
در این بین یکی از مباحثی که بطور نوظهوری مطرح و شروع به رشد کرده است موضوع اینترنت اشیاء یا همان IOT (Internet Of Things) می باشد. این موضوع در اکثر موضوعات و صنایع خود را بروز داده است که یکی از مهمترین آن موضوعات، اقتصاد و تجارت می باشد. در این تحقیق، پتانسیل های موجود برای ارائه و گسترش این تکنولوژی در اقتصاد و تجارت الکترونیک بررسی شده است. این تکنولوژی در قسمت های مختلفی از تجارت الکترونیک کاربرد دارد. از فروش و بازاریابی تا مباحث لجستیک و انبار داری و همینطور مسائل مالی و غیره. در واقع موضوع اینترنت اشیاء، مفهومی جدید در دنیای فناوری اطلاعات است. این موضوع به مقدار زیادی گسترده است و حتی عده از آن به عنوان اینترنت نسل جدید نام می برند. در واقع این تکنولوژی شامل تعداد زیادی از دستگاه های ریز، سنسور ها، موبایل ها ست که اطلاعاتی را مخابره، ذخیره، بررسی و محاسبه می کنند.
در واقع در این حوزه یک شی (thing) می تواند یک انسان با یک سنسور مانیتور ضربان قلب، یک خودرو با سنسور کنترل باد لاستیک خودرو، یک دستگاه کوچک در یک کارخانه که دود و دما مانیتور می کند و یا هر چیز طبیعی یا دستگاهی که می تواند آدرس شناسه ایی مانند آدرس آی پی را داشته باشد و اطلاعاتی را از طریق قسمت ارتباطی خود مخابره و ارسال کند باشد.
این دستگاه بایستی به دستگاه های دیگر و یا شبکه ای متصل باشد تا بتواند اطلاعات خود را مخابره و ارسال کند. امروزه چنین دستگاه هایی با تکنولوژی هایی مانند RFID (Radio-frequency identification) ، wifi، barcode، QR code و امواج مادون قرمز کار تشخیص و شناسایی را انجام می دهند. هر دستگاه در این گستره بوسیله یک شناسه کاربری (ID) شناسایی شده و عموما فراتر از مدل ارتباطی M2M (Machine-to-Machine) ارتباط برقرار می کنند و پروتکل های مختلفی را پشتیبانی می کنند.
در این تحقیق نقش و کارایی این تکنولوژی در حوزه تجارت الکترونیک بررسی شده است.
همینطور نیاز به آدرس دهی گسترده در این بین نیز پر رنگ شده و پروتکل هایی مانند آی پی نسخه 6 نیز بیشتر مورد توجه قرار گرفته اند. کاربرد و استفاده های مختلفی را برای این تکنولوژی می توان نام برد. مواردی مانند:
سیستم های کنترل و سیستم های مانیتورینگ برای استفاده در خانه های هوشمند، کارخانه ها، بیمارستان ها، اماکن ورزشی، ساختمان های هوشمند، مراکز خرید و تجاری و غیره . طبق بررسی اخیر گارتنر پیش بینی می شود تا سال 2020 میلادی حدود 26,000,000,000 دستگاه اینترنت اشیاء وجود داشته باشد. تحقیق دیگری توسط ABI research صورت گرفته که نشان میدهد تا سال 2020 چیزی حدود 30,000,000,000 دستگاه متصل به اینترنت اشیاء بصورت بی سیم وجود خواهند داشت.
منبع :جامع آزاد رایانش ابری
@BigDataTechnology
نقش داده های کلان (Big Data) نیز در استفاده از اینترنت اشیاء مهم و تاثیرگذار است. رفته رفته و با گذشت زمان، داده های عظیم تولید شده توسط دستگاه ها، موبایل ها، شبکه های اجتماعی و وب ها بیشتر و بیشتر می شود و اطلاعات و نتایج استخراج شده از داده های کلان می تواند تاثیرات زیادی در فعالیت های تجاری و تصمیم گیری های داشته داشته باشد. داده های کلان همیشه ارتباط خوبی با تجارت داشته است. حال با وجود اینترنت اشیاء، تولید داده های کلان بر روی این بستر آسان تر و با کیفیت تر می شود.
🌹 موفقیت یک مهارت است که باید آموخته شود . برای کسب هر مهارتی باید وقت گذاشت .
در مسیر موفقیت شاید نتوانید خرگوش باشید اما لاکپشت بودن بهتر از سنگ بودن است .
لاک پشت دیر یا زود به جایی میرسد اما سنگ هرگز 🌹
سلام بر دوستان و همراهان عزیز
💐 صبح زیبای آدینه تان بخیر، دلتون شاد و تن تون سلامت 💐
امروز با یاد پروردگار مهربان با مطالب :
انواع داده های کلان
اکتساب کلان داده ها
جمع آوری داده ها
انتقال داده ها
پیش پردازش داده ها
یکپارچه سازی
در خدمت شما سروران هستم.
با تشکر از توجه شما
گلناز اردشیری
@BigDataTechnology
در مسیر موفقیت شاید نتوانید خرگوش باشید اما لاکپشت بودن بهتر از سنگ بودن است .
لاک پشت دیر یا زود به جایی میرسد اما سنگ هرگز 🌹
سلام بر دوستان و همراهان عزیز
💐 صبح زیبای آدینه تان بخیر، دلتون شاد و تن تون سلامت 💐
امروز با یاد پروردگار مهربان با مطالب :
انواع داده های کلان
اکتساب کلان داده ها
جمع آوری داده ها
انتقال داده ها
پیش پردازش داده ها
یکپارچه سازی
در خدمت شما سروران هستم.
با تشکر از توجه شما
گلناز اردشیری
@BigDataTechnology
داده های شرکت ها :
در سال 2013 شرکت IBM گزارشی را با عنوان "علم تحلیل: استفاده ی دنیای واقعی از کلان داده ها " منتشر کرد که نشان می دهد داده های داخلی شرکت ها منابع اصلی کلان داده ها هستند.
داده های داخلی شرکت ها به طور عمده از داده های بازرگانی بر خط و تحلیل داده های بر خط تشکیل می سود که اکثر آن ها داده های جمع آوری شده ی ایستا هستند و توسط RDBMS ها به شیوه ای ساخت یافته مدیریت می شوند.
علاوه بر این داده های تولید، داده های موجودی،داده های فروش،داده های مالی نیز داده های داخلی شرکت ها را تشکیل میدهند که هدف آن ذخیره ی فعالیت های اطلاعاتی و داده محور در شرکت ها است تا تمام فعالیت های شرکت ها در قالب داده های داخلی ثبت شود.
منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
در سال 2013 شرکت IBM گزارشی را با عنوان "علم تحلیل: استفاده ی دنیای واقعی از کلان داده ها " منتشر کرد که نشان می دهد داده های داخلی شرکت ها منابع اصلی کلان داده ها هستند.
داده های داخلی شرکت ها به طور عمده از داده های بازرگانی بر خط و تحلیل داده های بر خط تشکیل می سود که اکثر آن ها داده های جمع آوری شده ی ایستا هستند و توسط RDBMS ها به شیوه ای ساخت یافته مدیریت می شوند.
علاوه بر این داده های تولید، داده های موجودی،داده های فروش،داده های مالی نیز داده های داخلی شرکت ها را تشکیل میدهند که هدف آن ذخیره ی فعالیت های اطلاعاتی و داده محور در شرکت ها است تا تمام فعالیت های شرکت ها در قالب داده های داخلی ثبت شود.
منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
داده های اینترنت اشیا:
همانطور که بحث کردیم IoT یک منبع مهم از کلان داده ها است.
در شهر های هوشمند ساخته شده بر اساس IoT کلان داده ها ممکن است از صنعت، کشاورزی، ترافیک و ترابری، مراقبت های پزشکی، سازمان های عمومی،به دست آمده باشد.
داده های اینترنتی:
داده های اینترنتی شامل مدخل های جستجو، پست های فروم اینترنتی، سوابق چت و پیام های ریز و بلاگ ها از جمله آن داده هایی هستند که دارای ویژگی های مشابه مانند ارزش بالا و چگالی پایین هستند.
چنین داده های اینترنتی ممکن است به صورت جداگانه بی ارزش باشند اما از طریق استفاده از کلان دادهای متراکم ، اطلاعات مفیدی از جمله عادات و سرگرمی های کاربران را میتوان شناسایی کرد و حتی رفتار کاربران و حالات عاطفی آن ها را میتوان پیش بینی کرد.
منبع: کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
همانطور که بحث کردیم IoT یک منبع مهم از کلان داده ها است.
در شهر های هوشمند ساخته شده بر اساس IoT کلان داده ها ممکن است از صنعت، کشاورزی، ترافیک و ترابری، مراقبت های پزشکی، سازمان های عمومی،به دست آمده باشد.
داده های اینترنتی:
داده های اینترنتی شامل مدخل های جستجو، پست های فروم اینترنتی، سوابق چت و پیام های ریز و بلاگ ها از جمله آن داده هایی هستند که دارای ویژگی های مشابه مانند ارزش بالا و چگالی پایین هستند.
چنین داده های اینترنتی ممکن است به صورت جداگانه بی ارزش باشند اما از طریق استفاده از کلان دادهای متراکم ، اطلاعات مفیدی از جمله عادات و سرگرمی های کاربران را میتوان شناسایی کرد و حتی رفتار کاربران و حالات عاطفی آن ها را میتوان پیش بینی کرد.
منبع: کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
@BigDataTechnology
سیستم مدیریت پایگاه داده های داده رابطه ای(RDBMS):
این مدل را می توان جزو پرکاربردترین و شناخته شده ترین مدل مدیریت داده ها و نیز بالغ ترین مدل بین سایر مدلها دانست. شالوده مدل رابطه ای، منطق رابطه ای است. این منطق توسط ادگار کاد (Edgar Codd)، دانشمند علوم رایانه در سال ۱۹۷۰ معرفی شده و در واقع تفسیر دیگری از نظریه مجموعه ها و جبر رابطه ای است. هر قلم داده (Data Entity) در مدل رابطه ای، معادل یک سطر از جدولی است که با یک کلید از سایر سطرهای آن جدول متمایز میشود. منطق رابطه ای در واقع یک جبر بسته است. به این ترتیب که همه چیز، اعم از جداول و سطرهای جدول، یک رابطه است و حاصل عملگرهای جبری بر روی رابطه ها، باز هم یک رابطه است. به خاطر این شالوده قدرتمند، مدل رابطه ای توانست جایگزین مدل های ناکارآمدی چون مدل سلسله مراتبی و مدل شبکه ای شود که پیمایش بین داده ها از طریق اشاره گرها و زیرروال های پیمایشگر صورت میگرفت؛ بر خلاف مدل رابطه ای که هر سطر به طور منظم و مستقل در جایگاه خود قرار دارد و یافتن آنها نیازمند اشاره گرهای نسبی و فراخوانی زیرروال های پیمایشگر نیست. بسته بودن منطق رابطه ای، باعث به کارگیری پرسوجوها (query) به طور تو در تو و به طور موثر می شود. در این مدل، عملگرهای رابطه ای مانند join باعث اتصال جدول ها با یکدیگر و استفاده ی موثر از داده ها می شود. زبان دستکاری و به کارگیری داده ها (DML) در این مدل، معمولا زبان SQL است که یک زبان سطح بالا و اخباری (declarative) است. از آنجا که روند تدریجی توسعه سیستم های نرم افزاری می تواند باعث تغییرات اتی در ساختار پایگاه داده ها شود، طراحی درست یک پایگاه داده ها، مساله ای ضروری ومهم است. این موضوع در مدل ذخیره سازی رابطه ای، تا حدودی مساله ای چالشی است. گرچه معرفی سطوح نرمال سازی و روشهای نرمال سازی پایگاه های داده، گام های مورد نیاز را برای این امر فراهم می آورند، اما طراحی درست و نرمال یک پایگاه داده های رابطه ای خبرگی و مهارت خاص خود را می طلبد. هر دستور یا مجموعه دستورات وابسته به هم که از طریق کاربران به پایگاه داده ارسال میشود، تحت پوشش یک تراکنش اجرا میشود. مدیریت تراکنش ها در این نوع شیوه ذخیره سازی، مساله ای جدا از خود مدل ذخیره سازی است؛ به عبارتی سیستم های مدیریت پایگاه های داده رابطه ای (RDBMS) به طور معمولی موظفند در زمان اجرای تراکنش ها، خواص ACID را به نوعی رعایت و پیاده سازی کنند. بدین منظور هر یک از این سیستم ها شیوه و سیاست خاص خود را برای مدیریت تراکنش ها و پیاده سازی خواص ACID عرضه کرده اند. سیستم هایی مانند MySQL از شیوه قفل گذاری در سطح سطرهای جدول به این هدف می رسند.
اما در سیستمی مثل PostgreSQL، این امکان توسط چند نسخه سازی صورت می گیرد. مدل رابطه ای دارای محدودیتهای خاص خود است. کاربر نمی تواند به طور معمول و موثر، هر نوع ساختار داده دلخواه خود را در یک جدول پایگاه داده های رابطه ای ذخیره کند. به علاوه این که هر RDBMS برای خود مجموعه نوع داده (DataType)های خود را ارائه کرده است که جدای از ناهمخوانی با یکدیگر، محدود هستند.
با معرفی منطق برنامه نویسی شی گرا و زبانهای مرتبط با آن و همه گیر شدن استفاده از این منطق در طراحی سیستمهای نرم افزاری، این مشکل بیشتر خود را نمایش داد و یک شکاف بین منطق رابطه ای و منطق شی گرا حس شد. برنامه نویسان گاهی مجبور بودند همان طور که اشیاء داده را در برنامه شان استفاده می کردند، آنها را در پایگاه های داده ذخیره و استفاده ی مجدد کنند و به این ترتیب زمان و هزینه توسعه را کاهش دهند.
در ادامه با مدل هایی که سعی کردند این شکاف را برطرف کنند آشنا می شوید.
منبع:
http://www.bigdata.ir/1394/08/%D8%A2%D8%B4%D9%86%D8%A7%DB%8C%DB%8C-%D8%A8%D8%A7-%D9%85%D8%AF%D9%84-%D9%87%D8%A7%DB%8C-%D9%85%D8%AF%DB%8C%D8%B1%DB%8C%D8%AA-%D8%AF%D8%A7%D8%AF%D9%87-%D9%87%D8%A7/
این مدل را می توان جزو پرکاربردترین و شناخته شده ترین مدل مدیریت داده ها و نیز بالغ ترین مدل بین سایر مدلها دانست. شالوده مدل رابطه ای، منطق رابطه ای است. این منطق توسط ادگار کاد (Edgar Codd)، دانشمند علوم رایانه در سال ۱۹۷۰ معرفی شده و در واقع تفسیر دیگری از نظریه مجموعه ها و جبر رابطه ای است. هر قلم داده (Data Entity) در مدل رابطه ای، معادل یک سطر از جدولی است که با یک کلید از سایر سطرهای آن جدول متمایز میشود. منطق رابطه ای در واقع یک جبر بسته است. به این ترتیب که همه چیز، اعم از جداول و سطرهای جدول، یک رابطه است و حاصل عملگرهای جبری بر روی رابطه ها، باز هم یک رابطه است. به خاطر این شالوده قدرتمند، مدل رابطه ای توانست جایگزین مدل های ناکارآمدی چون مدل سلسله مراتبی و مدل شبکه ای شود که پیمایش بین داده ها از طریق اشاره گرها و زیرروال های پیمایشگر صورت میگرفت؛ بر خلاف مدل رابطه ای که هر سطر به طور منظم و مستقل در جایگاه خود قرار دارد و یافتن آنها نیازمند اشاره گرهای نسبی و فراخوانی زیرروال های پیمایشگر نیست. بسته بودن منطق رابطه ای، باعث به کارگیری پرسوجوها (query) به طور تو در تو و به طور موثر می شود. در این مدل، عملگرهای رابطه ای مانند join باعث اتصال جدول ها با یکدیگر و استفاده ی موثر از داده ها می شود. زبان دستکاری و به کارگیری داده ها (DML) در این مدل، معمولا زبان SQL است که یک زبان سطح بالا و اخباری (declarative) است. از آنجا که روند تدریجی توسعه سیستم های نرم افزاری می تواند باعث تغییرات اتی در ساختار پایگاه داده ها شود، طراحی درست یک پایگاه داده ها، مساله ای ضروری ومهم است. این موضوع در مدل ذخیره سازی رابطه ای، تا حدودی مساله ای چالشی است. گرچه معرفی سطوح نرمال سازی و روشهای نرمال سازی پایگاه های داده، گام های مورد نیاز را برای این امر فراهم می آورند، اما طراحی درست و نرمال یک پایگاه داده های رابطه ای خبرگی و مهارت خاص خود را می طلبد. هر دستور یا مجموعه دستورات وابسته به هم که از طریق کاربران به پایگاه داده ارسال میشود، تحت پوشش یک تراکنش اجرا میشود. مدیریت تراکنش ها در این نوع شیوه ذخیره سازی، مساله ای جدا از خود مدل ذخیره سازی است؛ به عبارتی سیستم های مدیریت پایگاه های داده رابطه ای (RDBMS) به طور معمولی موظفند در زمان اجرای تراکنش ها، خواص ACID را به نوعی رعایت و پیاده سازی کنند. بدین منظور هر یک از این سیستم ها شیوه و سیاست خاص خود را برای مدیریت تراکنش ها و پیاده سازی خواص ACID عرضه کرده اند. سیستم هایی مانند MySQL از شیوه قفل گذاری در سطح سطرهای جدول به این هدف می رسند.
اما در سیستمی مثل PostgreSQL، این امکان توسط چند نسخه سازی صورت می گیرد. مدل رابطه ای دارای محدودیتهای خاص خود است. کاربر نمی تواند به طور معمول و موثر، هر نوع ساختار داده دلخواه خود را در یک جدول پایگاه داده های رابطه ای ذخیره کند. به علاوه این که هر RDBMS برای خود مجموعه نوع داده (DataType)های خود را ارائه کرده است که جدای از ناهمخوانی با یکدیگر، محدود هستند.
با معرفی منطق برنامه نویسی شی گرا و زبانهای مرتبط با آن و همه گیر شدن استفاده از این منطق در طراحی سیستمهای نرم افزاری، این مشکل بیشتر خود را نمایش داد و یک شکاف بین منطق رابطه ای و منطق شی گرا حس شد. برنامه نویسان گاهی مجبور بودند همان طور که اشیاء داده را در برنامه شان استفاده می کردند، آنها را در پایگاه های داده ذخیره و استفاده ی مجدد کنند و به این ترتیب زمان و هزینه توسعه را کاهش دهند.
در ادامه با مدل هایی که سعی کردند این شکاف را برطرف کنند آشنا می شوید.
منبع:
http://www.bigdata.ir/1394/08/%D8%A2%D8%B4%D9%86%D8%A7%DB%8C%DB%8C-%D8%A8%D8%A7-%D9%85%D8%AF%D9%84-%D9%87%D8%A7%DB%8C-%D9%85%D8%AF%DB%8C%D8%B1%DB%8C%D8%AA-%D8%AF%D8%A7%D8%AF%D9%87-%D9%87%D8%A7/
مهندسی داده
آشنایی با مدل های مدیریت داده ها - مهندسی داده
مهدی حمیدی : در دهه های گذشته، ذخیره سازی موثر داده ها و بدون تناقض آنها جنبه مهم مدیریت داده ها بوده است. امروزه مساله ذخیره سازی داده ها سهم کمتری در میان مساله مدیریت داده ها دارد. مدیریت داده ها و استفاده از آنها حتی نسبت به ده سال قبل، شکل دیگری به خود…
داده های زیست - پزشکی :
در آغار قرن 21 همان طور که یک سری از فناوری های اندازه گیری زیستی با توان عملیاتی بالا به طور خلاقانه توسعه یافت، تحقیقات جدید نیز در زمینه زیست - پزشکی وارد عصر کلان داده ها شد با ایجاد مدل های تحلیلی هوشمند، کارا و دقیق و سیستم های نظری برای کاربرد های زیست - پزشکی،مکانیسم های حاکم اصلی پشت پدیده های پیچیده زیستی میتواند نمایان شود.
منبع : کتاب کلان دادها ترجمه دکتر امیر مسعود رحمانی
در آغار قرن 21 همان طور که یک سری از فناوری های اندازه گیری زیستی با توان عملیاتی بالا به طور خلاقانه توسعه یافت، تحقیقات جدید نیز در زمینه زیست - پزشکی وارد عصر کلان داده ها شد با ایجاد مدل های تحلیلی هوشمند، کارا و دقیق و سیستم های نظری برای کاربرد های زیست - پزشکی،مکانیسم های حاکم اصلی پشت پدیده های پیچیده زیستی میتواند نمایان شود.
منبع : کتاب کلان دادها ترجمه دکتر امیر مسعود رحمانی
همایش داده های عظیم سال 93
تحلیل داده های عظیم به عنوان سرویس: مدلی برای ارایه خدمات تحلیل داده های عظیم بر مبنای رایانش ابری
دکتر امیر صحافی
فایل ارائه شده👇👇👇
تحلیل داده های عظیم به عنوان سرویس: مدلی برای ارایه خدمات تحلیل داده های عظیم بر مبنای رایانش ابری
دکتر امیر صحافی
فایل ارائه شده👇👇👇
اکتساب کلان داده ها:
اکتساب کلان داده ها به عنوان مرحله دوم سیستم کلان داده ها ، شامل جمع آوری داده ها ، انتقال داده ها و پیش پردازش داده ها است.
در هنگام اکتساب کلان داده ها زمانی که داده های خام جمع آوری شد برای ارسال آن ها به یک سیستم مدیریت ذخیره سازی مناسب باید از یک مکانیسم انتقال کارآمد استفاده شود که از برنامه های تحلیلی مختلف پشتیبانی می کند.
مجموعه داده های جمع آوری شده گاهی اوقات ممکن است شامل مقداری داده های افزونه و یا بلا استفاده باشد که به طور غیر ضروری فضای ذخیره سازی را افزایش میدهد و بر تحلیل داده هی بعدی نیز تاثیر میگذارد.
منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
اکتساب کلان داده ها به عنوان مرحله دوم سیستم کلان داده ها ، شامل جمع آوری داده ها ، انتقال داده ها و پیش پردازش داده ها است.
در هنگام اکتساب کلان داده ها زمانی که داده های خام جمع آوری شد برای ارسال آن ها به یک سیستم مدیریت ذخیره سازی مناسب باید از یک مکانیسم انتقال کارآمد استفاده شود که از برنامه های تحلیلی مختلف پشتیبانی می کند.
مجموعه داده های جمع آوری شده گاهی اوقات ممکن است شامل مقداری داده های افزونه و یا بلا استفاده باشد که به طور غیر ضروری فضای ذخیره سازی را افزایش میدهد و بر تحلیل داده هی بعدی نیز تاثیر میگذارد.
منبع : کتاب کلان داده ها ترجمه دکتر امیر مسعود رحمانی
اندیشیدن آسان است و عمل کردن دشوار، اما مشکل ترین کار ها، عمل کردن به چیز هایی است که می اندیشیم.
با درود فراوان به دوستان و همراهان عزیز.
شروع هفته جدید را با نام و یاد پروردگار شروع میکنیم.
هفته ای پر از انرژی و سلامتی برایتان آرزومندم.
امروز با تکمیل مطالب روز قبل از جمله:
جمع آوری داده ها
انتقال داده ها
پیش پردازش
در خدمت شما سروران هستم.
در ضمن در هفته جاری نحوه ذخیره سازی کلان داده ها را با هم دنبال خواهیم کرد.
با تشکر از توجه شما
گلناز اردشیری
@BigDataTechnology
با درود فراوان به دوستان و همراهان عزیز.
شروع هفته جدید را با نام و یاد پروردگار شروع میکنیم.
هفته ای پر از انرژی و سلامتی برایتان آرزومندم.
امروز با تکمیل مطالب روز قبل از جمله:
جمع آوری داده ها
انتقال داده ها
پیش پردازش
در خدمت شما سروران هستم.
در ضمن در هفته جاری نحوه ذخیره سازی کلان داده ها را با هم دنبال خواهیم کرد.
با تشکر از توجه شما
گلناز اردشیری
@BigDataTechnology
جمع آوری داده ها :
جمع آوری داده ها به معنی استفاده از روش های خاص جمع آوری داده ها برای اکتساب داده های خام از یک محیط تولید داده ی خاص است.
روش های جمع آوری:
فایل های ثبت وقایع
حسگر ها
تجهیزات سیار
جمع آوری داده ها به معنی استفاده از روش های خاص جمع آوری داده ها برای اکتساب داده های خام از یک محیط تولید داده ی خاص است.
روش های جمع آوری:
فایل های ثبت وقایع
حسگر ها
تجهیزات سیار
فایل ثبت وقایع :
Log Files
به عنوان روشی که به طور گسترده برای جمع آوری داده ها استفاده شده است، فایل های ثبت وقایع، فایل های تولید شده به صورت خودکار توسط سیستم منبع داده ها هستند تا فعالیت ها در قالب های معین فایل برای تحلیل های بعدی ذخیره شوند.
تقریبا در تمام وسایل دیجیتال فایل های ثبت وقایع به طور معمول استفاده می شوند.
3 قالب ثبت وقایع👇
NCSA-national center for supercomputering applications
WSC - world wide web consortium
IIS - internet information services
هر سه نوع در قالب متنی ASCII هستند.
ممکن است برای ذخیره ی اطلاعات ثبت وقایع برخی مواقع به جای فایل متنی از پایگاه داده استفاده شوند تا بازده پرس و جو از مخزن بهبود یابد.
Log Files
به عنوان روشی که به طور گسترده برای جمع آوری داده ها استفاده شده است، فایل های ثبت وقایع، فایل های تولید شده به صورت خودکار توسط سیستم منبع داده ها هستند تا فعالیت ها در قالب های معین فایل برای تحلیل های بعدی ذخیره شوند.
تقریبا در تمام وسایل دیجیتال فایل های ثبت وقایع به طور معمول استفاده می شوند.
3 قالب ثبت وقایع👇
NCSA-national center for supercomputering applications
WSC - world wide web consortium
IIS - internet information services
هر سه نوع در قالب متنی ASCII هستند.
ممکن است برای ذخیره ی اطلاعات ثبت وقایع برخی مواقع به جای فایل متنی از پایگاه داده استفاده شوند تا بازده پرس و جو از مخزن بهبود یابد.