در هدوپ نسخه ۳ چه تغییراتی رخ خواهد داد؟

با ما همراه باشید.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

Big data analysis in Python

@dataanalysis

دیتاست های جدید از حجم 255 مگابایت تا 22 ترابایت به بخش "داده های آماده" مرجع هدوپ ایران اضافه شد.

http://www.hadoop.ir/datasets

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

معرفی کتاب مدیریت کلان داده ها در بخش های خصوصی و عمومی

کتاب حاضر در نه فصل به بررسي کاربردهاي کلان‌داده‌ها در بخش‌هاي خصوصي و دولتي مي‌پردازد، فرصت‌ها و چالش‌هاي استفاده از داده‌ها را در بخش‌هاي مختلف بيان مي‌کند و به روشني نشان مي‌دهد که تحليل داده‌ها چگونه مي‌تواند شفافيت ايجاد کند.

#کتاب
#مدیریت

 مراکز علم داده و تحلیل کلان داده ها در کشور انگلستان : 

🔵Imperial College London Data Science Institute

🔵Imperial Business Analytics

🔵Cambridge Big Data

🔵The University of Manchester Data Science Institute

🔵Lancaster University - Data Science Institute

🔵Warwick Data Science Institute

🔵University of Essex - Institute for Analytics and Data Science

🔵The Alan Turing Institute

🔵University College London Big Data Institute

🔵Oxford Big Data Institute

 

3rd International Winter School on Big Data
Bari, Italy, February 13-17, 2017
Organized by
University of Bari "Aldo Moro"
Rovira i Virgili University


http://grammars.grlmc.com/BigDat2017/

💊کلان داده ها در صنعت بهداشت و درمان

@BigDataTechnology

🌐شبکه های اجتماعی سلامت:

🌏وب سایت
 https://www.patientslikeme.com/
با ۵۰۰ گروه مختلف از بیماران


🌏وب سایت
 http://acor.org/
با ۱۲۷ گروه پشتیبانی سرطان

🌏وب سایت
 https://www.23andme.com/en-gb/
دیتابیس ژنتیکی

🌏وب سایت
 https://sugarstats.com/
بیماران دیابتی

📎منبع: کتاب مدیریت کلان داده ها
تالیف دکتر بابک سهرابی

@BigDataTechnology

معماری نرم افزار کد آزاد LinkedIn و پورتال داده کاوی WhereHows
http://www.zdnet.com/article/linkedin-open-sources-its-wherehows-data-mining-software/
@SQL_DataMining

SAS®
Data Loader for Hadoop
Manage big data on your own terms with self-service data integration and data quality.

http://www.sas.com/en_us/software/data-management/data-loader-hadoop.html#trial

موردکاوی: پردازش تصویر در هدوپ

از اینجا بخوانید: http://hadoop.ir/?p=751

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

با سلام
یکی از نیازمندی های ورود به حوزه های کاری علم داده، Big Data و... تسلط به یکی از زبان های برنامه نویسی جهت پیاده سازی پروژه های عملیاتی هست.
در انتخاب زبان بعضا دغدغه هایی مطرح گردیده است که در ادامه به اختصار برخی نکات کلیدی بیان می شود:
1- در حوزه Big Data زبان های پایتون، جاوا، اسکالا توصیه می شود. در صورتی که در حوزه Big Data Developer می خواهید فعالیت انجام بدهید زبان جاوا در پلتفرم هدوپ و زبان اسکالا در موتور پردازشی اسپارک بیشترین کارایی را خواهند داشت.
در بخش Big Data Analytics هم زبان پایتون با توجه به وجود کتابخانه های غنی در حوزه یادگیری ماشین بهترین انتخاب خواهد بود.
2- در حوزه داده کاوی و علم داده زبان های پایتون، R و جاوا دارای بیشترین میزان توجهات بوده اند. یادگیری زبان زبان جاوا به نسبت زبان های پایتون و R بسیار پیچیده تر خواهد بود ولی در پروژه های Enterprise زبان جاوا بیشترین کارایی را خواهد داشت. زبان R نیز در حال حاضر رتبه اول حوزه علم داده را در اختیار دارد.
برای یادگیری زبان های فوق همانند حوزه Big Data شرکت در دوره های آنلاین و کمی تلاش توصیه می شود.

ارادتمند
محمدرضا محتاط

مقایسه میان معماری های پردازشی Spark و Flink

آپاچی Flink نسل چهارم معماری های پردازشی Big Data می باشد

@dataanalysis

#معرفی_کتاب
کاربرد کلان‌داده‌ها در صنعت موسیقی

http://www.oreilly.com/data/free/data-and-music.csp

#معرفی_کتاب

کاربرد کلان‌داده‌ها در صنعت مد
http://www.oreilly.com/data/free/fashioning-data.csp

کلان داده ها در علوم اجتماعی

علومی که رفتار انسانی را مطالعه می‎کنند یعنی علوم اجتماعی عمدتاً بررسی‎هایی برپایه نظرسنجی‎ها و مطالعات آزمایشگاهی انجام می‎دهند. با این که این روش‎ها‎ ارزشمند هستند، نارسایی‎هایی نیز دارند. برای مثال نظرسنجی‎ها را در نظر بگیرید. آنها دسترسی محققان به دنیای ذهنی درونی انسان‎ها را ممکن می‎کنند. مشکل استفاده از آنها این است که افراد همیشه تمایل ندارند راست بگویند و خود فریبی همیشه وجود دارد. همین‎طور دشواری شناخت دنیای درونی‎مان برای خودمان. شواهدی وجود دارد که نشان می‎دهد همه ما حداقل در مواقعی خودمان را فریب می‎دهیم. توضیح دقیقی هم برای این مورد تاکنون ارائه نشده است. بنابراین نظرسنجی‎ها مشکل ذهنی بودن را همیشه دارند. همین طور نمی‌توانند تفاوت‎های ظریف و جزئی بین انسان‎ها را توضیح دهند. در نتیجه نمی‎توانند نتایج ایده‎آلی به‎دست محققان دهند.

ازطرف دیگر مشکل مطالعات آزمایشگاهی این است که در محیط خاص آزمایشگاه اجرا می‎شوند و نمی‎توانند پیچیدگی‎های دنیای واقعی را شبیه‎سازی کنند. بیشتر مطالعات فعلی علوم اجتماعی توصیفی از میانگین‎ها (در نظرسنجی‎ها) و رفتار‎های کلیشه‎ای (در مطالعات آزمایشگاهی) است. این روش‎های سنتی از این نکته غافلند که پدیده‎های اجتماعی از میلیارد‎ها تراکنش بین افراد تشکیل شده‎اند. مردم نه تنها پول و کالاها را مبادله می‎کنند، بلکه ایده‎ها، اطلاعات یا حتی شایعات را با هم به اشتراک می‎گذارند. الگوهای موجود در این تراکنش‎های فردی است که پدیده‎هایی اجتماعی مثل بحران‎های مالی یا بهار عربی را به‎وجود می‎آورد. ما نیاز داریم که این الگوها را با استفاده از روش‎های جدید عمیق درک کنیم چون با روش‎های کلاسیک مطالعه جامعه و میانگین‎گیری به‎دست نمی‎آیند.

به‎تازگی فناوری‎های دیجیتالی جدید امکان استفاده از روش‎های نوینی را برای مطالعه رفتار انسانی به محققان می‎دهند. انواع گوشی‎های تلفن همراه و سنسور‎ها قادرند حجم عظیمی از فعالیت‎های انسانی را در خود ذخیره کنند. این که کجا می‎رویم، چه می‎خریم، با چه کسانی در ارتباط هستیم، برای چه مدتی با آنها در ارتباط هستیم تا زبان بدن و حالت‎های احساسی که در طول روز تجربه می‎کنیم. این منابع جدید اطلاعاتی برای محققین علوم اجتماعی بسیار ارزشمندند و به نظرسنجی‎ها یا مطالعات آزمایشگاهی ترجیح داده می‎شوند. چون به محققان این امکان را می‎دهند که انسان را در محیط‎های طبیعی (جهان واقعی) مطالعه کنند. همین‎طور به محققان اجازه می‎دهند که آنچه را که انجام می‎دهیم مطالعه کنند نه آنچه را که می‎گوییم (که معمولاً متفاوت است). این روش بررسی رفتار انسانی در محیط‎های طبیعی بر پایه فناوری‎های دیجیتالی واقعیت‌کاوی نامیده می‎شود و علوم اجتماعی را متحول کرده است.

مطالعات جدید اهمیت تعاملات اجتماعی را در شکل‎دهی رفتار ما بیش از پیش نشان می‎دهد. رفتار ما انسان‎ها تا حدی تحت تأثیر نزدیکانمان و گروه‎هایی است که در آنها عضو هستیم. از رژیم غذایی و وزن بدن ما تا نظرات ما راجع به مسائل سیاسی. اهمیت دنیای اجتماعی پیرامون ما آن قدر زیاد است که بهتر است خودمان را گروه محور بنامیم نه فرد محور. تاکنون جوامع غربی دیدی خلاف جهت این ایده داشته‎اند. به همین جهت مطالعات علوم اجتماعی نتوانستند این قسمت از هویت واقعی ما را خوب توصیف کنند و به نتایج مطلوب نرسیده‎اند.

منبع:
کتاب مدیریت کلان ‌داده‌ ها در بخش‌ های خصوصی و عمومی، تالیف دکتر بابک سهرابی و حمیده ایرج.

استفاده از Big Data می تواند هزینه تحقیقات دارویی را تا 70 میلیارد دلار کاهش دهد
استفاده گسترده از Big Data منجر به کاهش 300 تا 450 میلیارد دلاری هزینه ها در نظام سلامت می شود

@healthcaremanagement

مراقبت های درمانی، اینترنت اشیا و Big Data

انرژی، Big Data و اینترنت اشیا