ماهوت MAHOUT

@BigDataTechnology

ماهوت پروژه ای است که کتابخانه ای از پیاده سازی های مقیاس پذیر " الگوریتم های یادگیرنده ماشین " را بروی MapReduce و HDFS فراهم می آورد.

کتابخانه Mahout شامل تعدادی بسیار زیادی روش های تحلیلی است:

⭕ الگوریتم های فیلترینگ مشارکتی
Collaborative filtering algorithms

⭕ الگوریتم های توصیه گر مبتنی بر موضوع یا کاربر
Recommender algorithms

⭕ خوشع بندی
⭕ طبقه بندی
⭕ متن کاوی
⭕ کاوش الگوریتم متناوب

البته Mahout روش ها و الگوریتم های دیگر را نیز پشتیبانی میکند.

منبع : کتاب تحلیل های عظیم داده
Big Data Analytics
David Loshin
ترجمه دکتر سعید روحانی

#Mahout

@BigDataTechnology

✳️ دیدگاه بشر نسبت به قدرت بیگ دیتا

بر اساس تحقیقات Druva حجم اطلاعات تولید شده توسط انسان، از سال 2015 که به 2.73 زتابایت میرسیده است، تا پایان این دهه به 10.5 زتاپایت خواهد رسید. هر زتاپایت برابر یک تریلیون گیگابات می باشد.

🌍: https://datafloq.com/read/humanized-perspective-power-big-data/1231

#داده_کاوی #اطلاعات
🆔: @mfta_ir

مدیریت داده های غیر رابطه ای با HBASE

@BigDataTechnology

❌یک پایگاه داده رابطه ای نیست.
❌واکشی های SQL را پشتیبانی نمی کند.

🔸حجم انبوهی از مجموعه داده ها را در سراسر Hadoop توزیع نموده و به اشتراک میگذارد.

🔸از BigTable گوگل استخراج شده و از جمله چیدمان ردیف گرا محسوب می گردد.

🔸تحمل خطا را جهت ذخیره سازی، دستکاری ، تغییر و تعدیل جداول داده فراهم می کند.

🔸از اجرای عملیات در حافظه پشتیبانی می کند.

عملیات پایه و اصلی :

🔹دریافت (دستیابی به یک ردیف مشخص در جدول)

🔹قراردادن (ذخیره سازی و یا به روزرسانی یک ردیف در جدول)

🔹اسکن (تکرار بیش از یک مجموعه از ردیف ها در جدول)

🔹حذف (حذف یک ردیف از جدول)

#HBase

@BigDataTechnology

✳️ بیگ دیتا و نقش آن در بهداشت و درمان
بیگ دیتا طریقه تفکر ما را درباره همه چیز تغییر داده است و حالا میخواهد ارتباط ما را با پزشکی و مراقبت های بهداشتی به طور کلی تغییر دهد. برای سال های سال، اطلاعات بیشتر تحقیقات پزشکی و کشفیات انجام پذیرفته در این حوزه جمع آوری و آنالیز شده است اما اکنون ما سنسورها و گوشی های هوشمندی همراه خود داریم که قادر به اشتراک گذاری اطلاعات بسیاری نسبت به گذشته از ما و بهداشت و درمان ما هستند. با تغییر کردن کیفیت و کمیت این اطلاعات نقش بیگ دیتا بسیار پر رنگ تر شده است...

🌍: http://www.forbes.com/sites/bernardmarr/2016/05/24/big-data-a-game-changer-in-healthcare/#624244003c75

🆔: @mfta_ir

✳️ #بیگ_دیتا : 33 منبع اطلاعاتی مجانی برای سال #2016


🌍: http://www.forbes.com/sites/bernardmarr/2016/02/12/big-data-35-brilliant-and-free-data-sources-for-2016/#677a2a6b6796

🆔: @mfta_ir

✅ اینترنت انرژی (energy Internet) در حال آمدن است

مدیران صنایع به دنبال مشتریهایی در حوزه انرژی می باشند و استارت آپ های بیگ دیتا نیز به دنبال ساخت ابزارهایی برای این صنایع می باشند. در این بین، کمپانی های فعال در حوزه انرژی خواهان به کار گیری تکنولوژی هایی هستند که مخصوصا برای خدمت در فضای اینترنت شکل گرفته اند (مانند blockchain که یک مدل از پایگاه داده توزیع شده است که در ایجاد بیتکوین به جهان معرفی شد)...

🌍: http://fortune.com/2016/05/24/big-money-in-energy-big-data/
#بیگ_دیتا #اینترنت_انرژی #استارت_آپ
🆔: @mfta_ir

یادگیری ماشین در پزشکی : مروری کامل

یادگیری ماشین در پزشکی : مروری کامل

اشپرینگر ، کتابی جامع در باب یادگیری ماشین در حوزه پزشکی منتشر کرده است که برای علاقه مندان به کار در حوزه پردازش داده پزشکی بسیار مغتنم است .
این کتاب از سه بخش اصلی زیر تشکیل شده است :
دسته بندی و خوشه بندی در پزشکی
مدلهای خطی
مدلهای مبتنی بر قانون (Rule Based)

جهت دانلود کتاب به لینک زیر مراجعه کنید:

http://www.bigdata.ir/%DA%A9%D8%AA%D8%A7%D8%A8%D8%AE%D8%A7%D9%86%D9%87/%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%D8%AF%D8%B1-%D9%BE%D8%B2%D8%B4%DA%A9%DB%8C-%D9%85%D8%B1%D9%88%D8%B1%DB%8C-%DA%A9%D8%A7%D9%85%D9%84/

درود

با سپاس از شما برای ثبت نام در دومین وبینار آنلاین آشنایی با هدوپ.
اطلاعات مربوط به شرکت در وبینار به قرار زیر است:

لینک پیوستن به وبینار : http://live.e-seminar.ir/hadoop/
قبل از پیوستن به وبینار حتما دقایقی قبل از حضور راهنمای حضور در وبینار(http://hadoop.ir/WEBINAR%20Guide.pdf) را مطالعه بفرمایید.

پس از ورود به لینک بالا ، از بخش Guest نام کامل خودتان را که در زمان ثبت نام اعلام کردید وارد نمایید و وارد وبینار شوید. لازم به ذکر است در زمان شروع وبینار بخش Guest فعال خواهد شد.

وبینار راس ساعت 18 تا 20 روز 6 خرداد ماه ۱۳۹۵ شروع می شود و خواهشمندیم قبل از ساعت فوق نسبت به نصب نرم افزار موردنیاز و اطمینان از سرعت اینترنت مناسب اقدام فرمایید.

✅ توجه ✅

دوستانی که در «دومین وبینار آنلاین هدوپ» ثبت نام نموده اند،اطلاعات مربوط به شرکت در وبینار به ایمیل و شماره وارد شده در فرم ثبت نام ارسال شد.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

ویدیو و اسلاید وبینار آشنایی به هدوپ منتشر شد.

به این لینک مراجعه کنید :
http://hadoop.ir/?p=694

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

عضو هیأت علمی دانشگاه صنعتی شریف گفت: پیش‌بینی می‌شود تا پنج سال آینده برای اشخاصی که توان تحلیل داده و علم مهندسی و علوم داده را داشته باشند یک میلیون شغل تولید شود.

شاهین روحانی در نخستین نشست علمی بین‌المللی هم‌اندیشی کلان‌ داده‌ها در دانشگاه کاشان اظهار کرد: نتایج تحلیل داده‌های حجیم در صنعت تجارت و علم کاربرد دارد و دقت موجود در کلان‌داده ممکن است به اطمینان بیشتر بر تصمیم‌گیری شود و تصمیمات بهتر می‌تواند به معنای کارایی عملیاتی بزرگ‌تر، کاهش هزینه و کاهش ریسک باشد.

http://www.farsnews.com/newstext.php?nn=13950309000974

2⃣ نامزدهای سیاسی با استفاده از بیگ دیتا خودشان را تبلیغ می کنند. کمپین هایی هستند که مشخصات افراد را جمع آوری می کنند و از این اطلاعات برای فرستادن پیغام مناسب به رای دهندگان استفاده میکنند.
@mfa_ir

شرکت داده پردازی سیمیاگران استخدام می کند:

۱- دانشمند داده: مسلط به مفاهیم و تکنیک های پیشرفته داده کاوی - آشنایی با ابزارهای متداول - آشنایی با کاربردهای بیگ دیتا در سازمانهای بزرگ و ترجیحا بانکها

۲- مهندس داده: آشنا با تکنیکهای تجمیع داده ها و بیگ دیتا - ترجیحا مسلط به هدوپ ، اچ دی اف اس، هایو - آشنایی با مفاهیم دیتا کلینزینگ و مدیریت داده در پروژه های بیگ دیتا

۳- طراح، تحلیلگر و معمار داده: آشنا با فرآیندهای مدیریت داده - آشنا با فرآیندهای مدیریت کیفیت داده - آشنا با مفاهیم معماری اطلاعات - علاقمند به مستندسازی روشها و دستورالعملها

لطفا پیام خصوصی بگذارید

@farzadkhandan

ویا درخواستتان را به همراه رزومه ایمیل بفرمایید.

fkhandan@simiagaran.net

متشکرم

کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

قیام NoSQL ادامه دارد – نگاهی به گرایشات و بازارکار

- بانک‌های اطلاعاتی در مسیر هوشمندی
- هوش تجاری (Business Intelligence) چیست؟
- انبار داده (Data Warehouse) چیست؟
- اهمیت بزرگ‌داده
NoSQL قیام خود را از مدت‌ها قبل آغاز کرده
- رده‌بندی بانک‌های اطلاعاتی مبتنی بر NoSQL
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟


http://www.bigdata.ir/1395/03/%d9%82%db%8c%d8%a7%d9%85-nosql-%d8%a7%d8%af%d8%a7%d9%85%d9%87-%d8%af%d8%a7%d8%b1%d8%af-%d9%86%da%af%d8%a7%d9%87%db%8c-%d8%a8%d9%87-%da%af%d8%b1%d8%a7%db%8c%d8%b4%d8%a7%d8%aa-%d9%88-%d8%a8%d8%a7/

امروز با رواج استفاده از شبکه‌های اجتماعی، یکی از بهترین راه‌های دستیابی به کلان‌داده‌ها، دسترسی به مراکز اطلاعاتی (data center) این شبکه‌هاست.

🆔 @mfta_ir

معماری پردازش پلت‌فرم های مبتنی بر اینترنت اشیا در بستر Big Data

@dataanalysis