Top Python Libraries in 2018 in Data Science, Deep Learning, Machine Learning
1 – TensorFlow
2 – pandas
3 – scikit-learn
4 – PyTorch
5 – Matplotlib
6 – Keras
7 – NumPy
8 – SciPy
9 – Apache MXNet
10 – Theano
پینوشت:
از ده کتابخانه برتر زبان پایتون در سال 2018، 5 کتابخانه در حوزه یادگیری عمیق است.
@DataAnalysis
1 – TensorFlow
2 – pandas
3 – scikit-learn
4 – PyTorch
5 – Matplotlib
6 – Keras
7 – NumPy
8 – SciPy
9 – Apache MXNet
10 – Theano
پینوشت:
از ده کتابخانه برتر زبان پایتون در سال 2018، 5 کتابخانه در حوزه یادگیری عمیق است.
@DataAnalysis
برترین فناوریها از نظر جذب سرمایه در 5 سال آینده!
1- کلانداده و علمداده(Big Data & Data Science)
2- آنالیز کسبوکار(Business Analytics)
3- کسب و کار ابری(Cloud Business)
4- بازاریابی دیجیتال(Digital Marketing)
5- مدیریت تجربه مشتری(Customer Experience Management)
6- تجارت الکترونیک(Ecommerce)
پینوشت:
بهرهگیری از مدلهای کسبوکار مبتنی بر تکنولوژیهای فوق سبب ایجاد مزیت رقابتی پایدار برای سازمان یا شرکت شما خواهد گردید.
@DataAnalysis
1- کلانداده و علمداده(Big Data & Data Science)
2- آنالیز کسبوکار(Business Analytics)
3- کسب و کار ابری(Cloud Business)
4- بازاریابی دیجیتال(Digital Marketing)
5- مدیریت تجربه مشتری(Customer Experience Management)
6- تجارت الکترونیک(Ecommerce)
پینوشت:
بهرهگیری از مدلهای کسبوکار مبتنی بر تکنولوژیهای فوق سبب ایجاد مزیت رقابتی پایدار برای سازمان یا شرکت شما خواهد گردید.
@DataAnalysis
Forwarded from Dr Amin Najafi
محصولی جدید مبتنی بر اینترنت اشیا سامانه هوشمند سرویس مدارس پند
برای کسب اطلاعات بیشتر
https://www.instagram.com/smartpand/
برای کسب اطلاعات بیشتر
https://www.instagram.com/smartpand/
«دعوت به سومین رویداد کلاندادهها»
https://ibb.co/XDKrfC5
به: فرهیخته گرامی/ نمایندگان شرکتهای فعال در حوزه کلانداده
با سلام و احترام؛
به استحضار میرساند، سومین رویداد کلاندادهها با تمرکز بر موضوعات «ترسیم وضعیت زیستبوم کلاندادهها در کشور» و «تبیین روال مقرراتگذاری جهت توسعه کسب و کارهای دادهمحور» در پژوهشگاه ارتباطات و فناوری اطلاعات به همراه برپایی نمایشگاه با حضور شرکتهای فعال حوزه کلانداده کشور برگزار خواهد شد.
محورهای رویداد:
- کسب و کارهای دادهمحور و راهبردهای مهاجرت به کلاندادهها
- امنیت، مسائل حقوقی و تنظیم مقررات کلاندادهها
- استانداردها، زیرساختها و کاربردهای کلاندادها
جهت شبکهسازی و آشنایی با شرکتهای فعال حوزه کلانداده کشور، در این رویداد همچنین این فرصت ایجاد گردیده تا شرکتها در قالب غرفههای نمایشگاهی از آخرین محصولات و خدمات خود رونمایی نمایند. شرکتهای علاقهمند جهت اخذ غرفه در نمایشگاه تا تاریخ 8 دیماه میتوانند اقدام نمایند.
زمان برگزاری رویداد: سهشنبه مورخ 1397/10/11
محل برگزاری: تهران- انتهای خیابان کارگر شمالی– روبروی سازمان انرژی اتمی- پژوهشگاه ارتباطات و فناوری اطلاعات
اطلاعات بیشتر و ثبت نام:
http://bigdata2018.itrc.ac.ir
021-84978143
@DataAnalysis
https://ibb.co/XDKrfC5
به: فرهیخته گرامی/ نمایندگان شرکتهای فعال در حوزه کلانداده
با سلام و احترام؛
به استحضار میرساند، سومین رویداد کلاندادهها با تمرکز بر موضوعات «ترسیم وضعیت زیستبوم کلاندادهها در کشور» و «تبیین روال مقرراتگذاری جهت توسعه کسب و کارهای دادهمحور» در پژوهشگاه ارتباطات و فناوری اطلاعات به همراه برپایی نمایشگاه با حضور شرکتهای فعال حوزه کلانداده کشور برگزار خواهد شد.
محورهای رویداد:
- کسب و کارهای دادهمحور و راهبردهای مهاجرت به کلاندادهها
- امنیت، مسائل حقوقی و تنظیم مقررات کلاندادهها
- استانداردها، زیرساختها و کاربردهای کلاندادها
جهت شبکهسازی و آشنایی با شرکتهای فعال حوزه کلانداده کشور، در این رویداد همچنین این فرصت ایجاد گردیده تا شرکتها در قالب غرفههای نمایشگاهی از آخرین محصولات و خدمات خود رونمایی نمایند. شرکتهای علاقهمند جهت اخذ غرفه در نمایشگاه تا تاریخ 8 دیماه میتوانند اقدام نمایند.
زمان برگزاری رویداد: سهشنبه مورخ 1397/10/11
محل برگزاری: تهران- انتهای خیابان کارگر شمالی– روبروی سازمان انرژی اتمی- پژوهشگاه ارتباطات و فناوری اطلاعات
اطلاعات بیشتر و ثبت نام:
http://bigdata2018.itrc.ac.ir
021-84978143
@DataAnalysis
ImgBB
Big-Data-Event
Image Big-Data-Event hosted in ImgBB
🔰 اگر توسعه دهنده ی #java هستید
🔰 اگرعلاقمند به فعالیت در
حوزه #Big_Data هستید
به #سحاب بپیوندید.
✅ ارسال رزومه به:
jobs@sahab.ir
@DataAnalysis
🔰 اگرعلاقمند به فعالیت در
حوزه #Big_Data هستید
به #سحاب بپیوندید.
✅ ارسال رزومه به:
jobs@sahab.ir
@DataAnalysis
سلسله نشستهای علماطلاعات با موضوع مدیریت دادهمحور
در تاریخ 22 دیماه با موضوع مهارتهای دادهای در عصر دیجیتال پیرامون مهارتها، دانشها و ابزارهای تخصصی حوزههای علمداده، دادهکاوی، هوشتجاری و... جهت موفقیت در بازار کار ایران سخنرانی خواهم کرد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
در تاریخ 22 دیماه با موضوع مهارتهای دادهای در عصر دیجیتال پیرامون مهارتها، دانشها و ابزارهای تخصصی حوزههای علمداده، دادهکاوی، هوشتجاری و... جهت موفقیت در بازار کار ایران سخنرانی خواهم کرد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
همه دروغ میگویند!
https://bit.ly/2RxlWFm
کتاب EVERYBODY LIES یکی از کتابهای جذاب برای آشنایی با قابلیتهای حوزه Big Data میباشد که توسط ست استفندیویدویتز یکی از دانشمندان داده شرکت گوگل در جهت معرفی قابلیتهای تحلیلداده منتشر گردیده است.
این محقق چهار سال را صرف تحلیل دادههای ناشناس گوگل کرده است. تحقیقات او درباره موضوعاتی همچون بیماریهای روانی، سقط جنین، مذهب و پزشکی بوده است. او معتقد است که جستجوهای گوگل مهمترین پایگاه دادهای است که تاکنون در مورد روح و روان انسان وجود دارد.
در این کتاب مقایسههای مختلفی از جستجوهای کاربران موتور جستجو گوگل با نظرسنجیها عمومی صورت گرفته است. نتایج این تحقیق نشان از وجود اختلاف میان این دو حوزه و ارزش تحلیل اطلاعات در عصر جدید است.
در ادامه بخشی از توضیحات این کتاب آورده شده است:
همه دروغ میگویند. مردم در مورد اینکه چند بار به باشگاه میروند، قیمت کفش آنها چقدر است و کتابهایی که میخوانند، دروغ میگویند. آنها سر کار نمیروند چون بیمار هستند، اما در واقع دروغ میگویند. آنها میگویند که با شما تماس میگیرند، اما نمیگیرند.
محور اصلی این کتاب جمله زیر میباشد:
آیا مردم در سرچهای خود در موتور جستجو گوگل نیز دروغ خواهد گفت؟!
پینوشت:
1- اگر علاقهمند به شنیدن کتابهای صوتی و پادکست هستید میتوانید خلاصه این کتاب را در اپیزود شماره 3 پادکست Bplus گوش دهید. در پست بعدی این پادکست قرار داده خواهد شد.
2-مطالعه این کتاب برای متخصصین جامعهشناسی، روانشناسی، مدیران و... بسیار مفید خواهد بود.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2RxlWFm
کتاب EVERYBODY LIES یکی از کتابهای جذاب برای آشنایی با قابلیتهای حوزه Big Data میباشد که توسط ست استفندیویدویتز یکی از دانشمندان داده شرکت گوگل در جهت معرفی قابلیتهای تحلیلداده منتشر گردیده است.
این محقق چهار سال را صرف تحلیل دادههای ناشناس گوگل کرده است. تحقیقات او درباره موضوعاتی همچون بیماریهای روانی، سقط جنین، مذهب و پزشکی بوده است. او معتقد است که جستجوهای گوگل مهمترین پایگاه دادهای است که تاکنون در مورد روح و روان انسان وجود دارد.
در این کتاب مقایسههای مختلفی از جستجوهای کاربران موتور جستجو گوگل با نظرسنجیها عمومی صورت گرفته است. نتایج این تحقیق نشان از وجود اختلاف میان این دو حوزه و ارزش تحلیل اطلاعات در عصر جدید است.
در ادامه بخشی از توضیحات این کتاب آورده شده است:
همه دروغ میگویند. مردم در مورد اینکه چند بار به باشگاه میروند، قیمت کفش آنها چقدر است و کتابهایی که میخوانند، دروغ میگویند. آنها سر کار نمیروند چون بیمار هستند، اما در واقع دروغ میگویند. آنها میگویند که با شما تماس میگیرند، اما نمیگیرند.
محور اصلی این کتاب جمله زیر میباشد:
آیا مردم در سرچهای خود در موتور جستجو گوگل نیز دروغ خواهد گفت؟!
پینوشت:
1- اگر علاقهمند به شنیدن کتابهای صوتی و پادکست هستید میتوانید خلاصه این کتاب را در اپیزود شماره 3 پادکست Bplus گوش دهید. در پست بعدی این پادکست قرار داده خواهد شد.
2-مطالعه این کتاب برای متخصصین جامعهشناسی، روانشناسی، مدیران و... بسیار مفید خواهد بود.
ارادتمند
محمدرضا محتاط
@DataAnalysis
BPlus Podcast Episode 3 : Everybody Lies
Ali Bandari
3:Everybody Lies اپیزود سوم پادکست بیپلاس
تشکیل تیم و دپارتمان علمداده در سازمان!
https://bit.ly/2F9L931
جهت تشکیل تیم Data و بهرهگیری از متدهای تحلیل داده نیاز به یک تیم منسجم و کارآمد در سازمانها و شرکتها خواهیم بود. بهصورت کلی در این دپارتمان نیازمند حضور سه جایگاه دانشمندان علمداده، مهندسین داده و متخصصین کسبوکار با وظایف ذیل میباشیم.
1-مهندسین داده:
وظیفه اصلی مهندسین داده ساخت زیرساختهای مقیاسپذیر و انتقال و ذخیرهسازی دادههای عملیاتی در پایگاه دادههای شرکت هست. تجربه در پایگاه دادههای رابطهای و غیررابطهای(NoSQL)، پیادهسازی انبار داده، زیرساختهای کلان داده همانند آپاچی هدوپ و... جز مهارتهای اصلی این تیم میباشد.
2-دانشمندان داده:
تمرکز تیم علمداده بر روی موضوعات تحلیلی و ساخت مدلهای مبتنی بر یادگیری ماشین در جهت پاسخگویی به نیازمندیهای توصیفی و پیشبینانه است.
دانش تخصصی در فیلدهای آمار، یادگیری ماشین، یادگیری عمیق، زبانهای برنامهنویسی پایتون و R و... از مهارتهای کلیدی موردنیاز این تیم خواهد بود.
3-متخصصین کسبوکار:
تمرکز تیم متخصص حوزه یا کسبوکار بر ایجاد ارزش برای سازمان با تعامل با گزارشات و نتایجهای تحلیلی توسعه داده شده میباشد. دانش و مهارتهای تخصصی در حوزههای کسبوکار، هوشتجاری، حکمرانی داده، داستانسرایی(Storytelling) و... از پیشنیازهای این تیم است.
پینوشت:
مدیریت این دپارتمان در قالبهای مدیریت متمرکز و غیرمتمرکز انتخاب میگردد.. در مدیریت متمرکز مدیریت این دپارتمان در اختیار CDO یا تحلیلگر ارشد داده قرار داده خواهد شد. این فرد به وظایف، مهارتها و دانشهای این سه حوزه آشنا میباشد. در مدیریت غیرمتمرکز نیز تیمهای تحلیل داده محلی در دپارتمانهای مختلف شرکت به صورت موازی ایجاد خواهد گردید.
قابلذکر است که بنا به ساختار سازمانی شرکت، میزان دانش و تخصص فعلی کارکنان، نیازمندیهای عملیاتی و... نوع ساختار بهینه(متمرکز یا غیرمتمرکز) میبایست انتخاب گردد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2F9L931
جهت تشکیل تیم Data و بهرهگیری از متدهای تحلیل داده نیاز به یک تیم منسجم و کارآمد در سازمانها و شرکتها خواهیم بود. بهصورت کلی در این دپارتمان نیازمند حضور سه جایگاه دانشمندان علمداده، مهندسین داده و متخصصین کسبوکار با وظایف ذیل میباشیم.
1-مهندسین داده:
وظیفه اصلی مهندسین داده ساخت زیرساختهای مقیاسپذیر و انتقال و ذخیرهسازی دادههای عملیاتی در پایگاه دادههای شرکت هست. تجربه در پایگاه دادههای رابطهای و غیررابطهای(NoSQL)، پیادهسازی انبار داده، زیرساختهای کلان داده همانند آپاچی هدوپ و... جز مهارتهای اصلی این تیم میباشد.
2-دانشمندان داده:
تمرکز تیم علمداده بر روی موضوعات تحلیلی و ساخت مدلهای مبتنی بر یادگیری ماشین در جهت پاسخگویی به نیازمندیهای توصیفی و پیشبینانه است.
دانش تخصصی در فیلدهای آمار، یادگیری ماشین، یادگیری عمیق، زبانهای برنامهنویسی پایتون و R و... از مهارتهای کلیدی موردنیاز این تیم خواهد بود.
3-متخصصین کسبوکار:
تمرکز تیم متخصص حوزه یا کسبوکار بر ایجاد ارزش برای سازمان با تعامل با گزارشات و نتایجهای تحلیلی توسعه داده شده میباشد. دانش و مهارتهای تخصصی در حوزههای کسبوکار، هوشتجاری، حکمرانی داده، داستانسرایی(Storytelling) و... از پیشنیازهای این تیم است.
پینوشت:
مدیریت این دپارتمان در قالبهای مدیریت متمرکز و غیرمتمرکز انتخاب میگردد.. در مدیریت متمرکز مدیریت این دپارتمان در اختیار CDO یا تحلیلگر ارشد داده قرار داده خواهد شد. این فرد به وظایف، مهارتها و دانشهای این سه حوزه آشنا میباشد. در مدیریت غیرمتمرکز نیز تیمهای تحلیل داده محلی در دپارتمانهای مختلف شرکت به صورت موازی ایجاد خواهد گردید.
قابلذکر است که بنا به ساختار سازمانی شرکت، میزان دانش و تخصص فعلی کارکنان، نیازمندیهای عملیاتی و... نوع ساختار بهینه(متمرکز یا غیرمتمرکز) میبایست انتخاب گردد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
مهارتهای دادهای در عصر دیجیتال
زمان: شنبه 22 دیماه ساعت 16 الی 18
مکان: کتابخانه عمومی حسینه ارشاد
ثبتنام:
evnd.co/vVnAL
@DataAnalysis
زمان: شنبه 22 دیماه ساعت 16 الی 18
مکان: کتابخانه عمومی حسینه ارشاد
ثبتنام:
evnd.co/vVnAL
@DataAnalysis
محورهای ارائه مهارتهای دادهای در عصر دیجیتال
در ارائه امروز که در ساعت 16 الی 18 در کتابخانه عمومی حسینه ارشاد برگزار میگردد مهارتها، ابزارها و تکنولوژیهای مورد نیاز در حوزههای زیر پوشش داده خواهد شد.
1- Data Science
2- BI
3- Big Data
4- Data Engineering
اگر علاقهمند به حضور در این فیلدهای کاری و کسب تخصص در آن هستید میتوانید از طریق لینک زیر اقدام به ثبت نام(رایگان) کنید.
ثبتنام:
evnd.co/vVnAL
@DataAnalysis
در ارائه امروز که در ساعت 16 الی 18 در کتابخانه عمومی حسینه ارشاد برگزار میگردد مهارتها، ابزارها و تکنولوژیهای مورد نیاز در حوزههای زیر پوشش داده خواهد شد.
1- Data Science
2- BI
3- Big Data
4- Data Engineering
اگر علاقهمند به حضور در این فیلدهای کاری و کسب تخصص در آن هستید میتوانید از طریق لینک زیر اقدام به ثبت نام(رایگان) کنید.
ثبتنام:
evnd.co/vVnAL
@DataAnalysis
📣 ثبتنام دومین دوره مسابقات ملی دادهکاوی امیرکبیر آغاز شد
📆شروع مسابقه: ۱ بهمن ۱۳۹۷
💵هزینه ثبت نام هر تیم: ۱۵ هزار تومان
🌐اطلاعات بیشتر و ثبتنام: autdmc.ir
🔍سؤال: @ceitssc
@DataAnalysis
📆شروع مسابقه: ۱ بهمن ۱۳۹۷
💵هزینه ثبت نام هر تیم: ۱۵ هزار تومان
🌐اطلاعات بیشتر و ثبتنام: autdmc.ir
🔍سؤال: @ceitssc
@DataAnalysis
Forwarded from متخصصان علم داده ها data scientists
دموی ساده از نسخه 2 اریاویژن
در این نسخه ر دو بستر RDBMS و کلان داده پیاده سازی شده است که یکی از دو حالت با توجه به داده قابل استفاده است.
https://www.aparat.com/v/Hw4T7
در این نسخه ر دو بستر RDBMS و کلان داده پیاده سازی شده است که یکی از دو حالت با توجه به داده قابل استفاده است.
https://www.aparat.com/v/Hw4T7
آپارات - سرویس اشتراک ویدیو
نسخه جدید آریاویژن
نرم افزار هوش تجاری آریاویژن ، فراهمساز بستری برای هوشمندی تجاری Business Intelligence یا BI در سازمانهاست. این نرم افزار انبوه اطلاعات سیستمهای عملیاتی سازمان را در ساختاری تجمیعی، خلاصه شده، تحلیلی و مناسب برای نیازهای اطلاعاتی مدیران و تحلیلگران کسب…
DataSkills.pdf
2.6 MB
ارائه مهارتهای دادهای در عصر دیجیتال!
در ارائه فوق که در نشست علماطلاعات و دانش شناسی حسینه ارشاد برگزار گردید، مهارتهای مورد نیاز جهت تبدیل شدن به متخصص حوزههای زیر به تفکیک ذکر گردیده است.
1- علمداده
2- هوش تجاری
3- کلانداده
4- مهندس داده
لینک Slidshare:
https://bit.ly/2D6jde4
@DataAnalysis
در ارائه فوق که در نشست علماطلاعات و دانش شناسی حسینه ارشاد برگزار گردید، مهارتهای مورد نیاز جهت تبدیل شدن به متخصص حوزههای زیر به تفکیک ذکر گردیده است.
1- علمداده
2- هوش تجاری
3- کلانداده
4- مهندس داده
لینک Slidshare:
https://bit.ly/2D6jde4
@DataAnalysis
انتخاب الگوریتم مناسب در پروژههای دادهکاوی!
https://bit.ly/2FydfoM
یکی از چالشهای مهم در پروژههای دادهکاوی انتخاب الگوریتم مناسب و بهینه بنا به نیازمندیهای مسئله است. در ادامه برخی از مؤلفههای کلیدی جهت انتخاب الگوریتمهای یادگیری ماشین در یک پروژه دادهکاوی ذکر خواهد گردید.
1- هدف تحلیل(متغیرهدف): هدف تحلیل و نوع متغیر هدف(Target) از مهمترین مؤلفههای انتخاب الگوریتم و تکنیک موردنیاز خواهد بود. هر یک از تحلیلهای توصیفی، پیشبینانه و... توسط الگوریتمهای مشخصی پشتیبانی خواهند شد. بهصورت کلی بنا به نوع متغیر هدف و تحلیل موردنیاز به الگوریتمهای مختلفی همانند خوشهبندی، طبقهبندی، پیشبینی، کاهش بعد، قوانین انجمنی و... نیاز خواهد شد.
2-دقت و صحت: در برخی از مسائل که هدف کسب دقت بالاتر میباشد برخی از الگوریتمها همانند SVM، شبکههای عصبی، Random Forest و... به نسبت سایر الگوریتمها پیشنهاد میشود.
3- سرعت: در مسائلی که هدف سرعت بیشتر در مدلسازی است برخی الگوریتمها همانند Naive Bayes، رگرسیون لوجستیک، رگرسیون خطی، درختهای تصمیمگیری و... عملکرد بهمراتب بهتری نسبت به سایر الگوریتمها دارند.
4- دادگان نامتوازن: یکی از چالشهای اساسی در پروژههای دادهکاوی وجود دادگان نامتوازن در کلاس متغیر هدف است. جهت مدیریت دادگان نامتوازن روشهای متعددی همانند OverSampling یا UnderSampling وجود دارد اما برخی از الگوریتمها نیز توانایی مدیریت این قبیل دادگان را دارند. از مهمترین الگوریتمهایی که توانایی مدیریت دادگان نامتوازن را دارند میتوان به الگوریتمهای Random Forset, C4.5, C5.0, CART و... اشاره کرد.
پینوشت:
1- انتخاب یک الگوریتم به سایر مؤلفهها همانند وجود تخصص لازم در تیم تحلیل داده و توانایی پیادهسازی آن، لزوم مشخص بودن یا نبودن قوانین کشفشده همانند روشهای BlackBox در مقابل روشهای Rule Base بستگی دارد.
2- ارائه راهحلهای کلی معمولاً کارآمد نخواهد بود اما در حوزه الگوریتمهای یادگیری ماشین طبق تجربیات موجود در پروژههای مختلف دو الگوریتم SVM و Random Forest معمولاً دارای نتایج کارآمدتری هستند.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2FydfoM
یکی از چالشهای مهم در پروژههای دادهکاوی انتخاب الگوریتم مناسب و بهینه بنا به نیازمندیهای مسئله است. در ادامه برخی از مؤلفههای کلیدی جهت انتخاب الگوریتمهای یادگیری ماشین در یک پروژه دادهکاوی ذکر خواهد گردید.
1- هدف تحلیل(متغیرهدف): هدف تحلیل و نوع متغیر هدف(Target) از مهمترین مؤلفههای انتخاب الگوریتم و تکنیک موردنیاز خواهد بود. هر یک از تحلیلهای توصیفی، پیشبینانه و... توسط الگوریتمهای مشخصی پشتیبانی خواهند شد. بهصورت کلی بنا به نوع متغیر هدف و تحلیل موردنیاز به الگوریتمهای مختلفی همانند خوشهبندی، طبقهبندی، پیشبینی، کاهش بعد، قوانین انجمنی و... نیاز خواهد شد.
2-دقت و صحت: در برخی از مسائل که هدف کسب دقت بالاتر میباشد برخی از الگوریتمها همانند SVM، شبکههای عصبی، Random Forest و... به نسبت سایر الگوریتمها پیشنهاد میشود.
3- سرعت: در مسائلی که هدف سرعت بیشتر در مدلسازی است برخی الگوریتمها همانند Naive Bayes، رگرسیون لوجستیک، رگرسیون خطی، درختهای تصمیمگیری و... عملکرد بهمراتب بهتری نسبت به سایر الگوریتمها دارند.
4- دادگان نامتوازن: یکی از چالشهای اساسی در پروژههای دادهکاوی وجود دادگان نامتوازن در کلاس متغیر هدف است. جهت مدیریت دادگان نامتوازن روشهای متعددی همانند OverSampling یا UnderSampling وجود دارد اما برخی از الگوریتمها نیز توانایی مدیریت این قبیل دادگان را دارند. از مهمترین الگوریتمهایی که توانایی مدیریت دادگان نامتوازن را دارند میتوان به الگوریتمهای Random Forset, C4.5, C5.0, CART و... اشاره کرد.
پینوشت:
1- انتخاب یک الگوریتم به سایر مؤلفهها همانند وجود تخصص لازم در تیم تحلیل داده و توانایی پیادهسازی آن، لزوم مشخص بودن یا نبودن قوانین کشفشده همانند روشهای BlackBox در مقابل روشهای Rule Base بستگی دارد.
2- ارائه راهحلهای کلی معمولاً کارآمد نخواهد بود اما در حوزه الگوریتمهای یادگیری ماشین طبق تجربیات موجود در پروژههای مختلف دو الگوریتم SVM و Random Forest معمولاً دارای نتایج کارآمدتری هستند.
ارادتمند
محمدرضا محتاط
@DataAnalysis
کتاب Big Data Analytics with Spark
کتاب Big Data Analytics with Spark انتشارات Apress یکی از کتابهای مفید حوزه Big Data در جهت آموزش و اجرای تحلیلهای پیشرفته بر روی موتور پردازشی اسپارک است. در این کتاب سرفصلهای زیر آموزش داده میشود.
1- Big Data Technology Landscape
2- Programming in Scala
3- Spark Core
4- Interactive Data Analysis with Spark Shell
5- Writing a Spark Application
6- Spark Streaming
7- Spark SQL
8- Machine Learning with Spark
9- Graph Processing with Spark
10- Cluster Managers
11- Monitoring
پینوشت:
1- بررسی مهارتهای موردنیاز در حوزههای علمداده، توسعهدهنده کلان داده و تحلیلگر کلان داده نشان از اهمیت Spark در پروژههای آتی حوزه کلان داده در کشور میباشد. لذا اگر قصد فعالیت تخصصی در حوزههای فوق را دارید یادگیری Spark یکی از پیشنیازهای اصلی موفقیت خواهد بود.
2- پیادهسازیهای کدها در کتاب فوق بر اساس زبان برنامهنویسی Scala میباشد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
کتاب Big Data Analytics with Spark انتشارات Apress یکی از کتابهای مفید حوزه Big Data در جهت آموزش و اجرای تحلیلهای پیشرفته بر روی موتور پردازشی اسپارک است. در این کتاب سرفصلهای زیر آموزش داده میشود.
1- Big Data Technology Landscape
2- Programming in Scala
3- Spark Core
4- Interactive Data Analysis with Spark Shell
5- Writing a Spark Application
6- Spark Streaming
7- Spark SQL
8- Machine Learning with Spark
9- Graph Processing with Spark
10- Cluster Managers
11- Monitoring
پینوشت:
1- بررسی مهارتهای موردنیاز در حوزههای علمداده، توسعهدهنده کلان داده و تحلیلگر کلان داده نشان از اهمیت Spark در پروژههای آتی حوزه کلان داده در کشور میباشد. لذا اگر قصد فعالیت تخصصی در حوزههای فوق را دارید یادگیری Spark یکی از پیشنیازهای اصلی موفقیت خواهد بود.
2- پیادهسازیهای کدها در کتاب فوق بر اساس زبان برنامهنویسی Scala میباشد.
ارادتمند
محمدرضا محتاط
@DataAnalysis