مسیر آموزشی علم‌داده!

http://tiny.cc/ohnpaz

یکی از مهم‌ترین گام‌های تبدیل‌شدن به یک متخصص علم‌داده، انتخاب مسیر آموزشی بهینه جهت آموزش مفاهیم و ابزارهای کارآمد منطبق با بازار کار است. موضوعی که توسط مؤسسات و دوره‌های آموزشی که در کشور نیز در حال گسترش است کمتر به آن توجه می‌شود.

مسیر پیشنهادی زیر یکی از نمونه مسیرهای آموزشی مناسب جهت تبدیل‌شدن به یک متخصص علم‌داده و تحلیلگر کلان داده منطبق با بازار کار بین‌المللی و ایران هست.

🔵 بخش مقدماتی:

🔹پیش‌نیاز:
یکی از مهم‌ترین‌ پیش‌نیازهای ورود به حوزه علم‌داده فراگیری مفاهیم پایه حوزه‌های آمار، داده‌کاوی و... است. آموزش ساختار و قواعد زبان‌ برنامه‌نویسی پایتون، توانایی کار با پایگاه داده‌های رابطه‌ای و اجرای کوئری‌های SQL ای نیز از دیگر پیش‌نیاز کلیدی می‌باشد.

🔹علم‌داده با پایتون:
پس از آموزش ساختار و قواعد زبان برنامه‌نویسی پایتون، در گام بعدی فراگیری کتابخانه‌های تحلیل داده این زبان برنامه‌نویسی حائز اهمیت است. کتابخانه‌ Pandas بابت تحلیل داده‌های ساخت‌یافته، کتابخانه Numpy جهت پیاده‌سازی مفاهیم پایه ریاضی و آمار، کتابخانه Matplotlib جهت مصورسازی داده‌ها، کتابخانه IPython جهت اجرای Interctive پروژه‌های علم‌داده و... در این گام مفید خواهد بود.

🔹یادگیری ماشین:
در این گام هدف پیاده‌سازی و اجرای پروژه‌های یادگیری ماشین می‌باشد. کتابخانه Scikit learn از مطرح‌ترین کتابخانه‌های زبان پایتون است که به‌وسیله آن امکان پیاده‌سازی اکثر پروژه‌های یادگیری ماشین فراهم خواهد شد. آموزش تخصصی این کتابخانه در پروژه‌های موردی بسیار مفید است.

🔴 بخش پیشرفته:
در بخش پیشرفته تمرکز بر پلتفرم‌ها و ابزارهای نوظهور است که در صورت فراگیری آن امکان رشد بسیار سریع‌تر در این فیلد کاری میسر خواهد شد.

🔺یادگیری عمیق:
با توجه به قابلیت‌های یادگیری عمیق در مسائل پیچیده، یادگیری فریم‌ورک‌ها و کتابخانه‌های یادگیری عمیق نقش به سزایی در موفقیت شما به‌عنوان یک متخصص علم‌داده خواهد داشت. کتابخانه‌های Tensorflow و Keras دو کتابخانه مطرح یادگیری عمیق هستند که آموزش یکی از این دو بسیار مفید خواهد بود. تمامی این کتابخانه‌ها دارای واسط برای زبان برنامه‌نویسی پایتون هستند.

🔺کلان ‌داده:
با توجه به افزایش سرعت، حجم و تنوع اطلاعات، در حال حاضر دو جایگاه متخصص علم‌داده و تحلیلگر کلان داده به‌مراتب به یکدیگر نزدیک شده‌اند و بعضاً در فرصت‌های شغلی متخصصین علم‌داده توانایی‌های مرتبط با حوزه Big Data نیز از پیش‌نیازهای اصلی است. آشنایی با اکوسیستم Hadoop و زیر پروژه‌های آن همانند Pig, Sqoop, Hive و... در این بخش پیشنهاد می‌شود.

🔺آپاچی اسپارک:
آپاچی اسپارک یکی از برترین پلتفرم‌های پردازشی در حوزه کلان داده است. فراگیری کتابخانه‌های یادگیری ماشین این پلتفرم(MLlib)، اجرای کوئری‌های SQL در این پلتفرم پردازشی (Sprak SQL) و... جهت رشد سریع‌تر شما در این حوزه کاری بسیار موثر است.

پی‌نوشت:
1- جهت یادگیری اصولی و کاهش پیچیدگی‌های آموزشی در این مسیر توصیه می‌کنم حتما گام‌ها به ترتیب طی شود. بعضاً برخی از علاقه‌مندان بدون دانش مقدماتی یا در شروع فرایندهای آموزشی به دنبال یادگیری مفاهیم و ابزارهای تخصصی یادگیری عمیق یا کلان داده می‌شوند. امری که سبب بروز پیچیدگی و کسب دانش سطحی خواهد شد.
2- انتخاب موسسه و دوره آموزشی مناسب یکی از کاتالیزورهای موفقیت شما در این مسیر آموزشی دشوار اما جذاب است.

ارادتمند
محمدرضا محتاط

@DataAnalysis

معرفی فیلم Her

فیلم Her فیلمی در ژانر درام، عاشقانه و علمی-تخیلی به کارگردانی اسپایک جونز با موضوع ورود هوش مصنوعی به زندگی انسان است.

داستان فیلم در آینده‌ای نه‌چندان دور اتفاق می‌افتد؛ زمانی که سیستم‌عامل‌ها و دستیارهای هوشمند پیشرفت قابل‌توجهی داشته است. محوریت داستان در مورد مردی است که با یک سیستم‌عامل هوشمند رایانه‌ای که دارای صدا و شخصیت یک زن است رابطه عاطفی برقرار می‌کند.

با دیدن این فیلم جذاب می‌توانید آینده‌ای نزدیک از پیشرفت تکنولوژی و دستیارهای هوشمند به همراه تهدیدهای ناشی از پیشرفت بی‌حدومرز فناوری را مشاهده نمایید.

@DataAnalysis

مقایسه مهارت‌های متخصص علم‌داده و تحلیلگر بازاریابی!

یکی از کارکردهای اصلی حوزه علم‌داده در سازمان‌ها، تحلیل‌ داده‌های مشتریان جهت بازاریابی هوشمند است. بازاریابی داده‌محور یکی از رویکردهای هست که سبب شناخت دقیق‌تر مشتریان بالقوه و بالفعل خواهد شد.

در شکل فوق مهارت‌های دو حوزه متخصص علم‌داده و تحلیلگر بازاریابی مقایسه شده است. توانمندی‌های مرتبط با هوش تجاری، داشبوردخوانی، داستان‌سرایی از داده‌ها و مهارت‌های تخصصی حوزه بازاریابی از پیش‌نیازهای کلیدی جهت موفقیت ذر جایگاه شغلی بازاریابی داده‌محور است.

@DataAnalysis

پارسا خائف؛ برنده نهایی عصر جدید!؟

یکی از کاربردهای جذاب حوزه علم‌داده پیش‌بینی انتخابات و نظرات مردمی در حوزه‌ها و موضوعات سیاسی، فرهنگی، ورزشی و... است.

یکی از داده‌های موثر در تحلیل نظرات مردم بررسی میزان جستجوهای کاربران در موتورهای جستجو است. امری که حتی در پیش‌بینی نتایج انتخابات نیز قابل اتکا می‌باشد.

با بررسی میزان جستجوهای کاربران در موتور جستجو گوگل پیرامون شرکت‌کنندگان فینال عصر جدید طی هفته گذشته نشان از میزان توجهات کاربران ایرانی موتور جستجوی گوگل به پارسا خائف است.

میزان توجهات به اجراهای خانم فاطمه عبادی، آقایان سعید فتحی روشن و محمد زارع بسیار به یکدیگر نزدیک هستند. گروه دختران نینجا هم با اختلاف در رتبه آخر میزان توجهات قرار دارد.

باید تا اعلام نتایج نهایی صبر کرد تا مشخص شود که میزان جستجوهای کاربران در موتور جستجوی گوگل چه میزان رابطه با میزان آرای این شرکت کنندگان دارد.

ارادتمند
محمدرضا محتاط

@DataAnalysis

دلایل خطا در پیش‌بینی‌های داده‌محور!

http://tiny.cc/873lbz

برنامه عصر جدید دیشب با پیروزی خانم فاطمه عبادی به اتمام رسید. امری که اگر چه دور از ذهن نبود اما پیش‌بینی‌های متعدد توسط منابع مختلف نشان از پیروزی پارسا خائف داشت. یکی دیگر از خطاهای اخیر در پیش‌بینی‌های داده‌محور شکست در پیش‌بینی قهرمان مسابقات جام جهانی فوتبال توسط یکی از مطرح‌ترین سیستم‌های هوش مصنوعی در جهان بود.

آیا پیش‌بینی‌های داده‌محور قابل اتکا نیستند!؟

در این نوشتار برخی علل بروز خطا در پیش‌بینی‌های داده‌محور ذکر خواهد شد.

1- عدم تقاطع منابع اطلاعاتی:
تقاطع منابع اطلاعاتی یکی از راهکارهای افزایش دقت و صحت مدل‌های پیش‌بینانه خواهد شد. در صورتی که تنها از یک منبع اطلاعاتی اقدام به پیش‌بینی شود خطا به مراتب افزایش خواهد یافت. منظور از تقاطع منابع اطلاعاتی افزایش دامنه جمع‌آوری اطلاعات در حوزه‌های مرتبط با موضوع پیش بینی است.

2- تمرکز بیش از حد به فضای مجازی:
یکی دیگر از خطاهای رایج در پیش‌بینی‌های داده‌محور تمرکز بیش از حد به داده‌ها و منابع اطلاعاتی موجود در شبکه‌های اجتماعی، منابع خبری، نظرسنجی‌های آنلاین و... است. این درحالی هست که طیف وسیعی از رای دهندگان که در انتخابات‌ها شرکت می‌کنند لزوما نظرات و علاقه‌مندی‌های حقیقی خود را در فضای مجازی منتشر نمیکنند. جهت افزایش دقت مدل‌های پیش‌بینانه میبایست این جامعه آماری مهم را نیز در نظر داشت.

3- عدم توجه به متغیرهای موضوعی:
یکی دیگر از دلایل شکست در پیش‌بینی دقیق نظرات آحاد جامعه در یک موضوع، عدم توجه به متغیرهایی موضوعی همانند قومیت، جنسیت، صنف و... است. برخی از رای دهندگان ممکن است صرفا به دلیل جنسیت یا قومیت یک شرکت کننده به آن رای دهند. در صورتی که این قبیل متغیرها در مدل‌های پیش‌بینی لحاظ نشود سبب افزایش خطا در پیش‌بینی‌ها میشود.

4- عدم دسترسی به منابع اطلاعاتی:
عدم دسترسی به منابع اطلاعاتی جامع یکی دیگر از مولفه‌های افزایش خطا در مدل‌های پیش‌بینانه است. هر چقدر منابع اطلاعاتی مورد بررسی دارای کمیت و کیفیت بهتری باشد به طبع دقت مدل‌های پیش‌بینی نیز افزایش پیدا خواهد کرد.


تمامی این موارد برخی از دلایل شکست در پیش‌بینی‌های موضوعی داده محور است. در انتها این نکته باید توجه شود که با توجه به افزایش حجم، تنوع و سرعت تولید اطلاعات، بهره‌گیری از تحلیل‌های داده‌محور یکی از موثرترین راهکارها در جهت کسب بینش خواهد بود. واقعیتی که در لایه‌های حاکمیتی، سازمانی و... باید به آن توجه ویژه شود.

ارادتمند
محمدرضا محتاط

@DataAnalysis

برترین مهارت‌های مورد نیاز یک دانشمند داده!

▪️براساس تحلیل بیش از 300 فرصت شغلی دانشمندان علم‌داده در سال 2019 به ترتیب زبان‌های برنامه‌نویسی پایتون، R و SQL همچنان در رتبه‌های اول قرار دارند.

▪️از نکات قابل توجه در فرصت‌های شغلی متخصصین علم‌داده، رشد مهارت‌ها و تخصص‌های مرتبط با Big Data و پلتفرم‌های هدوپ و اسپارک می‌باشد. این میزان از 17 درصد در سال 2015 به 59 درصد در سال 2018 رسیده است.

▪️در میان فریم‌ورک‌های یادگیری عمیق نیز فریم‌ورک‌های تنسورفلو، Keras و Pytorch دارای بیشترین فراخوانی در آگهی‌های متخصیین علم‌داده بوده‌اند.

▪️از میان کتابخانه‌های تحلیلی زبان برنامه‌نویسی پایتون به ترتیب کتابخانه‌های Scikit Learn, Pandas و Numpy بیشتر مورد توجه بوده‌ است.

پی‌نوشت:
پایش مستمر فرصت‌های شغلی مرتبط با حوزه فعالیت کاری یکی از مولفه‌های موثر در جهت یادگیری و توسعه هدفمند ابزارها و مفاهیم نوین است.

@DataAnalysis

با سلام و احترام

پیرو برگزاری دوره‌های َآموزشی هدفمند در حوزه‌های مرتبط با علم‌داده و تحلیل‌داده، در صورتی که علاقه‌مند به شرکت در دوره‌های تخصصی مرتبط هستید خواهشمنداست نسبت به پر کردن فرم نظرسنجی زیر اقدام نمایید.

https://forms.gle/z9Axy4nFyp1QVKdK7

@DataAnalysis

معرفی کتاب An Introduction to Statistical Learning

http://tiny.cc/xzs1bz

کتاب An Introduction to Statistical Learning یکی از بهترین کتاب‌های تخصصی در آموزش مفاهیم تحلیل‌های آماری و یادگیری ماشین است که توسط انتشارات Springer انتشار یافته است. آموزش طیف وسیعی از الگوریتم‌ها، متدهای آماری و مدل‌های خطی با ذکر مثال‌های متعدد از ویژگی‌های بارز این کتاب است.

سرفصل‌های ده‌گانه این کتاب به شرح زیر است. قابل ذکر است که پیاده‌سازی موجود در این کتاب به زبان برنامه‌نویسی R می‌باشد.

▪️Introduction

▪️Statistical Learning

▪️Linear Regression

▪️Classification

▪️Resampling Methods

▪️Linear Model Selection and Regularization

▪️Moving Beyond Linearity

▪️Tree-Based Methods

▪️Support Vector Machines

▪️Unsupervised Learning

مطالعه این کتاب ارزشمند را به تمامی علاقه‌مندان حوزه علم‌داده که قصد در تقویت پایه‌های علوم آماری خود را دارند توصیه میکنم.

ارادتمند
محمدرضا محتاط

@DataAnalysis

کتاب An Introduction to Statistical Learning

@DataAnalysis

ارزيابي بلوغ قابلیت‌های تحليلي و كلان داده سازمان!

http://tiny.cc/cca7bz

زبدگی در فناوری‌های تحول‌آفرین تحليل داده و قابلیت‌های تحليلي مبتني بر كلان داده يكي از گام‌های كليدي در افزايش اثربخشي در فرايندهاي کسب‌وکار، بهینه‌سازی و اخذ تصميمات داده محور در جهت دستیابی به اهداف راهبردي و استراتژيك سازمان‌ها و خلق تجربه دیجیتال مشتریان می‌باشد.

جهت ارزيابي بلوغ قابلیت‌های تحليل داده و كلان داده بعضاً مدل‌های متنوعي مطرح‌شده است كه تنها در سطوح کاملاً فني سطح بلوغ سازمان را موردبررسی قرار می‌دهد. این در حالی است که در حوزه ارزیابی بلوغ تحلیل داده و کلان‌داده مدلی بهینه‌ خواهد بود که همزمان معیارها و مؤلفه‌های فني و مديريتي سازمان را موردبررسی و ارزيابي قرار دهد.

مولفه‌های همانند کسب‌وکار داده‌محور، رهبري، تكنولوژي، داده‌ها، اهداف و راهبردها، تيم تخصصي تحليل داده سازمان و... از مولفه‌های کلیدی‌ هستند که جهت ارزیابی بلوغ می‌بایست به آنها توجه شود و درنهایت راهكارهايي در جهت برطرف سازي خلأها و مشكلات موجود ارائه گردد.

در واقع سازمان‌های پیشرو امروزی، با سرمایه‌گذاری بهینه در فناوری‌های تحلیل داده و کلان‌داده، از آن‌ها برای ایجاد منابع جدید درآمدی و همچنین تحلیل داده‌های تولیدشده، باهدف بهبود فرایندها، خلق تجربه‌هایی خوشایند و منحصربه‌فرد برای مشتریان، بهره می‌گیرند.

لازم هست به سؤال زیر بیش از گذشته فکر نمایید!

ميزان بلوغ شركت شما در حوزه تحليل داده و بیگ‌دیتا و بهره‌برداری از فرصت‌های متنوع این حوزه چه ميزان می‌باشد؟!

ارادتمند
محمدرضا محتاط

@DataAnalysis

برترین کتابخانه‌های یادگیری ماشین!

در ادامه برترین کتابخانه‌های یادگیری ماشین زبان‌های برنامه‌نویسی پایتون و R براساس میزان استفاده در پروژه‌های علم‌داده ذکر گردیده است.

1- Scikit Learn

2- Tensorflow

3- Keras

4- randomForest

5- Xgboost

6- PyTorch

7- Caret

8- Lightgbm

9- Spark MLlib

10- H2O

پی‌نوشت:
جهت مطالعه جزئیات گزارش فوق می‌توانید از طریق لینک زیر اقدام نمایید.
http://tiny.cc/0v5ccz

@DataAnalysis

السلام علیک یا اباعبدالله الحسین(ع)

فرارسیدن ایام تاسوعا و عاشورای حسینی، ایام ایثار، رشادت‌ها و مظلومیت خاندان رسالت بر شیعیان آن حضرت تسلیت باد.

داده‌های کثیف؛ چالشی‌ترین مشکل تیم‌های علم داده!

http://tiny.cc/s49rcz

تشکیل تیم‌های تخصصی علم‌داده در سازمان‌ها علاوه بر جذابیت‌هایی همانند کسب بینش ناشی از تحلیل‌های داده‌محور، ارتقا تجربه مشتریان، بهبود فرایندها و... دارای چالش‌هایی نیز هست که در صورت عدم مدیریت آن، مشکلات متعددی در پروژه‌ها و مدیریت تیم‌های علم‌داده ایجاد میکند.

در ادامه برخی از مهمترین چالش‌های سازمانی دپارتمان‌های علم داده براساس نظرسنجی موسسه Business Broadway از 10 هزار متخصص این حوزه ذکر می‌شود.

1- وجود داده‌های کثیف(Dirty Data)

2- خلا وجود متخصصین و استعدادهای کافی علم‌داده در سازمان

3- عدم وجود سیاست‌ها و فرهنگ سازمانی داده‌محور

4- پیچیدگی یا عدم دسترسی به اطلاعات و داده‌های مورد نیاز

5- قابل استفاده نبودن نتایج پروژه‌های تحلیل‌داده در تصمیمات کسب‌وکار

6- توضیح کاربردها و کارکردهای علم‌داده به سایر واحدها و افراد سازمان

7- مشکلات حریم‌ خصوصی

8- عدم همکاری و تعامل متخصصین کسب و کار با متخصصین علم‌داده

9- عدم دسترسی به منابع کافی جهت تشکیل تیم علم‌داده در شرکت‌های کوچک

10- استفاده از ابزارها و زبان‌های ‌برنامه‌نویسی متعدد (پایتون،R، جاوا و...) توسط متخصصین علم‌داده

11- محدودیت‌ ابزارهای تحلیل‌داده

پی‌نوشت:
موارد فوق تنها بخشی از چالش‌های تیم‌های علم داده در سازمان‌هاست که با بهره‌گیری از متدها و روش‌های اصولی امکان مدیریت این مشکلات وجود دارد. مواردی همچون تدوین استراتژی‌های تحلیل داده، استقرار متدولوژی‌های حکمرانی داده و مدیریت داده و... نمونه‌ای از این راهکارها خواهد بود.
در انتها این نکته قابل ذکر است که برخی از شرکت‌ها و سازمان‌ها در تلاش هستند تا تمامی این چالش‌ها به صورت گام به گام و براساس دانش تیم‌های موجود برطرف گردد. این رویکرد سبب افزایش زمان پاسخگویی به مشکلات و به طبع کاهش اثربخشی تیم‌های علم داده خود میشود. بهره‌گیری از تجربیات مشاوران متخصص می‌تواند در این مسیر بسیار راه‌گشا باشد.

ارادتمند
محمدرضا محتاط

@DataAnalysis

برترین مهارت‌های فعلی و آتی متخصصین علم‌داده!

http://tiny.cc/9kt6cz

به‌تازگی توسط وب‌سایت kdnuggets یک نظرسنجی از متخصصین علوم داده مبنی بر مهارت‌های فعلی (Have Skill) و مهارت‌های آتی (Want Skill) موردنیاز پرسیده شده است که با توجه به جامعیت نظرسنجی فوق می‌تواند راهنمایی مناسبی جهت تحلیل مهارت‌های موردنیاز بازار علم‌داده در آینده باشد.

✅ برترین مهارت‌های فعلی متخصصین علم‌داده:

1️⃣ پایتون (Python)

2️⃣ مصورسازی داده‌ها (Data Visualization)

3️⃣ تفکر انتقادی (Critical Thinking)

4️⃣ اکسل (Excel)

5️⃣ مهارت‌های ارتباطی (Communications Skills)

6️⃣ یادگیری ماشین (Machine Learning)

7️⃣ آمار (Statistics)

8️⃣ مهارت‌های پایگاه داده (SQL/Database Coding)

9️⃣ فهم کسب‌وکار (Business Understanding)

🔟 ریاضی (Math)

🔵 برترین مهارت‌های آتی (توسعه دانش) متخصصین علم‌داده:

1️⃣ یادگیری عمیق (Deep Learning)

2️⃣ کتابخانه یادگیری عمیق تنسورفلو (TensorFlow)

3️⃣ یادگیری ماشین (Machine Learning )

4️⃣ پایتون (Python)

5️⃣ آپاچی اسپارک (Apache Spark)

6️⃣ پردازش زبان طبیعی (NLP - Text Processing)

7️⃣ کتابخانه یادگیری عمیق پایتورچ (Pytorch)

8️⃣ آمار (Statistics)

9️⃣ داده‌های غیرساخت‌یافته (Unstructured Data)

🔟 سایر ابزارهای کلان داده (Other Big Data Tools)

پی‌نوشت:
◾️ افزایش میزان توجهات به کتابخانه یادگیری عمیق Pytorch، زبان Scala و ابزارهای Big Data با توجه به درصد رشد آن قابل‌توجه است.
◾️در میان زبان‌های برنامه‌نویسی، کسب رتبه نخست توسط زبان پایتون و کاهش جایگاه زبان‌های برنامه‌نویسی R و Matlab، این زبان برنامه‌نویسی را تبدیل به برترین زبان در حوزه علم‌داده کرده است.
◾️قرار گرفتن دو مهارت نرم (Soft Skill) تفکر انتقادی و مهارت‌های ارتباطی جز 5 مهارت برتر فعلی متخصصین علم‌داده نشان از میزان توجهات به این قبیل مهارت‌ها در این بازار کاری دارد.

ارادتمند
محمدرضا محتاط

@DataAnalysis

تکنولوژی‌های تاثیرگذار دهه آینده!

در شکل فوق برترین تکنولوژی‌های تاثیرگذار طی دهه آینده معرفی شده‌اند. حضور تکنولوژی‌های هوش مصنوعی، اینترنت اشیا، بلاک‌چین و کلان‌داده در رتبه‌های اول تا پنجم نشان از گسترش بازارکار این فیلدهای کاری طی سالیان آینده است.

طراحی استراتژی بهینه توسعه محصولات و خدمات مرتبط با این تکنولوژی‌های نوظهور سبب افزایش موفقیت شرکت‌ها و سازمان‌ها در مواجهه با رقبا خواهد شد.

@DataAnalysis

اجرا گرافیکی الگوریتم‌های شبکه‌ عصبی!

یکی از پیچیدگی‌های مدل‌های مبتنی بر شبکه‌های عصبی و یادگیری عمیق Black Box بودن نحوه مدل‌سازی و نتایج حاصل از این مدل‌های مبتنی بر یادگیری ماشین است.

در وب‌سایت زیر که توسط توسعه دهندگان کتابخانه یادگیری عمیق Tensorflow ایجاد شده است شما میتوانید به صورت گرافیکی مدل‌های شبکه‌ عصبی را برای مسائل طبقه‌بندی و رگرسیون ایجاد، بهینه‌سازی و تحلیل کنید. در این وبسایت امکان تغییر تعداد لایه‌ها و نرون‌های شبکه عصبی، انتخاب تابع‌های فعال‌سازی (Activation Function)، نرخ یادگیری (Learning Rate) و... وجود دارد.

آدرس وب‌سایت:
Playground.tensorflow.org

@DataAnalysis

معرفی کتاب Learning Pyspark

کتاب Learning Pyspark یکی از منابع آموزشی مفید جهت یادگیری پلتفرم پردازشی کلان‌داده اسپارک در زبان پایتون است. این کتاب برای تمامی توسعه دهندگان و تحلیلگران کلان‌داده که قصد یادگیری کار با پلتفرم Spark با زبان پایتون را دارند توصیه میشود. سرفصل‌های اصلی این کتاب به شرح زیر است.

Chapter 1: Understanding Spark

Chapter 2: Resilient Distributed Datasets

Chapter 3: DataFrames

Chapter 4: Prepare Data for Modeling

Chapter 5: Introducing MLlib

Chapter 6: Introducing the ML Package

Chapter 7: GraphFrames

Chapter 8: TensorFrames

Chapter 9: Polyglot Persistence with Blaze

Chapter 10: Structured Streaming

Chapter 11: Packaging Spark Applications

@DataAnalysis