محبوبترین کتابهای هوشمصنوعی سال 2019
https://pbs.twimg.com/media/D9yDCvNWsAIrfjT.jpg
براساس اعلام کمپانی آمازون به ترتیب کتابهای ذیل در حوزههای هوشمصنوعی، علمداده، یادگیری عمیق و.... جز محبوبترین و پرفروشترین کتابهای سال 2019 بودهاند. حضور بیش از 6 کتاب در حوزههای یادگیری عمیق و آمار جز نکات قابل توجه این لیست هست.
1- Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (لینک)
2- The Hundred-Page Machine Learning Book (+)
3- AI Superpowers: China, Silicon Valley, and the New World Order (+)
4- Deep Learning with Python (+)
5- Superintelligence: Paths, Dangers, Strategies (+)
6- An Introduction to Statistical Learning (+)
7- Deep Learning (Adaptive Computation and Machine Learning series) (+)
8- Pattern Recognition and Machine Learning (Information Science and Statistics) (+)
9- Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (+)
10- The Elements of Statistical Learning (+)
جهت دانلود کتابهای فوق میتوانید از طریق وبسایت Libgen.is و یا سایر وبسایتهای مشابه اقدام نمایید.
لیست کامل برترین کتابهای سال 2019 حوزه هوشمصنوعی نیز در لینک زیر قرار داده شده است.
https://amzn.to/2YRE6Sj
@DataAnalysis
https://pbs.twimg.com/media/D9yDCvNWsAIrfjT.jpg
براساس اعلام کمپانی آمازون به ترتیب کتابهای ذیل در حوزههای هوشمصنوعی، علمداده، یادگیری عمیق و.... جز محبوبترین و پرفروشترین کتابهای سال 2019 بودهاند. حضور بیش از 6 کتاب در حوزههای یادگیری عمیق و آمار جز نکات قابل توجه این لیست هست.
1- Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (لینک)
2- The Hundred-Page Machine Learning Book (+)
3- AI Superpowers: China, Silicon Valley, and the New World Order (+)
4- Deep Learning with Python (+)
5- Superintelligence: Paths, Dangers, Strategies (+)
6- An Introduction to Statistical Learning (+)
7- Deep Learning (Adaptive Computation and Machine Learning series) (+)
8- Pattern Recognition and Machine Learning (Information Science and Statistics) (+)
9- Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (+)
10- The Elements of Statistical Learning (+)
جهت دانلود کتابهای فوق میتوانید از طریق وبسایت Libgen.is و یا سایر وبسایتهای مشابه اقدام نمایید.
لیست کامل برترین کتابهای سال 2019 حوزه هوشمصنوعی نیز در لینک زیر قرار داده شده است.
https://amzn.to/2YRE6Sj
@DataAnalysis
نقدی بر مسابقه دادهکاوی هوشمند به توان شناختی!
https://bit.ly/2Wj8vsM
بهتازگی توسط شرکت همآوا و ستاد توسعه علوم و فناوریهای شناختی یک مسابقه دادهکاوی با حمایتهای شرکتهای دیجیکالا، تپسی، دیوار و... در حال برگزاری هست. تبلیغات گسترده این رویداد توسط شرکتهای برگزارکننده و برخی دانشگاهها و پژوهشگاههای کشور سبب شد تا به صورت تخصصی بر روی این چالش و دادگان ارائهشده یک نقد و بررسی داشته باشیم.
🔘 نقد و بررسی دادگان مسابقه
یکی از تبلیغاتهای این چالش ارائه دادگان واقعی از شرکتهای مطرح به مخاطبان ایرانی در جهت حل مسائل کاربردی هست. بررسی تخصصی این دادهها متأسفانه نشان از بیکیفیت بودن آنها دارد. مجموع داده ارائهشده از چهار شرکت دیجیکالا، دیوار، تپسی، آزمایشگاه شبکههای اجتماعی دانشگاه تهران و شهرداری در مجموع 3 مگابایت است که شرکتکنندگان میبایست بر روی این حجم کوچک از دادگان دارای نویز که هیچگونه توضیحات تکمیلی از متغیرها و روابط جداول ندارند اقدام به تدوین پروپوزال تخصصی در حوزه دادهکاوی و علوم شناختی نمایند.
در ادامه برخی از مشکلات موجود در دادگان ارائهشده به صورت تکمیلی بیان میشود.
🔺بعنوان مثال از 10هزار نمونه داده شبکه اجتماعی تلگرام که توسط آزمایشگاه شبکههای اجتماعی دانشگاه تهران در این مسابقه ارائهشده است تنها 100 مورد پیام یکتا(منبع اصلی) وجود دارد و بیش از 9900 پیام به صورت کاملاً تکراری(بازنشری) ارائه شده است.
🔺دادگان ارائهشده توسط شرکت دیجیکالا نیز شامل یک هزار کامنت مشتریان بر روی محصولات این شرکت هست. دادگانی که بعضاً بیش از این تعداد توسط برخی از محققین و دانشجویان از سایت این شرکت جمعآوری و به صورت عمومی منتشرشده بود.
🔺دادگان ارائهشده توسط شرکت تپسی نیز شامل یک هزار تراکنش از اطلاعات رانندگان این شرکت در قبول یا عدم قبول سفرها است. عدم وجود توضیحات کافی از متغیرها و ویژگیهای ارائه شده سبب افزایش پیچیدگی و ناکارآمدی این دیتاست شده است.
🔺شرکت دیوار نیز در حدود هزار آگهی تبلیغاتی سال 2017 این شرکت را در اختیار این مسابقه قرار داده است.
🔺یکی از دادگان قابل تامل در این مسابقه ارائه یک فایل PDF از شهرداری استان البرز پیرامون تحلیل و بررسی وضعیت فرهنگی اجتماعی جامعه ایران است. دادگانی که به بیش از مسائل دادهمحور در تحلیلهای کیفی قابلیت استفاده را دارد.
🔸یکی از درخواستهای متعدد برگزارکنندگان این چالش از شرکتکنندگان استفاده از دادههای سایر شرکتها و سازمانها در این مسابقه است. نکتهای که میتواند سبب تحت شعاع قرار دادن حریم خصوصی و حاکمیت داده برخی از شرکتها و سازمانهای داخلی شود.
🔘نقد و بررسی برنامهریزی مسابقه
از منظر برنامهریزی زمانی و مشخص بودن مسیر مسابقه، چالش فوق یکی از ضعیفترین مسابقات دادهکاوی چند سال اخیر است. تغییر زمان ارسال پروپوزالهای شرکتکنندگان در روز اول، مشخص نبودن زمان پایان چالش و... همگی از ابهاماتی هست که کیفیت این چالش را تحت شعاع قرار داده است.
در مقابل موارد فوق، عدم محدود کردن تیمها در انتخاب موضوع مسابقه و حضور اساتید برجسته در کمیته داوری از نکات مثبت این رویداد است.
با توجه به ظرفیتهای گسترده حوزه هوش شناختی در هوشمندی سازی مسائل کشور امیداست تا با طی یک برنامهریزی هدفمند در جهت گسترش این دانش در سطوح آکادمیک و صنعت گام برداشته شود.
پینوشت:
جهت بررسی دادگان و جزئیات مسابقه میتوانید با مراجعه به آدرس زیر نمونه دادهها را دانلود و بررسی نمایید.
hamava.ir/cdm
@DataAnalysis
https://bit.ly/2Wj8vsM
بهتازگی توسط شرکت همآوا و ستاد توسعه علوم و فناوریهای شناختی یک مسابقه دادهکاوی با حمایتهای شرکتهای دیجیکالا، تپسی، دیوار و... در حال برگزاری هست. تبلیغات گسترده این رویداد توسط شرکتهای برگزارکننده و برخی دانشگاهها و پژوهشگاههای کشور سبب شد تا به صورت تخصصی بر روی این چالش و دادگان ارائهشده یک نقد و بررسی داشته باشیم.
🔘 نقد و بررسی دادگان مسابقه
یکی از تبلیغاتهای این چالش ارائه دادگان واقعی از شرکتهای مطرح به مخاطبان ایرانی در جهت حل مسائل کاربردی هست. بررسی تخصصی این دادهها متأسفانه نشان از بیکیفیت بودن آنها دارد. مجموع داده ارائهشده از چهار شرکت دیجیکالا، دیوار، تپسی، آزمایشگاه شبکههای اجتماعی دانشگاه تهران و شهرداری در مجموع 3 مگابایت است که شرکتکنندگان میبایست بر روی این حجم کوچک از دادگان دارای نویز که هیچگونه توضیحات تکمیلی از متغیرها و روابط جداول ندارند اقدام به تدوین پروپوزال تخصصی در حوزه دادهکاوی و علوم شناختی نمایند.
در ادامه برخی از مشکلات موجود در دادگان ارائهشده به صورت تکمیلی بیان میشود.
🔺بعنوان مثال از 10هزار نمونه داده شبکه اجتماعی تلگرام که توسط آزمایشگاه شبکههای اجتماعی دانشگاه تهران در این مسابقه ارائهشده است تنها 100 مورد پیام یکتا(منبع اصلی) وجود دارد و بیش از 9900 پیام به صورت کاملاً تکراری(بازنشری) ارائه شده است.
🔺دادگان ارائهشده توسط شرکت دیجیکالا نیز شامل یک هزار کامنت مشتریان بر روی محصولات این شرکت هست. دادگانی که بعضاً بیش از این تعداد توسط برخی از محققین و دانشجویان از سایت این شرکت جمعآوری و به صورت عمومی منتشرشده بود.
🔺دادگان ارائهشده توسط شرکت تپسی نیز شامل یک هزار تراکنش از اطلاعات رانندگان این شرکت در قبول یا عدم قبول سفرها است. عدم وجود توضیحات کافی از متغیرها و ویژگیهای ارائه شده سبب افزایش پیچیدگی و ناکارآمدی این دیتاست شده است.
🔺شرکت دیوار نیز در حدود هزار آگهی تبلیغاتی سال 2017 این شرکت را در اختیار این مسابقه قرار داده است.
🔺یکی از دادگان قابل تامل در این مسابقه ارائه یک فایل PDF از شهرداری استان البرز پیرامون تحلیل و بررسی وضعیت فرهنگی اجتماعی جامعه ایران است. دادگانی که به بیش از مسائل دادهمحور در تحلیلهای کیفی قابلیت استفاده را دارد.
🔸یکی از درخواستهای متعدد برگزارکنندگان این چالش از شرکتکنندگان استفاده از دادههای سایر شرکتها و سازمانها در این مسابقه است. نکتهای که میتواند سبب تحت شعاع قرار دادن حریم خصوصی و حاکمیت داده برخی از شرکتها و سازمانهای داخلی شود.
🔘نقد و بررسی برنامهریزی مسابقه
از منظر برنامهریزی زمانی و مشخص بودن مسیر مسابقه، چالش فوق یکی از ضعیفترین مسابقات دادهکاوی چند سال اخیر است. تغییر زمان ارسال پروپوزالهای شرکتکنندگان در روز اول، مشخص نبودن زمان پایان چالش و... همگی از ابهاماتی هست که کیفیت این چالش را تحت شعاع قرار داده است.
در مقابل موارد فوق، عدم محدود کردن تیمها در انتخاب موضوع مسابقه و حضور اساتید برجسته در کمیته داوری از نکات مثبت این رویداد است.
با توجه به ظرفیتهای گسترده حوزه هوش شناختی در هوشمندی سازی مسائل کشور امیداست تا با طی یک برنامهریزی هدفمند در جهت گسترش این دانش در سطوح آکادمیک و صنعت گام برداشته شود.
پینوشت:
جهت بررسی دادگان و جزئیات مسابقه میتوانید با مراجعه به آدرس زیر نمونه دادهها را دانلود و بررسی نمایید.
hamava.ir/cdm
@DataAnalysis
برترین ابزارهای پروژههای Big Data
https://bit.ly/2WyHWjq
انتخاب پلتفرم و ابزارهای مدیریت پروژههای Big Data همواره یکی از چالشهای تیمهای فنی در جهت مدیریت بهینه این قبیل پروژهها هست. انتخاب نادرست معماری و ابزارهای این حوزه در لایههای زیرساخت، پایگاه دادههای غیر رابطهای، تحلیل و... میتواند سبب افزایش پیچیدگی و کاهش کارایی سیستمهای نرمافزاری تولیدی شود.
لایه زیرساخت کلان داده:
جهت راهاندازی زیرساخت کلان داده در پلتفرمهای Hadoop و اسپارک، پلتفرمهایی توسط کمپانیهای کلودرا، Hortonworks و MapR در لایههای سازمانی، دانشجویی و... توسعه داده شدهاند. با انتخاب پکیجهای این شرکتها میتوانید بدون درگیرشدن با پیچیدگیهای نصب و راهاندازی، به پلتفرم کلان داده هدوپ و اسپارک دسترسی پیدا کنید. امکان نصب و راهاندازی مستقیم هدوپ از طریق نسخه متنباز Apache هم وجود دارد که در برخی از پروژههای حساس این مسیر توصیه میشود.
لایه پایگاه داده:
یکی از مهمترین گامهای یک پروژه کلان داده استفاده از پایگاه دادههای بهینه در جهت مدیریت حجم و تنوع دادههای ورودی به سیستم است. در میان مطرحترین پایگاه دادههای غیررابطهای(NoSQL) پایگاه دادههای MongoDB، کاساندرا، Redis، Hbase و... وجود دارد که انتخاب هر یک از آنها به نوع فرمت دادهها و نحوه ذخیرهسازی آنان بستگی دارد. قابلذکر هست که پایگاه دادههای غیر رابطهای بهصورت کلی در چهار دسته سندگرا (Document Store)، کلید-مقدار (Key-Value Store)، ستونمحور (Column Family Store) و گرافی (Graph Based) دستهبندی میشوند.
لایه پردازش و تحلیل:
در این لایه براساس نیازمندیهای تحلیلی و پردازشی کسبوکار اقدام به اجرای مدلهای تحلیلی دستهای (Batch) و بلادرنگ (Real Time) در سطوح هوشتجاری، یادگیری ماشین و... میشود. در این لایه نیز ابزارها و پلتفرمهای تحلیلی مختلفی وجود دارد. پلتفرم پردازشی اسپارک، ابزارهای کمپانیهای Vertica و Teradata، پلتفرم تحلیل کمپانی SAP با نام HANA و... از مطرحترین ابزارهای تحلیل کلان داده هستند.
در انتها این نکته قابل ذکر هست که انتخاب ابزار و پلتفرم پروژههای Big Data کاملا بنا به هر پروژه میتواند کاملا متفاوت باشد. ارائه یک پلتفرم و راهکار برای تمامی مسائل جز یکی از خطاهای رایج شرکتهای فعال در این بازار میباشد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2WyHWjq
انتخاب پلتفرم و ابزارهای مدیریت پروژههای Big Data همواره یکی از چالشهای تیمهای فنی در جهت مدیریت بهینه این قبیل پروژهها هست. انتخاب نادرست معماری و ابزارهای این حوزه در لایههای زیرساخت، پایگاه دادههای غیر رابطهای، تحلیل و... میتواند سبب افزایش پیچیدگی و کاهش کارایی سیستمهای نرمافزاری تولیدی شود.
لایه زیرساخت کلان داده:
جهت راهاندازی زیرساخت کلان داده در پلتفرمهای Hadoop و اسپارک، پلتفرمهایی توسط کمپانیهای کلودرا، Hortonworks و MapR در لایههای سازمانی، دانشجویی و... توسعه داده شدهاند. با انتخاب پکیجهای این شرکتها میتوانید بدون درگیرشدن با پیچیدگیهای نصب و راهاندازی، به پلتفرم کلان داده هدوپ و اسپارک دسترسی پیدا کنید. امکان نصب و راهاندازی مستقیم هدوپ از طریق نسخه متنباز Apache هم وجود دارد که در برخی از پروژههای حساس این مسیر توصیه میشود.
لایه پایگاه داده:
یکی از مهمترین گامهای یک پروژه کلان داده استفاده از پایگاه دادههای بهینه در جهت مدیریت حجم و تنوع دادههای ورودی به سیستم است. در میان مطرحترین پایگاه دادههای غیررابطهای(NoSQL) پایگاه دادههای MongoDB، کاساندرا، Redis، Hbase و... وجود دارد که انتخاب هر یک از آنها به نوع فرمت دادهها و نحوه ذخیرهسازی آنان بستگی دارد. قابلذکر هست که پایگاه دادههای غیر رابطهای بهصورت کلی در چهار دسته سندگرا (Document Store)، کلید-مقدار (Key-Value Store)، ستونمحور (Column Family Store) و گرافی (Graph Based) دستهبندی میشوند.
لایه پردازش و تحلیل:
در این لایه براساس نیازمندیهای تحلیلی و پردازشی کسبوکار اقدام به اجرای مدلهای تحلیلی دستهای (Batch) و بلادرنگ (Real Time) در سطوح هوشتجاری، یادگیری ماشین و... میشود. در این لایه نیز ابزارها و پلتفرمهای تحلیلی مختلفی وجود دارد. پلتفرم پردازشی اسپارک، ابزارهای کمپانیهای Vertica و Teradata، پلتفرم تحلیل کمپانی SAP با نام HANA و... از مطرحترین ابزارهای تحلیل کلان داده هستند.
در انتها این نکته قابل ذکر هست که انتخاب ابزار و پلتفرم پروژههای Big Data کاملا بنا به هر پروژه میتواند کاملا متفاوت باشد. ارائه یک پلتفرم و راهکار برای تمامی مسائل جز یکی از خطاهای رایج شرکتهای فعال در این بازار میباشد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
برترین مهارتهای یک متخصص علمداده!
در تصویر فوق برترین مهارتها و ابزارهای تخصصی علمداده در بازار کار ایران معرفی شده است. کسب تخصص در زبانهای برنامهنویسی پایتون، R و SQL به همراه آشنایی با ابزارهای مطرح دادهکاوی، اکسل، داشبوردهای هوش تجاری و... سبب موفقیت در این بازار کاری خواهد شد.
در بخش دوم نیز برترین کتابخانههای تحلیلی زبان پایتون در حوزههای یادگیری ماشین، یادگیری عمیق و... نیز معرفی شده است.
پینوشت:
جهت دسترسی به فایل کامل ارایه بنده پیرامون مهارتهای دادهای در عصر دیجیتال که مهارتهای مورد نیاز در حوزههای علمداده، هوش تجاری، کلانداده و مهندسی داده را پوشش میدهد میتوانید از طریق لینک زیر اقدام نمایید.
https://news.1rj.ru/str/dataanalysis/956
@DataAnalysis
در تصویر فوق برترین مهارتها و ابزارهای تخصصی علمداده در بازار کار ایران معرفی شده است. کسب تخصص در زبانهای برنامهنویسی پایتون، R و SQL به همراه آشنایی با ابزارهای مطرح دادهکاوی، اکسل، داشبوردهای هوش تجاری و... سبب موفقیت در این بازار کاری خواهد شد.
در بخش دوم نیز برترین کتابخانههای تحلیلی زبان پایتون در حوزههای یادگیری ماشین، یادگیری عمیق و... نیز معرفی شده است.
پینوشت:
جهت دسترسی به فایل کامل ارایه بنده پیرامون مهارتهای دادهای در عصر دیجیتال که مهارتهای مورد نیاز در حوزههای علمداده، هوش تجاری، کلانداده و مهندسی داده را پوشش میدهد میتوانید از طریق لینک زیر اقدام نمایید.
https://news.1rj.ru/str/dataanalysis/956
@DataAnalysis
گزارش MicroStrategy پیرامون آخرین روندهای سازمانی تحلیلداده!
در این گزارش موسسه MicroStrategy آخرین روندها و چالشهای سازمانهای فعال در حوزه تحلیل بیان شده است. در ادامه برخی از نتایج این گزارش ذکر شده است.
✔️بیش از 94 درصد از سازمانها، دادهها و تحلیل داده را بعنوان یکی از ارزشمندترین منابع جهت رشد کسب و کار بیان نمودهاند.
✔️افزایش کارایی و اثربخشی محصولات، تصمیمگیری سریعتر و ارتقا شاخصهای مالی و... جز برترین مزایا بهرهگیری از متدهای تحلیلی بیان شده است.
✔️مشکلات حریم خصوصی، محدودیت در اجرا مدلهای تحلیلی و خلا وجود متخصصین واقعی جز برترین چالشهای سازمانهای فعال در حوزه تحلیل داده است.
✔️ بیش از 65 درصد از سازمانها سرمایهگذاری خود در حوزه تحلیل را برای سال آتی افزایش دادهاند.
✔️ در حال حاضر بیش از 58 درصد از سازمانها نقشی تحت عنوان CDO یا مدیر ارشد داده داشته اند.
مطالعه این گزارش ارزشمند را به تمامی مدیران و متخصصین علمداده توصیه مینمایم.
@DataAnalysis
در این گزارش موسسه MicroStrategy آخرین روندها و چالشهای سازمانهای فعال در حوزه تحلیل بیان شده است. در ادامه برخی از نتایج این گزارش ذکر شده است.
✔️بیش از 94 درصد از سازمانها، دادهها و تحلیل داده را بعنوان یکی از ارزشمندترین منابع جهت رشد کسب و کار بیان نمودهاند.
✔️افزایش کارایی و اثربخشی محصولات، تصمیمگیری سریعتر و ارتقا شاخصهای مالی و... جز برترین مزایا بهرهگیری از متدهای تحلیلی بیان شده است.
✔️مشکلات حریم خصوصی، محدودیت در اجرا مدلهای تحلیلی و خلا وجود متخصصین واقعی جز برترین چالشهای سازمانهای فعال در حوزه تحلیل داده است.
✔️ بیش از 65 درصد از سازمانها سرمایهگذاری خود در حوزه تحلیل را برای سال آتی افزایش دادهاند.
✔️ در حال حاضر بیش از 58 درصد از سازمانها نقشی تحت عنوان CDO یا مدیر ارشد داده داشته اند.
مطالعه این گزارش ارزشمند را به تمامی مدیران و متخصصین علمداده توصیه مینمایم.
@DataAnalysis
در کدام یک از صنعتهای زیر به صورت تخصصی در حال فعالیت هستید؟
Anonymous Poll
37%
فناوری اطلاعات و ارتباطات (ICT)
7%
بانکداری
5%
سلامت
6%
انرژی(نفت، گاز، آب و برق)
3%
رسانه
9%
بازارهای مالی
4%
ساخت و تولید صنعتی
14%
آموزش و تحقیقات
16%
سایر
تکنولوژیهای تاثیرگذار در صنعت فینتک!
https://bit.ly/2XFry1f
فینتک یا فناوریهای مالی به صنعتی از دنیای اقتصاد اشاره دارد که سعی دارد با استفاده از تکنولوژی و راهکارهای نوین خدمات مالی را کارآمدتر و سهلتر کند. در حالت کلی استارتاپهای فینتک آنهایی هستند که در حوزه مالی فعالیت و راهکارهای نوآورانهای دارند.
اگر در صنعت فینتک فعالیت دارید توجه به فناوریهای نوین زیر میتواند در موفقیت شما بسیار حائز اهمیت باشد.
▪️هوش مصنوعی (Artifitial Intelligence)
▪️یادگیری ماشین (Machine Learning)
▪️بلاکچین (Blockchain)
▪️رمزارز (Crypto Currency)
▪️شبکههای اجتماعی (Social Media)
@DataAnalysis
https://bit.ly/2XFry1f
فینتک یا فناوریهای مالی به صنعتی از دنیای اقتصاد اشاره دارد که سعی دارد با استفاده از تکنولوژی و راهکارهای نوین خدمات مالی را کارآمدتر و سهلتر کند. در حالت کلی استارتاپهای فینتک آنهایی هستند که در حوزه مالی فعالیت و راهکارهای نوآورانهای دارند.
اگر در صنعت فینتک فعالیت دارید توجه به فناوریهای نوین زیر میتواند در موفقیت شما بسیار حائز اهمیت باشد.
▪️هوش مصنوعی (Artifitial Intelligence)
▪️یادگیری ماشین (Machine Learning)
▪️بلاکچین (Blockchain)
▪️رمزارز (Crypto Currency)
▪️شبکههای اجتماعی (Social Media)
@DataAnalysis
برترین کتابخانههای تخصصی پایتون در علمداده!
https://bit.ly/35HHyme
همواره یکی از چالشهای متخصصین علمداده انتخاب پلتفرم و کتابخانههای تحلیلی جهت پیادهسازی پروژهها بوده است. در ادامه برترین کتابخانههای زبان برنامهنویسی پایتون به تفکیک در حوزههای تحلیلداده، یادگیری ماشین، یادگیری عمیق و... معرفی شده است. قابل ذکر است که کتابخانههای برتر در هر دسته با علامت مشکی و Bold درج شدهاند.
🔹کتابخانههای تحلیلداده:
▪️Pandas
▪️Numpy
▫️SciPy
▫️StatsModels
🔹کتابخانههای یادگیری ماشین:
▪️Scikit Learn
▫️PyBrain
▫️XGBoost
▫️Eli5
🔹کتابخانههای پردازش زبان طبیعی:
▪️NLTK
▪️Hazm
▫️Gensim
▫️SpaCy
▫️fastText
🔹کتابخانههای مصورسازی:
▪️Matplotlib
▫️Bokeh
▫️Seaborn
▫️Plotly
🔹کتابخانههای یادگیری عمیق:
▪️Keras
▪️Tensorflow
▫️Theano
▫️Pytorch
🔹کتابخانههای تحلیل گراف:
▪️NetworkX
▫️igraph
▫️graph-tool
🔹کتابخانههای جمعآوری داده(خزشگر):
▪️Scrapy
▪️Urllib
▫️Selenium
▫️Requests
▫️Beautiful Soup
▫️lxml
🔹کتابخانههای پردازش تصویر:
▪️Scikit-image
▪️OpenCV
▫️Pillow
پینوشت:
جهت یادگیری هر از این کتابخانهها دورههای آموزشی، کتابها و Toturialهای تخصصی بسیاری در اینترنت وجود دارد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/35HHyme
همواره یکی از چالشهای متخصصین علمداده انتخاب پلتفرم و کتابخانههای تحلیلی جهت پیادهسازی پروژهها بوده است. در ادامه برترین کتابخانههای زبان برنامهنویسی پایتون به تفکیک در حوزههای تحلیلداده، یادگیری ماشین، یادگیری عمیق و... معرفی شده است. قابل ذکر است که کتابخانههای برتر در هر دسته با علامت مشکی و Bold درج شدهاند.
🔹کتابخانههای تحلیلداده:
▪️Pandas
▪️Numpy
▫️SciPy
▫️StatsModels
🔹کتابخانههای یادگیری ماشین:
▪️Scikit Learn
▫️PyBrain
▫️XGBoost
▫️Eli5
🔹کتابخانههای پردازش زبان طبیعی:
▪️NLTK
▪️Hazm
▫️Gensim
▫️SpaCy
▫️fastText
🔹کتابخانههای مصورسازی:
▪️Matplotlib
▫️Bokeh
▫️Seaborn
▫️Plotly
🔹کتابخانههای یادگیری عمیق:
▪️Keras
▪️Tensorflow
▫️Theano
▫️Pytorch
🔹کتابخانههای تحلیل گراف:
▪️NetworkX
▫️igraph
▫️graph-tool
🔹کتابخانههای جمعآوری داده(خزشگر):
▪️Scrapy
▪️Urllib
▫️Selenium
▫️Requests
▫️Beautiful Soup
▫️lxml
🔹کتابخانههای پردازش تصویر:
▪️Scikit-image
▪️OpenCV
▫️Pillow
پینوشت:
جهت یادگیری هر از این کتابخانهها دورههای آموزشی، کتابها و Toturialهای تخصصی بسیاری در اینترنت وجود دارد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
برترین مهارتهای مدیر ارشد علمداده!
https://bit.ly/33DaXfV
متخصص ارشد علمداده در سازمانها بعنوان مدیر تیمهای علومداده فعالیت میکند که از منظر حقوق دریافتی درآمدی به مراتب بیشتری نسبت به افراد Junior و Senior دارند. در ادامه برترین مهارتها و دانشهای لازم جهت فعالیت بعنوان یک مدیر ارشد علمداده معرفی میشود.
▪️دانش تخصصی در مفاهیم آمار، یادگیری ماشین، یادگیری عمیق و هوشمصنوعی
▪️مهارتهای برنامهنویسی در زبانهای پایتون، R یا جاوا
▪️دانش در ابزارهای تخصصی Big Data همانند Sqoop, Hive, Hadoop, Spark و...
▪️مهارت کار با ابزارهای مدیریت پایگاههای داده رابطهای و NoSQL
▪️تخصص در ابزارهای مصورسازی اطلاعات همانند Tableau, Power BI
▪️دانش در ابزارهای تخصصی دادهکاوی همانند Knime, RapidMiner
▪️دانش Linux
▪️آشنایی با متدولوژیهای مدیریت پروژه چابک همانند Scrum, Dev/Ops
▪️مهارتهای ارتباطی، خلاقیت، حلمسئله و تفکر انتقادی
▪️دانش تخصصی کسبوکار
▪️مهارتهای مدیریت و رهبری
پینوشت:
هر چه از سطوح کارشناسی به سطوح مدیریتی علمداده حرکت شود لزوم کسب مهارتهای نرم (Soft Skills) در کنار تجربه بیشتر در پروژههای متنوع ارزشمندتر میشود. لذا به همراه کسب دانشهای تخصصی فنی نیاز هست به این قبیل مهارتها توجه ویژهای نمایید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/33DaXfV
متخصص ارشد علمداده در سازمانها بعنوان مدیر تیمهای علومداده فعالیت میکند که از منظر حقوق دریافتی درآمدی به مراتب بیشتری نسبت به افراد Junior و Senior دارند. در ادامه برترین مهارتها و دانشهای لازم جهت فعالیت بعنوان یک مدیر ارشد علمداده معرفی میشود.
▪️دانش تخصصی در مفاهیم آمار، یادگیری ماشین، یادگیری عمیق و هوشمصنوعی
▪️مهارتهای برنامهنویسی در زبانهای پایتون، R یا جاوا
▪️دانش در ابزارهای تخصصی Big Data همانند Sqoop, Hive, Hadoop, Spark و...
▪️مهارت کار با ابزارهای مدیریت پایگاههای داده رابطهای و NoSQL
▪️تخصص در ابزارهای مصورسازی اطلاعات همانند Tableau, Power BI
▪️دانش در ابزارهای تخصصی دادهکاوی همانند Knime, RapidMiner
▪️دانش Linux
▪️آشنایی با متدولوژیهای مدیریت پروژه چابک همانند Scrum, Dev/Ops
▪️مهارتهای ارتباطی، خلاقیت، حلمسئله و تفکر انتقادی
▪️دانش تخصصی کسبوکار
▪️مهارتهای مدیریت و رهبری
پینوشت:
هر چه از سطوح کارشناسی به سطوح مدیریتی علمداده حرکت شود لزوم کسب مهارتهای نرم (Soft Skills) در کنار تجربه بیشتر در پروژههای متنوع ارزشمندتر میشود. لذا به همراه کسب دانشهای تخصصی فنی نیاز هست به این قبیل مهارتها توجه ویژهای نمایید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
برگزاری جلسه کارگره Big data سازمان نظام صنفی رایانهای
در جلسه فوق که به میزبانی شرکت زیرساخت امن خدمات تراکنشی برگزار گردید جایگاههای شغلی استاندارد در حوزه Big data مورد بررسی قرار گرفت. امری که در فرهنگسازی و مدیریت هزینه پروژههای کلانداده حایز اهمیت است.
در تلاش هستیم تا در سال آتی در طرح مشاغل و تعرفههای مالی سازمان نظام صنفی رایانهای به صورت ویژه جایگاههای شغلی حوزه Big data را قرار دهیم.
@DataAnalysis
در جلسه فوق که به میزبانی شرکت زیرساخت امن خدمات تراکنشی برگزار گردید جایگاههای شغلی استاندارد در حوزه Big data مورد بررسی قرار گرفت. امری که در فرهنگسازی و مدیریت هزینه پروژههای کلانداده حایز اهمیت است.
در تلاش هستیم تا در سال آتی در طرح مشاغل و تعرفههای مالی سازمان نظام صنفی رایانهای به صورت ویژه جایگاههای شغلی حوزه Big data را قرار دهیم.
@DataAnalysis
برترین مهارتهای فناورانه سال 2020
https://bit.ly/2OYnC8T
براساس گزارش موسسه Udemy که در حوزه برگزاری دورههای آموزشی آنلاین در سطح بینالمللی فعالیت دارد به تفکیک محبوبترین و پررشدترین ابزارها و تکنولوژیهای سال 2020 براساس تحلیل مخاطبین این موسسه به شرح ذیل است.
محبوبترین ابزارها و تکنولوژیها:
▪️Python
▪️React (Web)
▪️Angular
▪️Docker
▪️Django
▪️CompTIA
▪️Amazon AWS
▪️Deep Learning
▪️React Native (Mobile)
برترین تکنولوژیها با بیشترین رشد تقاضا:
▪️Tensorflow
▪️ChatBot
▪️Microsoft Azure
▪️OpenCV
▪️Neural Network
▪️Lpic-Linux
▪️Blockchain
▪️Splunk
▪️QGIS
▪️Kotline
پینوشت:
حضور بیش از 6 ابزار و مفاهیم تخصصی حوزههای علمداده و یادگیری عمیق بعنوان محبوبترین و پررشدترین تکنولوژیهای سال 2020 از نکات قابل توجه این گزارش است. امری که نشان از جایگاه ویژه مشاغل مرتبط با علمداده در سال آتی خواهد شد.
@DataAnalysis
https://bit.ly/2OYnC8T
براساس گزارش موسسه Udemy که در حوزه برگزاری دورههای آموزشی آنلاین در سطح بینالمللی فعالیت دارد به تفکیک محبوبترین و پررشدترین ابزارها و تکنولوژیهای سال 2020 براساس تحلیل مخاطبین این موسسه به شرح ذیل است.
محبوبترین ابزارها و تکنولوژیها:
▪️Python
▪️React (Web)
▪️Angular
▪️Docker
▪️Django
▪️CompTIA
▪️Amazon AWS
▪️Deep Learning
▪️React Native (Mobile)
برترین تکنولوژیها با بیشترین رشد تقاضا:
▪️Tensorflow
▪️ChatBot
▪️Microsoft Azure
▪️OpenCV
▪️Neural Network
▪️Lpic-Linux
▪️Blockchain
▪️Splunk
▪️QGIS
▪️Kotline
پینوشت:
حضور بیش از 6 ابزار و مفاهیم تخصصی حوزههای علمداده و یادگیری عمیق بعنوان محبوبترین و پررشدترین تکنولوژیهای سال 2020 از نکات قابل توجه این گزارش است. امری که نشان از جایگاه ویژه مشاغل مرتبط با علمداده در سال آتی خواهد شد.
@DataAnalysis
معرفی ابزارها و کتابخانههای یادگیری ماشین!
در شکل فوق ابزارها و کتابخانههای تخصصی یادگیری ماشین به تفکیک نوع کاربرد معرفی شده است. جهت مطالعه جزئیات هریک از این ابزارها میتواند مستند ذیل را دانلود نمایید.
لینک دانلود گزارش:
https://bit.ly/36lxHCU
@DataAnalysis
در شکل فوق ابزارها و کتابخانههای تخصصی یادگیری ماشین به تفکیک نوع کاربرد معرفی شده است. جهت مطالعه جزئیات هریک از این ابزارها میتواند مستند ذیل را دانلود نمایید.
لینک دانلود گزارش:
https://bit.ly/36lxHCU
@DataAnalysis
فرصت شغلی کارشناس پایگاه داده شرکت تجارت الکترونیک امن موج!
شرکت تجارت الکترونیک امن موج برای یکی از پروژه های ملی خود نیاز به کارشناس پایگاه داده با تواناییهای زیر دارد:
▪️تسلط کامل به مهارتهای طراحی و پیادهسازی پایگاه داده
▪️تسلط کامل به فرآیندهای Backup/Restore پایگاه داده
▪️تسلط کامل به job های SQL Server Agent
▪️سلط به SSIS
▪️تسلط به query نویسی SQL/Tsql در سطح پیشرفته
▪️تسلط کامل به MS SQL Profiler
▪️تسلط به Tuning پایگاه داده MS SQL Server در محیط هایی با تعداد کاربر زیاد از جمله مدیریت index ها، تنظیمات پایگاه داده و طراحی پایگاه داده
▪️تسلط به ابزارهای مانیتورینگ پایگاه داده
▪️آشنایی با نصب (Install)، پیکربندی (Configure)، ارتقا (Upgrade) و مدیریت پایگاه داده MS SQL Server در محیط هایStand alone و Clustered
▪️آشنایی با Failover Clustering در محیط Windows server
آشنایی عمومی با مفاهیم پایگاه داده های OLAP و SQL Server Analysis Services امتیاز محسوب می شود.
▪️مسلط به Git
آدرس ایمیل برای ارسال رزومه و یا کسب اطلاعات بیشتر:
hrm@amnmoj.com
@DataAnalysis
شرکت تجارت الکترونیک امن موج برای یکی از پروژه های ملی خود نیاز به کارشناس پایگاه داده با تواناییهای زیر دارد:
▪️تسلط کامل به مهارتهای طراحی و پیادهسازی پایگاه داده
▪️تسلط کامل به فرآیندهای Backup/Restore پایگاه داده
▪️تسلط کامل به job های SQL Server Agent
▪️سلط به SSIS
▪️تسلط به query نویسی SQL/Tsql در سطح پیشرفته
▪️تسلط کامل به MS SQL Profiler
▪️تسلط به Tuning پایگاه داده MS SQL Server در محیط هایی با تعداد کاربر زیاد از جمله مدیریت index ها، تنظیمات پایگاه داده و طراحی پایگاه داده
▪️تسلط به ابزارهای مانیتورینگ پایگاه داده
▪️آشنایی با نصب (Install)، پیکربندی (Configure)، ارتقا (Upgrade) و مدیریت پایگاه داده MS SQL Server در محیط هایStand alone و Clustered
▪️آشنایی با Failover Clustering در محیط Windows server
آشنایی عمومی با مفاهیم پایگاه داده های OLAP و SQL Server Analysis Services امتیاز محسوب می شود.
▪️مسلط به Git
آدرس ایمیل برای ارسال رزومه و یا کسب اطلاعات بیشتر:
hrm@amnmoj.com
@DataAnalysis
برترین مشاغل سال 2019 ایالات متحده آمریکا!
https://bit.ly/35kezF4
براساس آخرین گزارس وبسایت Indeed، مشاغل زیر براساس میانگین درآمد جز برترین مشاغل سال 2019 ایالات متحده آمریکا انتخاب شدهاند. حضور 3 شغل مرتبط با حوزههای علمداده و هوشمصنوعی در میان 4 شغل برتر از نکات قابل توجه این گزارش است.
برترین مشاغل براساس میانگین درآمد:
▪️مربی چابکسازی
▪️مهندس بینایی ماشین
▪️مهندس یادگیری ماشین
▪️متخصص علمداده
▪️طراح ارشد محصول
▪️مشاور ارشد مالی
▪️متخصص ارشد زنجیره تامین
▪️برنامه نویس Full Stack
پینوشت:
قابل ذکر است که براساس همین گزارش شغل مهندس یادگیری ماشین برترین شغل از منظر میزان رشد تقاضا در مقایسه با تمامی مشاغل بوده است.
@DataAnalysis
https://bit.ly/35kezF4
براساس آخرین گزارس وبسایت Indeed، مشاغل زیر براساس میانگین درآمد جز برترین مشاغل سال 2019 ایالات متحده آمریکا انتخاب شدهاند. حضور 3 شغل مرتبط با حوزههای علمداده و هوشمصنوعی در میان 4 شغل برتر از نکات قابل توجه این گزارش است.
برترین مشاغل براساس میانگین درآمد:
▪️مربی چابکسازی
▪️مهندس بینایی ماشین
▪️مهندس یادگیری ماشین
▪️متخصص علمداده
▪️طراح ارشد محصول
▪️مشاور ارشد مالی
▪️متخصص ارشد زنجیره تامین
▪️برنامه نویس Full Stack
پینوشت:
قابل ذکر است که براساس همین گزارش شغل مهندس یادگیری ماشین برترین شغل از منظر میزان رشد تقاضا در مقایسه با تمامی مشاغل بوده است.
@DataAnalysis
کتاب استراتژیهای کلانداده برای کسبوکارهای چابک!
https://bit.ly/2tGbIZd
کتاب Big Data Strategies for Agile Business یکی از کتابهای مرجع در حوزه تدوین استراتژیهای کلانداده است. توجه همزمان به ملزومات فنی و مدیریتی تدوین استراتژیهای کلانداده از نکات قابل توجه این کتاب است. مطالعه کتاب فوق رو به تمامی مدیران کسبوکارهای دادهمحور، متخصصین ارشد علمداده و... پیشنهاد مینمایم.
سرفصلهای کتاب:
▪️Introduction to BIG Data and Agile Business
▪️Big Data Framework for Agile Business (BDFAB)
▪️Data Science / Analytics, Context, and Strategies
▪️Business Process Modeling (BPM), Agile Practices, and Big Data Adoption Process
▪️Enterprise Architecture and the Big Data Technical Ecosystem
▪️Social Mobile (SoMo), Presentation, and User Experience in Big Data
▪️Cloud-Based Big Data Strategies, Sustainability, Analytics-as-a-Service
▪️Big Data, Semantic Web, and Collaborative Business Process Engineering (CBPE).
▪️NoSQL Databases and Big Data Strategies
▪️Quality and Service Assurance, Testing, and Governance - Risk - Compliance (GRC) within Big Data
▪️Big Data People and Communities
▪️Functioning Agile Organization with Big Data Adoption
▪️Big Data and Banking: A-Bank Case Study
▪️Big Data and Health
▪️Big Data and Education
@DataAnalysis
https://bit.ly/2tGbIZd
کتاب Big Data Strategies for Agile Business یکی از کتابهای مرجع در حوزه تدوین استراتژیهای کلانداده است. توجه همزمان به ملزومات فنی و مدیریتی تدوین استراتژیهای کلانداده از نکات قابل توجه این کتاب است. مطالعه کتاب فوق رو به تمامی مدیران کسبوکارهای دادهمحور، متخصصین ارشد علمداده و... پیشنهاد مینمایم.
سرفصلهای کتاب:
▪️Introduction to BIG Data and Agile Business
▪️Big Data Framework for Agile Business (BDFAB)
▪️Data Science / Analytics, Context, and Strategies
▪️Business Process Modeling (BPM), Agile Practices, and Big Data Adoption Process
▪️Enterprise Architecture and the Big Data Technical Ecosystem
▪️Social Mobile (SoMo), Presentation, and User Experience in Big Data
▪️Cloud-Based Big Data Strategies, Sustainability, Analytics-as-a-Service
▪️Big Data, Semantic Web, and Collaborative Business Process Engineering (CBPE).
▪️NoSQL Databases and Big Data Strategies
▪️Quality and Service Assurance, Testing, and Governance - Risk - Compliance (GRC) within Big Data
▪️Big Data People and Communities
▪️Functioning Agile Organization with Big Data Adoption
▪️Big Data and Banking: A-Bank Case Study
▪️Big Data and Health
▪️Big Data and Education
@DataAnalysis
15 ابزار کاربردی علمداده جهت یادگیری در سال 2020
https://bit.ly/2EQ0FyO
انتخاب مسیر یادگیری درست براساس آخرین روندهای تکنولوژی و نیازهای بازار یکی از الزامات موفقیت در هر فیلدکاری هست. در ادامه برترین ابزارهای پیشنهادی جهت کسب موفقیت در فیلدکاری Data Science که توسط وبسایت springboard ارائه شده را معرفی میکنیم.
قابل ذکر است با توجه به تفاوت بازارکار ایران با سایر کشورها برخی از ابزارها با علامت * بعنوان جایگزین موارد پیشنهادی این سایت معرفی شدهاند.
زبان برنامهنویسی:
▪️Python
▪️R
ابزارهای یادگیری ماشین:
▪️Scikit Learn
▪️Weka
* در میان نرمافزارهای دادهکاوی در مقابل Weka پیشنهاد به یادگیری ابزارهایی همانند Knime, RapidMiner یا IBM Spss Modeler است.
فریمورکهای یادگیری عمیق:
▪️TensorFlow
▪️Keras
▪️Pythorch
ابزارهای تحلیل کلانداده:
▪️Apache Spark
▪️Hadoop MapReduce
* در حوزه تحلیل تحلیل کلانداده با توجه به وجود برخی محدویتهای پردازشی در معماری Map Reduce پیشنهاد استفاده از کتابخانههای تحلیلی Apache Spark هست.
کتابخانههای مصورسازی:
▪️Matplotlib
▪️Seaborn
*ابزارهای هوش تجاری
▪️Power BI
▪️Tableau
▪️Qlik
اجرای Interactive پروژههای علمداده:
▪️Jupyter Notebook
پینوشت:
◾️سوالات متعددی پیرامون نحوه یادگیری ابزارها پرسیده میشود. قطعا بهترین منابع یادگیری در هر یک از ابزارهای پیشنهادی شرکت در دورههای آنلاین برترین دانشگاههای جهان در وبسایتهای Lynda, Udemy, Edx, Coursera و... هست.
◾️اگر در زبان انگلیسی ضعیف هستید قبل از یادگیری هر ابزار پیشنهاد میکنم برروی کسب این مهارت توجه ویژه نمایید تا پس از یادگیری آن بتوانید در بروزترین دورهها و منابع آموزشی شرکت نمایید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2EQ0FyO
انتخاب مسیر یادگیری درست براساس آخرین روندهای تکنولوژی و نیازهای بازار یکی از الزامات موفقیت در هر فیلدکاری هست. در ادامه برترین ابزارهای پیشنهادی جهت کسب موفقیت در فیلدکاری Data Science که توسط وبسایت springboard ارائه شده را معرفی میکنیم.
قابل ذکر است با توجه به تفاوت بازارکار ایران با سایر کشورها برخی از ابزارها با علامت * بعنوان جایگزین موارد پیشنهادی این سایت معرفی شدهاند.
زبان برنامهنویسی:
▪️Python
▪️R
ابزارهای یادگیری ماشین:
▪️Scikit Learn
▪️Weka
* در میان نرمافزارهای دادهکاوی در مقابل Weka پیشنهاد به یادگیری ابزارهایی همانند Knime, RapidMiner یا IBM Spss Modeler است.
فریمورکهای یادگیری عمیق:
▪️TensorFlow
▪️Keras
▪️Pythorch
ابزارهای تحلیل کلانداده:
▪️Apache Spark
▪️Hadoop MapReduce
* در حوزه تحلیل تحلیل کلانداده با توجه به وجود برخی محدویتهای پردازشی در معماری Map Reduce پیشنهاد استفاده از کتابخانههای تحلیلی Apache Spark هست.
کتابخانههای مصورسازی:
▪️Matplotlib
▪️Seaborn
*ابزارهای هوش تجاری
▪️Power BI
▪️Tableau
▪️Qlik
اجرای Interactive پروژههای علمداده:
▪️Jupyter Notebook
پینوشت:
◾️سوالات متعددی پیرامون نحوه یادگیری ابزارها پرسیده میشود. قطعا بهترین منابع یادگیری در هر یک از ابزارهای پیشنهادی شرکت در دورههای آنلاین برترین دانشگاههای جهان در وبسایتهای Lynda, Udemy, Edx, Coursera و... هست.
◾️اگر در زبان انگلیسی ضعیف هستید قبل از یادگیری هر ابزار پیشنهاد میکنم برروی کسب این مهارت توجه ویژه نمایید تا پس از یادگیری آن بتوانید در بروزترین دورهها و منابع آموزشی شرکت نمایید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
در کدام یک از پلتفرمها و ابزارهای هوش تجاری (BI) تخصص دارید یا در حال استفاده از آن هستید؟!
Anonymous Poll
46%
Microsoft Power BI
16%
Tableau
6%
Qlik
7%
Oracle BI
2%
SAP
2%
IBM Cognos
4%
SAS
18%
Others