Data Science – Telegram
Data Science
7.47K subscribers
754 photos
49 videos
85 files
451 links
ارتباط با ادمین:
@Datascience
Download Telegram
معرفی کتاب Learning Pyspark

کتاب Learning Pyspark یکی از منابع آموزشی مفید جهت یادگیری پلتفرم پردازشی کلان‌داده اسپارک در زبان پایتون است. این کتاب برای تمامی توسعه دهندگان و تحلیلگران کلان‌داده که قصد یادگیری کار با پلتفرم Spark با زبان پایتون را دارند توصیه میشود. سرفصل‌های اصلی این کتاب به شرح زیر است.

Chapter 1: Understanding Spark

Chapter 2: Resilient Distributed Datasets

Chapter 3: DataFrames

Chapter 4: Prepare Data for Modeling

Chapter 5: Introducing MLlib

Chapter 6: Introducing the ML Package

Chapter 7: GraphFrames

Chapter 8: TensorFrames

Chapter 9: Polyglot Persistence with Blaze

Chapter 10: Structured Streaming

Chapter 11: Packaging Spark Applications

@DataAnalysis
Learning PySpark.pdf
7.5 MB
کتاب Learning PySpark

@DataAnalysis
کاربردهای زبان برنامه‌نویسی پایتون!

به تازگی توسط IEEE Spectrum زبان برنامه‌نویسی پایتون براساس مولفه‌های میزان تقاضا، رشد، محبوبیت و... بعنوان برترین زبان برنامه‌نویسی سال 2019 انتخاب شده است. این زبان برنامه‌نویسی در حال حاضر در حوزه‌های مرتبط با علم‌داده، تحلیل کلان‌داده و... نیز جز برترین زبان‌های برنامه‌نویسی است.

زبان پایتون علاوه بر حوزه تحلیل‌داده در سایر فیلدهای مرتبط با فناوری اطلاعات و مهندسی نرم‌افزار نیز دارای قابلیت‌های متعددی است. در شکل فوق کاربردهای اصلی زبان پایتون به همراه کتابخانه‌های مطرح آن معرفی شده است.

@DataAnalysis
برترین دوره‌های آنلاین آموزش یادگیری عمیق!

http://tiny.cc/d0zsdz

یادگیری عمیق با توجه به قابلیت‌ها و کاربردهای متنوعی که در حوزه‌های پردازش تصویر، پردازش زبان طبیعی و... دارد در حال تبدیل شدن به یکی از مهارت‌های کلیدی یک متخصص علم‌داده است. در ادامه برخی از مطرح‌ترین دوره آنلاین یادگیری عمیق معرفی میشوند.

1- دوره یادگیری عمیق پرفسور Andrew Ng در سایت Coursera

2- دوره یادگیری عمیق شرکت IBM در سایت EDX

3- مدرسه هوش مصنوعی موسسه Udacity

4- دوره یادگیری عمیق دانشگاه MIT

5- دوره یادگیری عمیق با پایتون Datacamp

6- دوره یادگیری عمیق از صفر تا صد موسسه Udemy

7- دوره فارسی یادگیری عمیق دانشگاه استنفورد

شرکت در دوره‌های آنلاین فوق و مطالعه کتب مرجع یکی از بهترین راه‌های کسب تخصص در این حوزه و سایر فیلدهای کاری است. امری که تنها نیازمند آشنایی با زبان انگلیسی خواهد بود.

پی‌نوشت:
علاوه بر موارد فوق در وبسایت ویرگول یک مسیر پیشنهادی جهت تبدیل شدن به یک متخصص یادگیری عمیق تدوین شده است که می‌تواند برای علاقه‌مندان این حوزه مفید باشد.
https://dataio.ir/deep-learning-aetdp4cfynrj

ارادتمند
محمدرضا محتاط
@DataAnalysis
👍1
فرصت شغلی متخصص علم‌داده در شرکت Quiz Of Kings

🔹تجربیات مورد نیاز:
1. Designing and Building a Data Stack
2. Experience with BI and its tools

🔸مهارت‌های فنی:
1. Programming Skills
2. Hadoop Platform
3. SQL Database/Coding
4. Apache Spark
5. MapReduce
6. Data Visualization (Tableau)
7. Unstructured data (Dark Analytics)
8. Machine Learning and AI (FP.Growth,Apriori ,ECLAT,k-means,SVM,KNN)

🔻مهارت‌های نرم:
1. Intellectual curiosity
2. Communication skills
3. Teamwork
4. Business acumen
(a solid understanding of industry , being able to discern which problems are important to solve for the business )

-Preferred Education: BSc or Masters on:
mathematics
Statistics
Computer Science

Please send us CV to: hr@qok.us

@DataAnalysis
پرکاربردترین تکنیک‌های آماری در علم‌داده!

http://tiny.cc/amm3dz

یادگیری تخصصی تکنیک‌ها و الگوریتم‌های آماری همواره یکی از چالش‌های متخصصین علم‌داده است. در ادامه 10 تکنیک پرکاربرد آمار در پروژه‌های علم‌داده و داده‌کاوی معرفی می‌شوند.

1- رگرسیون خطی (Linear Regression)

2- الگوریتم‌های طبقه‌بندی (Classification)

3- نمونه‌سازی (Resampling)

4- کاهش بعد (Dimension Reduction)

5- مدل‌های غیرخطی (Nonlinear Models)

6- الگوریتم‌های بدون نظارت (Unsupervised Learning)

7- الگوریتم ماشین پشتیبان بردار (SVM)

8- متدهای انتخاب زیرمجموعه (Subset Selection)

9- مدل‌های مبتنی بر درخت (Tree-Based Methods)

10- روش Shrinkage

در شکل زیر به تفکیک، متدها و الگوریتم‌های مورد نیاز در هر دسته عنوان شده است. آموزش هدفمند در هر یک از این موارد در گسترش دانش آماری علاقه‌مندان می‌تواند بسیار مفید باشد.

پی‌نوشت:
در لینک زیر نیز یک جزوه تخصصی از مباحث آماری در یادگیری ماشین به زبان انگلیسی در 47 صفحه قابل دانلود است.
https://gwthomas.github.io/docs/math4ml.pdf

ارادتمند
محمدرضا محتاط
@DataAnalysis
فرصت‌های شغلی مهندس و تحلیلگر داده‌های عظیم

شرکت عصر فناوری دانش (سهامی خاص) فعال در زمينه تولید نرم‌افزارهای هوش تجاری برای تکمیل نیروی‌های خود از افراد ذيل دعوت بعمل می آورد:

۱- یک نفر کارشناس مهندس داده‌های عظیم با مشخصات ذیل:
- مسلط بر توسعه سیستم‌های نرم‌افزاری در پلتفرم‌های هدوپ و اسپارک
- مسلط بر مدیریت و طراحی پایگاه‌داده‌های NoSQL
- مسلط بر ابزارهای Data Ingestion همانند kafka

۲- یک‌نفر کارشناس تحلیل داده‌های عظیم با مشخصات زیر:
- آشنا به الگوریتم‌های مختلف یادگیری ماشین
- مسلط بر زبان برنامه نویسی پایتون
- آشنا به کتابخانه یادگیری ماشین Spark
- آشنا با فریم‌ورک‌های یادگیری عمیق مزیت محسوب میشود

از متقاضيان درخواست می شود رزومه خود را به نشانی maboodian@kte.ir ارسال فرمایید.

@DataAnalysis
مجموعه مقالات علم‌داده برای مدیران کسب‌وکار!

http://tiny.cc/o6weez

گذر به عصر داده‌ها سبب تغییر گسترده جایگاه مدیران کسب‌وکارها شده است. مدیرانی که با چالش‌ طراحی استراتژی تحلیل داده، مدیریت دپارتمان تحلیل‌داده، جذب متخصصین علم‌داده، تصمیم‌گیری داده‌محور و... مواجه هستند. در ادامه 7 مقاله انتشار یافته در وب‌سایت ویرگول که با رویکرد مدیریتی فنی در حوزه علم‌داده تدوین شده قرار گرفته است.

1- اشتباهات رایج شرکت‌ها در جذب تحلیل‌گران داده
http://vrgl.ir/5Gd0n

2- پروژه‌های کلیدی حوزه علم‌داده در کسب‌وکار
http://vrgl.ir/K940c

3- نقشه راه تدوین استراتژی‌های کلان داده
http://vrgl.ir/z06SP

4- معماری استقرار قابلیت‌های تحلیلی در سازمان‌ها
http://vrgl.ir/RoG0E

5- تشکیل تیم و دپارتمان علم‌داده در سازمان
http://vrgl.ir/AvctF

6- تبدیل‌شدن به یک سازمان داده‌محور
http://vrgl.ir/o2ksn

7- نقش علم‌داده در بهبود فرایندهای کسب‌وکار
http://vrgl.ir/w5YVd

@DataAnalysis
ارزیابی رزومه‌های کاری متخصصین علم‌داده!

https://bit.ly/35UUDtl

رزومه کاری یکی از مهمترین مواردی است که در هنگام استخدام مورد توجه قرار می‌گیرد. در حقیقت سریع‌ترین راه برای محروم شدن از یک فرصت شغلی، ارسال رزومه ناقص است.

یکی از مشکلات رایج کارشناسان و متخصصین علم‌داده عدم طراحی روزمه ‌کاری حرفه‌ای جهت اخذ فرصت‌های شغلی این حوزه هست. مشکلاتی که فارغ از میزان توانمندی فنی سبب حذف این افراد قبل از مصاحبه حضوری شرکت‌ها میشود.

مشکلاتی از قبیل کلی‌گویی، ذکر اطلاعات متناقض و اضافی، غلط‌های نگارشی، عدم ارسال رزومه اختصاصی برای کارفرما، توجه بیشتر به مدارک بجای سوابق کاری، توضیحات ناکافی، بصری‌سازی غیراستاندارد و... تنها برخی از مشکلات رایج در طراحی روزمه‌های کاری هست.

با توجه به تجربیات متعدد در مصاحبه و ارزیابی رزومه‌های کاری متخصصین حوزه‌های علم‌داده، کلان‌داده و هوش تجاری برای برخی از شرکت‌ها و سازمان‌ها، این فرصت برای مخاطبین کانال علم‌داده ایجاد شده است تا افرادی که علاقه‌مند هستند رزومه کاری خود را به آی‌دی @DataScience ارسال نمایند تا مشکلات و نواقص موجود در روزمه‌ کاریشان اعلام شود.
محبوب‌ترین کتاب‌های هوش‌مصنوعی سال 2019

https://pbs.twimg.com/media/D9yDCvNWsAIrfjT.jpg

براساس اعلام کمپانی آمازون به ترتیب کتاب‌های ذیل در حوزه‌های هوش‌مصنوعی، علم‌داده، یادگیری عمیق و.... جز محبوب‌ترین و پرفروش‌ترین کتاب‌های سال 2019 بوده‌اند. حضور بیش از 6 کتاب در حوزه‌های یادگیری عمیق و آمار جز نکات قابل توجه این لیست هست.

1- Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (لینک)

2- The Hundred-Page Machine Learning Book (
+)

3- AI Superpowers: China, Silicon Valley, and the New World Order (
+)

4- Deep Learning with Python (
+)

5- Superintelligence: Paths, Dangers, Strategies (
+)

6- An Introduction to Statistical Learning (
+)

7- Deep Learning (Adaptive Computation and Machine Learning series) (
+)

8- Pattern Recognition and Machine Learning (Information Science and Statistics) (
+)

9- Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (
+)

10- The Elements of Statistical Learning (
+)

جهت
دانلود کتاب‌های فوق می‌توانید از طریق وبسایت Libgen.is و یا سایر وبسایت‌های مشابه اقدام نمایید.
لیست کامل برترین کتاب‌های سال 2019 حوزه هوش‌مصنوعی نیز در لینک زیر قرار داده شده است.
https://amzn.to/2YRE6Sj

@DataAnalysis
نقدی بر مسابقه داده‌کاوی هوشمند به توان شناختی!

https://bit.ly/2Wj8vsM

به‌تازگی توسط شرکت هم‌آوا و ستاد توسعه علوم و فناوری‌های شناختی یک مسابقه‌ داده‌کاوی با حمایت‌های شرکت‌های دیجی‌کالا، تپسی، دیوار و... در حال برگزاری هست. تبلیغات گسترده این رویداد توسط شرکت‌های برگزارکننده و برخی دانشگاه‌ها و پژوهشگاه‌های کشور سبب شد تا به صورت تخصصی بر روی این چالش و دادگان ارائه‌شده یک نقد و بررسی داشته باشیم.

🔘 نقد و بررسی دادگان مسابقه
یکی از تبلیغات‌های این چالش ارائه دادگان واقعی از شرکت‌های مطرح به مخاطبان ایرانی در جهت حل مسائل کاربردی هست. بررسی تخصصی این داده‌ها متأسفانه نشان از بی‌کیفیت‌ بودن آن‌ها دارد. مجموع داده‌ ارائه‌شده از چهار شرکت دیجی‌کالا، دیوار، تپسی، آزمایشگاه شبکه‌های اجتماعی دانشگاه تهران و شهرداری در مجموع 3 مگابایت است که شرکت‌کنندگان می‌بایست بر روی این حجم کوچک از دادگان دارای نویز که هیچ‌گونه توضیحات تکمیلی از متغیرها و روابط جداول ندارند اقدام به تدوین پروپوزال تخصصی در حوزه داده‌کاوی و علوم شناختی نمایند.
در ادامه برخی از مشکلات موجود در دادگان ارائه‌شده به صورت تکمیلی بیان می‌شود.
🔺بعنوان مثال از 10هزار نمونه داده شبکه اجتماعی تلگرام که توسط آزمایشگاه شبکه‌های اجتماعی دانشگاه تهران در این مسابقه ارائه‌شده است تنها 100 مورد پیام یکتا(منبع اصلی) وجود دارد و بیش از 9900 پیام به صورت کاملاً تکراری(بازنشری) ارائه شده است.
🔺دادگان ارائه‌شده توسط شرکت دیجی‌کالا نیز شامل یک هزار کامنت مشتریان بر روی محصولات این شرکت هست. دادگانی که بعضاً بیش از این تعداد توسط برخی از محققین و دانشجویان از سایت این شرکت جمع‌آوری و به صورت عمومی منتشرشده بود.
🔺دادگان ارائه‌شده توسط شرکت تپسی نیز شامل یک هزار تراکنش از اطلاعات رانندگان این شرکت در قبول یا عدم قبول سفرها است. عدم وجود توضیحات کافی از متغیرها و ویژگی‌های ارائه شده سبب افزایش پیچیدگی و ناکارآمدی این دیتاست شده است.
🔺شرکت دیوار نیز در حدود هزار آگهی تبلیغاتی سال 2017 این شرکت را در اختیار این مسابقه قرار داده است.
🔺یکی از دادگان قابل تامل در این مسابقه ارائه یک فایل PDF از شهرداری استان البرز پیرامون تحلیل و بررسی وضعیت فرهنگی اجتماعی جامعه ایران است. دادگانی که به بیش از مسائل داده‌محور در تحلیل‌های کیفی قابلیت استفاده را دارد.
🔸یکی از درخواست‌های متعدد برگزارکنندگان این چالش از شرکت‌کنندگان استفاده از داده‌های سایر شرکت‌ها و سازمان‌ها در این مسابقه‌ است. نکته‌ای که می‌تواند سبب تحت شعاع قرار دادن حریم خصوصی و حاکمیت دا‌ده برخی از شرکت‌ها و سازمان‌های داخلی شود.

🔘نقد و بررسی برنامه‌ریزی مسابقه
از منظر برنامه‌ریزی زمانی و مشخص بودن مسیر مسابقه، چالش فوق یکی از ضعیف‌ترین مسابقات داده‌کاوی چند سال اخیر است. تغییر زمان ارسال پروپوزال‌های شرکت‌کنندگان در روز اول، مشخص نبودن زمان پایان چالش و... همگی از ابهاماتی هست که کیفیت این چالش را تحت شعاع قرار داده است.
در مقابل موارد فوق، عدم محدود کردن تیم‌ها در انتخاب موضوع مسابقه و حضور اساتید برجسته در کمیته داوری از نکات مثبت این رویداد است.

با توجه به ظرفیت‌های گسترده حوزه هوش شناختی در هوشمندی‌ سازی مسائل کشور امیداست تا با طی یک برنامه‌ریزی هدفمند در جهت گسترش این دانش در سطوح آکادمیک و صنعت گام برداشته شود.

پی‌نوشت:
جهت بررسی دادگان و جزئیات مسابقه می‌توانید با مراجعه به آدرس زیر نمونه‌ داده‌ها را دانلود و بررسی نمایید.
hamava.ir/cdm

@DataAnalysis
برترین ابزارهای پروژه‌های Big Data

https://bit.ly/2WyHWjq

انتخاب پلتفرم و ابزارهای مدیریت پروژه‌های Big Data همواره یکی از چالش‌های تیم‌های فنی در جهت مدیریت بهینه این قبیل پروژه‌ها هست. انتخاب نادرست معماری و ابزارهای این حوزه در لایه‌های زیرساخت، پایگاه داده‌های غیر رابطه‌ای، تحلیل و... می‌تواند سبب افزایش پیچیدگی و کاهش کارایی سیستم‌های نرم‌افزاری تولیدی شود.

لایه زیرساخت کلان داده:
جهت راه‌اندازی زیرساخت کلان داده در پلتفرم‌های Hadoop و اسپارک، پلتفرم‌هایی توسط کمپانی‌های کلودرا، Hortonworks و MapR در لایه‌های سازمانی، دانشجویی و... توسعه داده شده‌اند. با انتخاب پکیج‌های‌ این شرکت‌ها می‌توانید بدون درگیرشدن با پیچیدگی‌های نصب و راه‌اندازی، به پلتفرم‌ کلان داده هدوپ و اسپارک دسترسی پیدا کنید. امکان نصب و راه‌اندازی مستقیم هدوپ از طریق نسخه متن‌باز Apache هم وجود دارد که در برخی از پروژه‌های حساس این مسیر توصیه می‌شود.

لایه پایگاه داده:
یکی از مهم‌ترین گام‌های یک پروژه کلان داده استفاده از پایگاه داده‌های بهینه در جهت مدیریت حجم و تنوع داده‌های ورودی به سیستم است. در میان مطرح‌ترین پایگاه داده‌های غیررابطه‌ای(NoSQL) پایگاه داده‌های MongoDB، کاساندرا، Redis، Hbase و... وجود دارد که انتخاب هر یک از آن‌ها به نوع فرمت‌ داده‌ها و نحوه ذخیره‌سازی آنان بستگی دارد. قابل‌ذکر هست که پایگاه داده‌های غیر رابطه‌ای به‌صورت کلی در چهار دسته سندگرا (Document Store)، کلید-مقدار (Key-Value Store)، ستون‌محور (Column Family Store) و گرافی (Graph Based) دسته‌بندی می‌شوند.

لایه پردازش و تحلیل:
در این لایه براساس نیازمندی‌های تحلیلی و پردازشی کسب‌وکار اقدام به اجرای مدل‌های تحلیلی دسته‌ای (Batch) و بلادرنگ (Real Time) در سطوح هوش‌تجاری، یادگیری ماشین و... می‌شود. در این لایه نیز ابزارها و پلتفرم‌های تحلیلی مختلفی وجود دارد. پلتفرم پردازشی اسپارک، ابزارهای کمپانی‌های Vertica و Teradata، پلتفرم تحلیل کمپانی SAP با نام HANA و... از مطرح‌ترین ابزارهای تحلیل کلان داده هستند.

در انتها این نکته قابل ذکر هست که انتخاب ابزار و پلتفرم پروژه‌های Big Data کاملا بنا به هر پروژه می‌تواند کاملا متفاوت باشد. ارائه یک پلتفرم و راهکار برای تمامی مسائل جز یکی از خطاهای رایج شرکت‌های فعال در این بازار می‌باشد.

ارادتمند
محمدرضا محتاط
@DataAnalysis
برترین مهارت‌های یک متخصص علم‌داده!

در تصویر فوق برترین مهارت‌ها و ابزارهای تخصصی علم‌داده در بازار کار ایران معرفی شده است. کسب تخصص در زبان‌های برنامه‌نویسی پایتون، R و SQL به همراه آشنایی با ابزارهای مطرح داده‌کاوی، اکسل، داشبوردهای هوش تجاری و... سبب موفقیت در این بازار کاری خواهد شد.

در بخش دوم نیز برترین کتابخانه‌های تحلیلی زبان پایتون در حوزه‌های یادگیری ماشین، یادگیری عمیق و... نیز معرفی شده است.

پی‌نوشت:
جهت دسترسی به فایل کامل ارایه بنده پیرامون مهارت‌های داده‌ای در عصر دیجیتال که مهارت‌های مورد نیاز در حوزه‌های علم‌داده، هوش تجاری، کلان‌داده و مهندسی داده را پوشش می‌دهد می‌توانید از طریق لینک زیر اقدام نمایید.
https://news.1rj.ru/str/dataanalysis/956

@DataAnalysis
گزارش MicroStrategy پیرامون آخرین روندهای سازمانی تحلیل‌داده!

در این گزارش‌ موسسه MicroStrategy آخرین روندها و چالش‌های سازمان‌های فعال در حوزه تحلیل بیان شده است. در ادامه برخی از نتایج این گزارش ذکر شده است.

✔️بیش از 94 درصد از سازمان‌ها، داده‌ها و تحلیل داده را بعنوان یکی از ارزشمندترین منابع جهت رشد کسب و کار بیان نموده‌اند.

✔️افزایش کارایی و اثربخشی محصولات، تصمیم‌گیری سریعتر و ارتقا شاخص‌های مالی و... جز برترین مزایا بهره‌گیری از متدهای تحلیلی بیان شده است.

✔️مشکلات حریم خصوصی، محدودیت در اجرا مدل‌های تحلیلی و خلا وجود متخصصین واقعی جز برترین چالش‌های سازمان‌های فعال در حوزه تحلیل داده است.

✔️ بیش از 65 درصد از سازمان‌ها سرمایه‌گذاری خود در حوزه تحلیل را برای سال آتی افزایش داده‌اند.

✔️ در حال حاضر بیش از 58 درصد از سازمان‌ها نقشی تحت عنوان CDO یا مدیر ارشد داده داشته اند.

مطالعه این گزارش ارزشمند را به تمامی مدیران و متخصصین علم‌داده توصیه می‌نمایم.

@DataAnalysis
The 2020 Global State of Enterprise Analytics.pdf
4.3 MB
گزارش MicroStrategy پیرامون آخرین روندهای سازمانی تحلیل‌داده!

@DataAnalysis
تکنولوژی‌‌های تاثیرگذار در صنعت فین‌تک!

https://bit.ly/2XFry1f

فین‌تک یا فناوری‌های مالی به صنعتی از دنیای اقتصاد اشاره دارد که سعی دارد با استفاده از تکنولوژی و راهکارهای نوین خدمات مالی را کارآمدتر و سهل‌تر کند. در حالت کلی استارتاپ‌های فینتک آن‌هایی هستند که در حوزه مالی فعالیت و راهکارهای نوآورانه‌ای دارند.

اگر در صنعت فین‌تک فعالیت دارید توجه به فناوری‌های نوین زیر می‌تواند در موفقیت شما بسیار حائز اهمیت باشد.

▪️هوش مصنوعی (Artifitial Intelligence)

▪️یادگیری ماشین (Machine Learning)

▪️بلاک‌چین (Blockchain)

▪️رمزارز (Crypto Currency)

▪️شبکه‌های اجتماعی (Social Media)

@DataAnalysis
برترین کتابخانه‌های تخصصی پایتون در علم‌داده!

https://bit.ly/35HHyme

همواره یکی از چالش‌های متخصصین علم‌داده انتخاب پلتفرم و کتابخانه‌های تحلیلی جهت پیاده‌سازی پروژه‌ها بوده است. در ادامه برترین کتابخانه‌های زبان برنامه‌نویسی پایتون به تفکیک در حوزه‌های تحلیل‌داده، یادگیری ماشین، یادگیری عمیق و... معرفی شده است. قابل ذکر است که کتابخانه‌های برتر در هر دسته با علامت مشکی و Bold درج شده‌اند.

🔹کتابخانه‌های تحلیل‌داده:
▪️Pandas
▪️Numpy
▫️SciPy
▫️StatsModels

🔹کتابخانه‌های یادگیری ماشین:
▪️Scikit Learn
▫️PyBrain
▫️XGBoost
▫️Eli5

🔹کتابخانه‌های پردازش زبان طبیعی:
▪️NLTK
▪️Hazm
▫️Gensim
▫️SpaCy
▫️fastText

🔹کتابخانه‌های مصورسازی:
▪️Matplotlib
▫️Bokeh
▫️Seaborn
▫️Plotly

🔹کتابخانه‌های یادگیری عمیق:
▪️Keras
▪️Tensorflow
▫️Theano
▫️Pytorch

🔹کتابخانه‌های تحلیل گراف:
▪️NetworkX
▫️igraph
▫️graph-tool

🔹کتابخانه‌های جمع‌آوری داده(خزشگر):
▪️Scrapy
▪️Urllib
▫️Selenium
▫️Requests
▫️Beautiful Soup
▫️lxml

🔹کتابخانه‌های پردازش تصویر:
▪️Scikit-image
▪️OpenCV
▫️Pillow

پی‌نوشت:
جهت یادگیری هر از این کتابخانه‌ها دوره‌های آموزشی، کتاب‌ها و Toturialهای تخصصی بسیاری در اینترنت وجود دارد.

ارادتمند
محمدرضا محتاط

@DataAnalysis
برترین مهارت‌های مدیر ارشد علم‌داده!

https://bit.ly/33DaXfV

متخصص ارشد علم‌داده در سازمان‌ها بعنوان مدیر تیم‌های علوم‌داده فعالیت می‌کند که از منظر حقوق دریافتی درآمدی به مراتب بیشتری نسبت به افراد Junior و Senior دارند. در ادامه برترین مهارت‌ها و دانش‌های لازم جهت فعالیت بعنوان یک مدیر ارشد علم‌داده معرفی می‌شود.

▪️دانش تخصصی در مفاهیم آمار، یادگیری ماشین، یادگیری عمیق و هوش‌مصنوعی

▪️مهارت‌های برنامه‌نویسی در زبان‌های پایتون، R یا جاوا

▪️دانش در ابزارهای تخصصی Big Data همانند Sqoop, Hive, Hadoop, Spark و...

▪️مهارت‌ کار با ابزارهای مدیریت پایگاه‌های داده رابطه‌ای و NoSQL

▪️تخصص در ابزارهای مصورسازی اطلاعات همانند Tableau, Power BI

▪️دانش در ابزارهای تخصصی داده‌کاوی همانند Knime, RapidMiner

▪️دانش Linux

▪️آشنایی با متدولوژی‌های مدیریت پروژه چابک همانند ‌Scrum, Dev/Ops

▪️مهارت‌های ارتباطی، خلاقیت، حل‌مسئله و تفکر انتقادی

▪️دانش تخصصی کسب‌وکار

▪️مهارت‌های مدیریت و رهبری

پی‌نوشت:
هر چه از سطوح کارشناسی به سطوح مدیریتی علم‌داده حرکت شود لزوم کسب مهارت‌های نرم (Soft Skills) در کنار تجربه بیشتر در پروژه‌های متنوع ارزشمندتر می‌شود. لذا به همراه کسب دانش‌های تخصصی فنی نیاز هست به این قبیل مهارت‌ها توجه ویژه‌ای نمایید.

ارادتمند
محمدرضا محتاط

@DataAnalysis
برگزاری جلسه کارگره Big data سازمان نظام صنفی رایانه‌ای

در جلسه فوق که به میزبانی شرکت زیرساخت امن خدمات تراکنشی برگزار گردید جایگاه‌های شغلی استاندارد در حوزه Big data مورد بررسی قرار گرفت. امری که در فرهنگ‌سازی و مدیریت هزینه پروژه‌های کلان‌داده حایز اهمیت است.

در تلاش هستیم تا در سال آتی در طرح مشاغل و تعرفه‌های مالی سازمان نظام صنفی رایانه‌ای به صورت ویژه جایگاه‌های شغلی حوزه Big data را قرار دهیم.

@DataAnalysis
برترین مهارت‌های فناورانه سال 2020

https://bit.ly/2OYnC8T

براساس گزارش موسسه Udemy که در حوزه برگزاری دوره‌های آموزشی آنلاین در سطح بین‌المللی فعالیت دارد به تفکیک محبوب‌ترین و پررشدترین ابزارها و تکنولوژی‌های سال 2020 براساس تحلیل مخاطبین این موسسه به شرح ذیل است.

محبوب‌ترین ابزارها و تکنولوژی‌ها:
▪️Python
▪️React (Web)
▪️Angular
▪️Docker
▪️Django
▪️CompTIA
▪️Amazon AWS
▪️Deep Learning
▪️React Native (Mobile)

برترین تکنولوژی‌ها با بیشترین رشد تقاضا:
▪️Tensorflow
▪️ChatBot
▪️Microsoft Azure
▪️OpenCV
▪️Neural Network
▪️Lpic-Linux
▪️Blockchain
▪️Splunk
▪️QGIS
▪️Kotline

پی‌نوشت:
حضور بیش از 6 ابزار و مفاهیم تخصصی حوزه‌های علم‌داده و یادگیری عمیق بعنوان محبوب‌ترین و پررشدترین تکنولوژی‌های سال 2020 از نکات قابل توجه این گزارش است. امری که نشان از جایگاه ویژه مشاغل مرتبط با علم‌داده در سال آتی خواهد شد.

@DataAnalysis