20 سوالی که باید دانست

Explain what regularization is and why it is useful.
Which data scientists do you admire most? which startups?
How would you validate a model you created to generate a predictive model of a quantitative outcome variable using multiple regression.
Explain what precision and recall are. How do they relate to the ROC curve?
How can you prove that one improvement you've brought to an algorithm is really an improvement over not doing anything?
What is root cause analysis?
Are you familiar with pricing optimization, price elasticity, inventory management, competitive intelligence? Give examples.
What is statistical power?
Explain what resampling methods are and why they are useful. Also explain their limitations.
Is it better to have too many false positives, or too many false negatives? Explain.
What is selection bias, why is it important and how can you avoid it?
Give an example of how you would use experimental design to answer a question about user behavior.
What is the difference between "long" and "wide" format data?
What method do you use to determine whether the statistics published in an article (e.g. newspaper) are either wrong or presented to support the author's point of view, rather than correct, comprehensive factual information on a specific subject?
Explain Edward Tufte's concept of "chart junk."
How would you screen for outliers and what should you do if you find one?
How would you use either the extreme value theory, monte carlo simulations or mathematical statistics (or anything else) to correctly estimate the chance of a very rare event?
What is a recommendation engine? How does it work?
Explain what a false positive and a false negative are. Why is it important to differentiate these from each other?
Which tools do you use for visualization? What do you think of Tableau? R? SAS? (for graphs). How to efficiently represent 5 dimension in a chart (or in a video)?

کلیپی جالب درباره علوم داده
https://www.youtube.com/watch?v=3_1reLdh5xw

پردازش زبان های طبیعی (NLP)

پردازش زبان طبیعی چیست؟

در این زمینه، دو حیطه اصلی پژوهش وجود دارد: ادراک، که با فرایندهایی سر و کار دارد که اطلاعات را از زبان استخراج می‌کنند (مانند درک زبان طبیعی، بازیابی اطلاعات) و تولید، که با فرایندهایی سر و کار دارد که با استفاده از زبان به انتقال اطلاعات می‌پردازند. معمولاً کارهای مرتبط با گفتار را تحت عناوین جداگانه تشخیص گفتار و تولید گفتار قرار می‌دهند.

سطوح تحلیل زبانی:

آواشناسی/واج‌شناسی
ساختواژه(صرف)
نحو
معنی‌شناسی
کاربردشناسی
گفتمان

تکنیک‌های پردازش زبان طبیعی:

قطعه‌بندی و نرمال‌سازی متن
تحلیل ساختواژی
برچسب‌زنی جزء کلام
تجزیه یا پارس (تحلیل نحوی)
تحلیل معنایی
مدل‌سازی زبانی:یادگیری ماشین

کاربردهای پردازش زبان طبیعی:

درک زبان طبیعی
پردازش متون
بازیابی اطلاعات
ترجمۀ ماشینی:تولید متن
تصحیح املاء و دستور
بازشناسی گفتار:ساخت گفتار از روی متن
بازشناسی نویسه‌های نوری
سیستم‌های مکالمه گفتاری
سیستم‌های پرسش و پاسخ
ترجمه گفتار به گفتار

@BigDataTechnology

تحلیل داده وب :
Web Mining

اهداف تحلیل وب شامل :

بازیابی
استخراج
ارزیابی
اطلاعات خودکار اسناد و سرویس های وب برای کشف دانش مفید است.

تحلیل وب با چند زمینه تحقیقاتی از جمله پایگاه داده ، بازیابی اطلاعات و NLP  و متن کاوی مرتبط است.

با توجه به بخش های مختلف وب ، تحلیل آن به 3 زمینه مرتبط تقستم میشود :

Web Content Mining 
Web Structure Mining
Web Usage Mining

در ادامه در مورد هر یک بحث خواهیم کرد.

@BigDataTechnology

برخی از کاربردهای داده کاوی:

👈 تشخیص زودهنگام سرطان (در صنعت بهداشت و درمان)
👈 پیش بینی آب و هوا (در هواشناسی)
👈 پیش بینی خرابی دستگاه ها (در تعمیرات و نگهداری)
👈 پیش بینی زمان مرگ از یک بیماری خاص (در صنعت بهداشت و درمان)
👈 پیش بینی واکنش مشتریان به یک محصول جدید (در بازاریابی)
👈 رده بندی مشتریان بانک از نظر ریسک اعتباری (در صنعت بانکداری)
👈 تخمین قیمت نفت (در اقتصاد)
👈 پیش بینی پیروزی یا شکست یک تیم ورزشی (در صنعت ورزش)

@mfta_ir

مهارتهای لازم در حوزه های مختلف

Data Scientist Skills

شماره 65 ماهنامه بانکداری الکترونیک منتشر شد

شصت‌و پنجمین شماره ماهنامه «بانکداری الکترونیک» با دو موضوع محوری بازاریابی و داده‌کاوی منتشر شد.
در سرمقاله این شماره به لزوم تشکیل باشگاه فکری و کانون تصمیم‌سازی برای نظام بانکی پرداخته شده است.
شماره 65 ماهنامه بانکداری الکترونیک ویژه دی ماه سال جاری با مباحث مختلفی در حوزه داده‌کاوی، بازاریابی، بررسی فناوری اطلاعات در بانک‌ها و استارت‌آپ‌های مالی‌ توسط مرکز فابا منتشر شد.
در پرونده‌ای با موضوع داده‌کاوی، به کاربردهای آن در بانک پرداخته شده است. میزگردی با مدیران بانک ملی در این شماره به چشم می‌خورد که به چگونگی توسعه زیرساخت‌های فناورانه و مشکلات این حوزه در این بانک پرداخته است.
میزگردی نیز با موضوع تحقیقات بازاریابی در صنعت بانکداری با حضور استادان و متخصصان این حوزه در این شماره منتشر شده است.
گزارشی راجع به مسئله اخذ کارمزد از بانک‌های پذیرنده و مقالاتی درباره عوامل موفقیت بانکداری شرکتی در بازار آسیا، نگارش ریسک، مقایسه کارکردها و ساختار بانک‌های تجاری و سرمایه‌گذاری، معماری سرویس‌گرا و ایجاد تغییر در کسب‌و‌کارها از دیگر مطالب این شماره است.
همچنین معرفی چند استارت‌آپ حوزه بانکی نیز از مطالبی است که در این شماره از ماهنامه بانکداری الکترونیک منتشر شده است.
لازم به ذکر است، ماهنامه بانکداری الکترونیک همچون گذشته پذیرای مقالات دست اول و تازه مدیران، کارشناسان و نویسندگان است.
علاقه‌مندان برای دریافت نسخه چاپی این شماره می‌توانند با مرکز فابا(66499874- 021) تماس بگیرند.

تحلیل ارتباط های فیلم با زبان R
http://blog.revolutionanalytics.com/2016/01/analyzing-movie-connections-with-r.html?utm_content=buffera1536&utm_medium=social&utm_source=linkedin.com&utm_campaign=buffer

تحلیل ارتباط های فیلم با زبان R
http://blog.revolutionanalytics.com/2016/01/analyzing-movie-connections-with-r.html?utm_content=buffera1536&utm_medium=social&utm_source=linkedin.com&utm_campaign=buffer

معرفی ده زبان پرکاربرد در پروژه های Big Data

https://www.linkedin.com/pulse/top-10-languages-crunching-big-data-mohamadreza-mohtat?trk=prof-post

برترین کتابخانه های پایتون در آنالیز داده ها

https://www.linkedin.com/pulse/top-python-analytics-libraries-mohamadreza-mohtat?trk=mp-reader-card

برترین کتابخانه های یادگیری ماشین در زبان پایتون

https://www.linkedin.com/pulse/top-10-python-machine-learning-open-source-projects-mohtat?trk=mp-reader-card

Process mining bridges

✅ هشت پیش بینی و گرایش بیگ دیتا در سال ۲۰۱۶

۱- استفاده بیشتر از NoSQL
۲- استفاده از Apache Spark در بیگ دیتا
۳- تکامل پروژه Hadoop
۴- بیگ دیتا رشد خواهد کرد و Hadoop به استاندارد شرکت ها می افزاید.
۵- بیگ دیتا سریع تر خواهد شد : گزینه ها برای اضافه کردن به سرعت پردازش Hadoop افزایش می یابد.
۶- گزینه هایی برای آماده سازی کاربر نهایی برای کشف تمام اشکال رشد داده
۷- رشد پایگاه داده ها در ابر
۸- این واژه ها همگرا می شوند: اینترنت اشیا، ابر و بیگ دیتا

🌎: http://mfta.ir/data-science/id=12144

🆔: @mfta_ir

چرخه بلوغ فناوری های نو موسسه گارتنر

http://na1.www.gartner.com/imagesrv/newsroom/images/HC_ET_2014.jpg

مقایسه نرم افزارهای هوش تجاری از دیدگاه گارتنر

http://busitelce.com/images/14articles/2014-vs-2015-BI-magic-quadrant.jpg