معرفی برترین ابزارهای کرال 👇👇

http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/

معرفی الگوریتم های پیش بینی

Most popular Predictive Analytics, Data Mining, Data Science software

http://www.kdnuggets.com/wp-content/uploads/kdnuggets-2014-software-poll-word-cloud.jpg

مسیر انجام پروژه های داده کاوی!

مقایسه متدولوژی های مورد استفاده توسط کارشناسان داده کاوی و علم داده در پروژه کاربردی!

سایت datapool.ir برای دوستانی که نیاز به دیتا دارن میتونه مفید باشه.

فناوری های پوشیدنی و تحلیل پیشگویانه از مهمترین روندهای فناوری بهداشت خواهند بود

مراحل یک پروژه هوش تجاری!

Hadoop in BI

20 سوالی که باید دانست

Explain what regularization is and why it is useful.
Which data scientists do you admire most? which startups?
How would you validate a model you created to generate a predictive model of a quantitative outcome variable using multiple regression.
Explain what precision and recall are. How do they relate to the ROC curve?
How can you prove that one improvement you've brought to an algorithm is really an improvement over not doing anything?
What is root cause analysis?
Are you familiar with pricing optimization, price elasticity, inventory management, competitive intelligence? Give examples.
What is statistical power?
Explain what resampling methods are and why they are useful. Also explain their limitations.
Is it better to have too many false positives, or too many false negatives? Explain.
What is selection bias, why is it important and how can you avoid it?
Give an example of how you would use experimental design to answer a question about user behavior.
What is the difference between "long" and "wide" format data?
What method do you use to determine whether the statistics published in an article (e.g. newspaper) are either wrong or presented to support the author's point of view, rather than correct, comprehensive factual information on a specific subject?
Explain Edward Tufte's concept of "chart junk."
How would you screen for outliers and what should you do if you find one?
How would you use either the extreme value theory, monte carlo simulations or mathematical statistics (or anything else) to correctly estimate the chance of a very rare event?
What is a recommendation engine? How does it work?
Explain what a false positive and a false negative are. Why is it important to differentiate these from each other?
Which tools do you use for visualization? What do you think of Tableau? R? SAS? (for graphs). How to efficiently represent 5 dimension in a chart (or in a video)?

کلیپی جالب درباره علوم داده
https://www.youtube.com/watch?v=3_1reLdh5xw

پردازش زبان های طبیعی (NLP)

پردازش زبان طبیعی چیست؟

در این زمینه، دو حیطه اصلی پژوهش وجود دارد: ادراک، که با فرایندهایی سر و کار دارد که اطلاعات را از زبان استخراج می‌کنند (مانند درک زبان طبیعی، بازیابی اطلاعات) و تولید، که با فرایندهایی سر و کار دارد که با استفاده از زبان به انتقال اطلاعات می‌پردازند. معمولاً کارهای مرتبط با گفتار را تحت عناوین جداگانه تشخیص گفتار و تولید گفتار قرار می‌دهند.

سطوح تحلیل زبانی:

آواشناسی/واج‌شناسی
ساختواژه(صرف)
نحو
معنی‌شناسی
کاربردشناسی
گفتمان

تکنیک‌های پردازش زبان طبیعی:

قطعه‌بندی و نرمال‌سازی متن
تحلیل ساختواژی
برچسب‌زنی جزء کلام
تجزیه یا پارس (تحلیل نحوی)
تحلیل معنایی
مدل‌سازی زبانی:یادگیری ماشین

کاربردهای پردازش زبان طبیعی:

درک زبان طبیعی
پردازش متون
بازیابی اطلاعات
ترجمۀ ماشینی:تولید متن
تصحیح املاء و دستور
بازشناسی گفتار:ساخت گفتار از روی متن
بازشناسی نویسه‌های نوری
سیستم‌های مکالمه گفتاری
سیستم‌های پرسش و پاسخ
ترجمه گفتار به گفتار

@BigDataTechnology

تحلیل داده وب :
Web Mining

اهداف تحلیل وب شامل :

بازیابی
استخراج
ارزیابی
اطلاعات خودکار اسناد و سرویس های وب برای کشف دانش مفید است.

تحلیل وب با چند زمینه تحقیقاتی از جمله پایگاه داده ، بازیابی اطلاعات و NLP  و متن کاوی مرتبط است.

با توجه به بخش های مختلف وب ، تحلیل آن به 3 زمینه مرتبط تقستم میشود :

Web Content Mining 
Web Structure Mining
Web Usage Mining

در ادامه در مورد هر یک بحث خواهیم کرد.

@BigDataTechnology

برخی از کاربردهای داده کاوی:

👈 تشخیص زودهنگام سرطان (در صنعت بهداشت و درمان)
👈 پیش بینی آب و هوا (در هواشناسی)
👈 پیش بینی خرابی دستگاه ها (در تعمیرات و نگهداری)
👈 پیش بینی زمان مرگ از یک بیماری خاص (در صنعت بهداشت و درمان)
👈 پیش بینی واکنش مشتریان به یک محصول جدید (در بازاریابی)
👈 رده بندی مشتریان بانک از نظر ریسک اعتباری (در صنعت بانکداری)
👈 تخمین قیمت نفت (در اقتصاد)
👈 پیش بینی پیروزی یا شکست یک تیم ورزشی (در صنعت ورزش)

@mfta_ir

مهارتهای لازم در حوزه های مختلف

Data Scientist Skills