Forwarded from Mahdi Nasiri
10 روند برتر هوش تجاری برای 2016
http://www.kdnuggets.com/2015/12/10-business-intelligence-trends-2016.html
http://www.kdnuggets.com/2015/12/10-business-intelligence-trends-2016.html
Forwarded from Mahdi Nasiri
این پلت فرم که بیشتر الگوریتم های عمومی یادگیری عمیق در ان وجود دارد به صورت انعطاف پذیر را پشتیبانی می کند. اسلاید زیر توضیحات بیشتر را توضیح می دهد
https://www.linkedin.com/pulse/apache-singa-distributed-deep-learning-system-marinho-de-oliveira
https://www.linkedin.com/pulse/apache-singa-distributed-deep-learning-system-marinho-de-oliveira
LinkedIn Pulse
Apache SINGA : Distributed Deep Learning System
معرفی برترین ابزارهای کرال 👇👇
http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/
http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/
Most popular Predictive Analytics, Data Mining, Data Science software
http://www.kdnuggets.com/wp-content/uploads/kdnuggets-2014-software-poll-word-cloud.jpg
http://www.kdnuggets.com/wp-content/uploads/kdnuggets-2014-software-poll-word-cloud.jpg
Forwarded from ahmad khalili
سایت datapool.ir برای دوستانی که نیاز به دیتا دارن میتونه مفید باشه.
Forwarded from Mahdi Nasiri
20 سوالی که باید دانست
Explain what regularization is and why it is useful.
Which data scientists do you admire most? which startups?
How would you validate a model you created to generate a predictive model of a quantitative outcome variable using multiple regression.
Explain what precision and recall are. How do they relate to the ROC curve?
How can you prove that one improvement you've brought to an algorithm is really an improvement over not doing anything?
What is root cause analysis?
Are you familiar with pricing optimization, price elasticity, inventory management, competitive intelligence? Give examples.
What is statistical power?
Explain what resampling methods are and why they are useful. Also explain their limitations.
Is it better to have too many false positives, or too many false negatives? Explain.
What is selection bias, why is it important and how can you avoid it?
Give an example of how you would use experimental design to answer a question about user behavior.
What is the difference between "long" and "wide" format data?
What method do you use to determine whether the statistics published in an article (e.g. newspaper) are either wrong or presented to support the author's point of view, rather than correct, comprehensive factual information on a specific subject?
Explain Edward Tufte's concept of "chart junk."
How would you screen for outliers and what should you do if you find one?
How would you use either the extreme value theory, monte carlo simulations or mathematical statistics (or anything else) to correctly estimate the chance of a very rare event?
What is a recommendation engine? How does it work?
Explain what a false positive and a false negative are. Why is it important to differentiate these from each other?
Which tools do you use for visualization? What do you think of Tableau? R? SAS? (for graphs). How to efficiently represent 5 dimension in a chart (or in a video)?
Explain what regularization is and why it is useful.
Which data scientists do you admire most? which startups?
How would you validate a model you created to generate a predictive model of a quantitative outcome variable using multiple regression.
Explain what precision and recall are. How do they relate to the ROC curve?
How can you prove that one improvement you've brought to an algorithm is really an improvement over not doing anything?
What is root cause analysis?
Are you familiar with pricing optimization, price elasticity, inventory management, competitive intelligence? Give examples.
What is statistical power?
Explain what resampling methods are and why they are useful. Also explain their limitations.
Is it better to have too many false positives, or too many false negatives? Explain.
What is selection bias, why is it important and how can you avoid it?
Give an example of how you would use experimental design to answer a question about user behavior.
What is the difference between "long" and "wide" format data?
What method do you use to determine whether the statistics published in an article (e.g. newspaper) are either wrong or presented to support the author's point of view, rather than correct, comprehensive factual information on a specific subject?
Explain Edward Tufte's concept of "chart junk."
How would you screen for outliers and what should you do if you find one?
How would you use either the extreme value theory, monte carlo simulations or mathematical statistics (or anything else) to correctly estimate the chance of a very rare event?
What is a recommendation engine? How does it work?
Explain what a false positive and a false negative are. Why is it important to differentiate these from each other?
Which tools do you use for visualization? What do you think of Tableau? R? SAS? (for graphs). How to efficiently represent 5 dimension in a chart (or in a video)?
Forwarded from Mahdi Nasiri
کلیپی جالب درباره علوم داده
https://www.youtube.com/watch?v=3_1reLdh5xw
https://www.youtube.com/watch?v=3_1reLdh5xw
YouTube
"Data Science: Where are We Going?" - Dr. DJ Patil (Strata + Hadoop 2015)
Data Science, where are we going? What impact can we expect? With a special introduction from President Barack Obama.
Watch more from Strata + Hadoop San Jose 2015: http://goo.gl/k9J3GB
Visit the conference website to learn more: http://strataconf.com/big…
Watch more from Strata + Hadoop San Jose 2015: http://goo.gl/k9J3GB
Visit the conference website to learn more: http://strataconf.com/big…
پردازش زبان های طبیعی (NLP)
پردازش زبان طبیعی چیست؟
در این زمینه، دو حیطه اصلی پژوهش وجود دارد: ادراک، که با فرایندهایی سر و کار دارد که اطلاعات را از زبان استخراج میکنند (مانند درک زبان طبیعی، بازیابی اطلاعات) و تولید، که با فرایندهایی سر و کار دارد که با استفاده از زبان به انتقال اطلاعات میپردازند. معمولاً کارهای مرتبط با گفتار را تحت عناوین جداگانه تشخیص گفتار و تولید گفتار قرار میدهند.
سطوح تحلیل زبانی:
آواشناسی/واجشناسی
ساختواژه(صرف)
نحو
معنیشناسی
کاربردشناسی
گفتمان
تکنیکهای پردازش زبان طبیعی:
قطعهبندی و نرمالسازی متن
تحلیل ساختواژی
برچسبزنی جزء کلام
تجزیه یا پارس (تحلیل نحوی)
تحلیل معنایی
مدلسازی زبانی:یادگیری ماشین
کاربردهای پردازش زبان طبیعی:
درک زبان طبیعی
پردازش متون
بازیابی اطلاعات
ترجمۀ ماشینی:تولید متن
تصحیح املاء و دستور
بازشناسی گفتار:ساخت گفتار از روی متن
بازشناسی نویسههای نوری
سیستمهای مکالمه گفتاری
سیستمهای پرسش و پاسخ
ترجمه گفتار به گفتار
@BigDataTechnology
پردازش زبان طبیعی چیست؟
در این زمینه، دو حیطه اصلی پژوهش وجود دارد: ادراک، که با فرایندهایی سر و کار دارد که اطلاعات را از زبان استخراج میکنند (مانند درک زبان طبیعی، بازیابی اطلاعات) و تولید، که با فرایندهایی سر و کار دارد که با استفاده از زبان به انتقال اطلاعات میپردازند. معمولاً کارهای مرتبط با گفتار را تحت عناوین جداگانه تشخیص گفتار و تولید گفتار قرار میدهند.
سطوح تحلیل زبانی:
آواشناسی/واجشناسی
ساختواژه(صرف)
نحو
معنیشناسی
کاربردشناسی
گفتمان
تکنیکهای پردازش زبان طبیعی:
قطعهبندی و نرمالسازی متن
تحلیل ساختواژی
برچسبزنی جزء کلام
تجزیه یا پارس (تحلیل نحوی)
تحلیل معنایی
مدلسازی زبانی:یادگیری ماشین
کاربردهای پردازش زبان طبیعی:
درک زبان طبیعی
پردازش متون
بازیابی اطلاعات
ترجمۀ ماشینی:تولید متن
تصحیح املاء و دستور
بازشناسی گفتار:ساخت گفتار از روی متن
بازشناسی نویسههای نوری
سیستمهای مکالمه گفتاری
سیستمهای پرسش و پاسخ
ترجمه گفتار به گفتار
@BigDataTechnology
تحلیل داده وب :
Web Mining
اهداف تحلیل وب شامل :
بازیابی
استخراج
ارزیابی
اطلاعات خودکار اسناد و سرویس های وب برای کشف دانش مفید است.
تحلیل وب با چند زمینه تحقیقاتی از جمله پایگاه داده ، بازیابی اطلاعات و NLP و متن کاوی مرتبط است.
با توجه به بخش های مختلف وب ، تحلیل آن به 3 زمینه مرتبط تقستم میشود :
Web Content Mining
Web Structure Mining
Web Usage Mining
در ادامه در مورد هر یک بحث خواهیم کرد.
@BigDataTechnology
Web Mining
اهداف تحلیل وب شامل :
بازیابی
استخراج
ارزیابی
اطلاعات خودکار اسناد و سرویس های وب برای کشف دانش مفید است.
تحلیل وب با چند زمینه تحقیقاتی از جمله پایگاه داده ، بازیابی اطلاعات و NLP و متن کاوی مرتبط است.
با توجه به بخش های مختلف وب ، تحلیل آن به 3 زمینه مرتبط تقستم میشود :
Web Content Mining
Web Structure Mining
Web Usage Mining
در ادامه در مورد هر یک بحث خواهیم کرد.
@BigDataTechnology
برخی از کاربردهای داده کاوی:
👈 تشخیص زودهنگام سرطان (در صنعت بهداشت و درمان)
👈 پیش بینی آب و هوا (در هواشناسی)
👈 پیش بینی خرابی دستگاه ها (در تعمیرات و نگهداری)
👈 پیش بینی زمان مرگ از یک بیماری خاص (در صنعت بهداشت و درمان)
👈 پیش بینی واکنش مشتریان به یک محصول جدید (در بازاریابی)
👈 رده بندی مشتریان بانک از نظر ریسک اعتباری (در صنعت بانکداری)
👈 تخمین قیمت نفت (در اقتصاد)
👈 پیش بینی پیروزی یا شکست یک تیم ورزشی (در صنعت ورزش)
@mfta_ir
👈 تشخیص زودهنگام سرطان (در صنعت بهداشت و درمان)
👈 پیش بینی آب و هوا (در هواشناسی)
👈 پیش بینی خرابی دستگاه ها (در تعمیرات و نگهداری)
👈 پیش بینی زمان مرگ از یک بیماری خاص (در صنعت بهداشت و درمان)
👈 پیش بینی واکنش مشتریان به یک محصول جدید (در بازاریابی)
👈 رده بندی مشتریان بانک از نظر ریسک اعتباری (در صنعت بانکداری)
👈 تخمین قیمت نفت (در اقتصاد)
👈 پیش بینی پیروزی یا شکست یک تیم ورزشی (در صنعت ورزش)
@mfta_ir