سلام

تنهایی ژرف انسان در برابر سرنوشت!
داریوش ما رو به تاملی عمیق در ماهیت وجود و معنای رنج فرا می‌خونه

تصمیم گرفتم ابتدا به مبانی ماشین لرنینگ بپردازم. شروع از ابتدا به ما اجازه میده تا با دیدی تازه و بدون پیش‌ فرض به موضوع نگاه کنیم. بازگشت به اصول اولیه میتونه منجر به کشف بینش‌های جدید و ارزشمندی بشه که ممکنه در گذشته از اونها غافل شده باشیم

Cross Validation
در یادگیری ماشین، توسعه مدلی که به خوبی به داده‌های جدید و نادیده تعمیم پیدا کنه بسیار مهمه. Overfitting (جایی که یک مدل نویز رو در داده‌های ترین یاد می‌گیره) و underfitting (که در آن مدل برای ثبت الگوهای اساسی بسیار ساده هست) مشکلات رایج هستن. برای اطمینان از استحکام یک مدل باید به درستی ارزیابی بشه و Cross Validation یک تکنیک کلیدی برای این منظور هست.

Types of Cross Validation

1. Holdout Method
ساده ترین شکل Cross Validation.
داده ها به دو مجموعه تقسیم میشن: آموزش و آزمایش.
مدل بر روی مجموعه آموزشی آموزش داده شده و در مجموعه تست ارزیابی می شه.

2. K-Fold Cross Validation
مجموعه داده‌ها به Kتا فولد با سایز یکسان تقسیم میشن.
این مدل K بار آموزش داده میشه هر بار از فولدهای K-1 برای آموزش و فولدهای باقی مانده برای آزمایش استفاده میشه.
معیار عملکرد در طول K اجرا به طور میانگین محاسبه میشه.
تخمین مطمین تری از عملکرد مدل ارایه می ده.

3. Stratified K-Fold Cross Validation
تغییری از K-Fold که تضمین می‌کنه هر فولد نماینده توزیع کلی داده‌هاست.
به ویژه برای مجموعه داده های نامتعادل مفیده.

4. Leave-One-Out Cross Validation (LOOCV)
یک مورد خاص از K-Fold که در اون K برابر با تعداد نقاط داده هست.
هر نقطه داده به عنوان یک مجموعه تست استفاده میشه در حالی که نقاط باقی مانده مجموعه آموزشی رو تشکیل میدن.
از نظر محاسباتی گرونه اما میتونه برای مجموعه داده های بسیار کوچک مفید باشه.

5. Leave-P-Out Cross Validation
تعمیم LOOCV که در اون نقاط داده P برای آزمایش کنار گذاشته میشن و نقاط باقی مونده برای آموزش استفاده میشن.

K-Fold Cross Validation کد

گاهی بخشیدن خود سخت‌تر از بخشیدن دیگرانه

Confusion Matrix
یه confusion matrix یه نمایش جدولی هست که برای توصیف عملکرد یک الگوریتم طبقه بندی استفاده میشه. این مقادیر واقعی هدف رو با مقادیر پیش‌بینی‌شده توسط مدل مقایسه میکنه و تفکیک دقیقی از پیش‌بینی‌های درست و نادرست ارایه می‌ده.
یه confusion matrix معمولا یک ماتریس مربع با ابعاد برابر با تعداد کلاس های هدف هست. برای یک مسیله طبقه بندی باینری، ماتریس دارای ساختار 2x2 هست. فرض کنید یک کلاس مثبت و یک کلاس منفی داشته باشیم. در اینصورت
اجزای ماتریس سردرگمی:
مثبت واقعی (TP): اینها مواردی هستن که مدل به درستی کلاس مثبت رو پیش بینی میکنه.
منفی های واقعی (TN): این موارد مواردی هستن که مدل به درستی کلاس منفی رو پیش بینی میکنه.
موارد مثبت کاذب (FP): اینها مواردی هستن که مدل کلاس مثبت رو به اشتباه پیش بینی میکنه.
منفی های کاذب (FN): این موارد مواردی هستن که مدل به اشتباه کلاس منفی رو پیش بینی میکنه.

اما از همین confusion matrix میتونیم متریک‌های مفید دیگه ای رو هم محاسبه کنیم. در ادامه بهش میپردازم