سلام

تنهایی ژرف انسان در برابر سرنوشت!
داریوش ما رو به تاملی عمیق در ماهیت وجود و معنای رنج فرا می‌خونه

تصمیم گرفتم ابتدا به مبانی ماشین لرنینگ بپردازم. شروع از ابتدا به ما اجازه میده تا با دیدی تازه و بدون پیش‌ فرض به موضوع نگاه کنیم. بازگشت به اصول اولیه میتونه منجر به کشف بینش‌های جدید و ارزشمندی بشه که ممکنه در گذشته از اونها غافل شده باشیم

Cross Validation
در یادگیری ماشین، توسعه مدلی که به خوبی به داده‌های جدید و نادیده تعمیم پیدا کنه بسیار مهمه. Overfitting (جایی که یک مدل نویز رو در داده‌های ترین یاد می‌گیره) و underfitting (که در آن مدل برای ثبت الگوهای اساسی بسیار ساده هست) مشکلات رایج هستن. برای اطمینان از استحکام یک مدل باید به درستی ارزیابی بشه و Cross Validation یک تکنیک کلیدی برای این منظور هست.

Types of Cross Validation

1. Holdout Method
ساده ترین شکل Cross Validation.
داده ها به دو مجموعه تقسیم میشن: آموزش و آزمایش.
مدل بر روی مجموعه آموزشی آموزش داده شده و در مجموعه تست ارزیابی می شه.

2. K-Fold Cross Validation
مجموعه داده‌ها به Kتا فولد با سایز یکسان تقسیم میشن.
این مدل K بار آموزش داده میشه هر بار از فولدهای K-1 برای آموزش و فولدهای باقی مانده برای آزمایش استفاده میشه.
معیار عملکرد در طول K اجرا به طور میانگین محاسبه میشه.
تخمین مطمین تری از عملکرد مدل ارایه می ده.

3. Stratified K-Fold Cross Validation
تغییری از K-Fold که تضمین می‌کنه هر فولد نماینده توزیع کلی داده‌هاست.
به ویژه برای مجموعه داده های نامتعادل مفیده.

4. Leave-One-Out Cross Validation (LOOCV)
یک مورد خاص از K-Fold که در اون K برابر با تعداد نقاط داده هست.
هر نقطه داده به عنوان یک مجموعه تست استفاده میشه در حالی که نقاط باقی مانده مجموعه آموزشی رو تشکیل میدن.
از نظر محاسباتی گرونه اما میتونه برای مجموعه داده های بسیار کوچک مفید باشه.

5. Leave-P-Out Cross Validation
تعمیم LOOCV که در اون نقاط داده P برای آزمایش کنار گذاشته میشن و نقاط باقی مونده برای آموزش استفاده میشن.

K-Fold Cross Validation کد

گاهی بخشیدن خود سخت‌تر از بخشیدن دیگرانه

Confusion Matrix
یه confusion matrix یه نمایش جدولی هست که برای توصیف عملکرد یک الگوریتم طبقه بندی استفاده میشه. این مقادیر واقعی هدف رو با مقادیر پیش‌بینی‌شده توسط مدل مقایسه میکنه و تفکیک دقیقی از پیش‌بینی‌های درست و نادرست ارایه می‌ده.
یه confusion matrix معمولا یک ماتریس مربع با ابعاد برابر با تعداد کلاس های هدف هست. برای یک مسیله طبقه بندی باینری، ماتریس دارای ساختار 2x2 هست. فرض کنید یک کلاس مثبت و یک کلاس منفی داشته باشیم. در اینصورت
اجزای ماتریس سردرگمی:
مثبت واقعی (TP): اینها مواردی هستن که مدل به درستی کلاس مثبت رو پیش بینی میکنه.
منفی های واقعی (TN): این موارد مواردی هستن که مدل به درستی کلاس منفی رو پیش بینی میکنه.
موارد مثبت کاذب (FP): اینها مواردی هستن که مدل کلاس مثبت رو به اشتباه پیش بینی میکنه.
منفی های کاذب (FN): این موارد مواردی هستن که مدل به اشتباه کلاس منفی رو پیش بینی میکنه.

اما از همین confusion matrix میتونیم متریک‌های مفید دیگه ای رو هم محاسبه کنیم. در ادامه بهش میپردازم

اینجا توی تابلوی من. Sensitivity یا Recall بما میگه چند درصد از بیماران قلبی به درستی پیشبینی شدن.
همچنین Specificity بما میگه چند درصد از افرادی که بیماری قلبی نداشتن بدرستی پیشبینی شدن.

اما اگر confusion matrixی با بیش از 2 سطر/ستون داشته باشیم Sensitivity و Specificity چطور محاسبه میشن؟
در اینصورت هیچ مقدار واحدی از متریک مد نظر برای کل ماتریس وجود نداره. یعنی چی؟ یعنی ما برای هر کتگوری Sensitivityها و Specificityهای مختلفی رو محاسبه میکنیم. مثلا فرض کنید 3 کلاس داره دیتاست ما. در اینصورت برای هر کلاس باید بصورت جداگانه Sensitivity و Specificity محاسبه بشن.

تصور کنید معلمی هستید با سه نوع دانش آموز: A، B و C. میخوایید بدونید که چقدر میتونید هر نوع دانش آموز رو به درستی شناسایی کنید
Sensitivity
حساسیت برای نوع A مثل بررسی اینه که چند دانش آموز نوع A رو به درستی از بین همه دانش آموزان نوع A واقعی شناسایی کردید.
Specificity
و Specificity در مورد اینه که چقدر در شناسایی دانش آموزانی که از نوع خاصی نیستن مهارت دارید
بیایید روی دانش‌آموزان نوع A تمرکز کنیم. Specificity برای کلاس نوع A مثل بررسی اینه که از بین همه دانش آموزانی که واقعاً از نوع A نیستن، چند دانش آموز رو به درستی به عنوان غیر نوع A شناسایی کردید.
به عنوان مثال اگر 30 دانش آموز وجود داشته باشن که نوع A نیستن (اونها یا نوع B یا نوع C هستن) و شما 25 نفر از اونها رو غیر از نوع A شناسایی کردید Specificity شما برای نوع A میشه تقریبا 83 درصد.

حالا دو متریک دیگه.
در مثال بالا Precision در مورد اینه که شما چقدر دقیق هستید وقتی میگید یه دانش آموز از نوع خاصی هست.
بیایید بازم روی دانش آموزهای نوع A تمرکز کنیم.
خب Precision برای نوع A مثل بررسی اینه که چه تعداد از دانش آموزانی که به عنوان نوع A شناسایی کردید در واقعیت هم نوع A هستن.
متریک F1 Score هم راهی برای بالانس کردن Precision و Sensitivity هست.

Sometimes, the silence within us speaks louder than any words. This song reminds us that even in our darkest moments, we're still breathing, still feeling, still human. It's a haunting reflection on the gaps in our lives that we can never quite fill...