تقدير منحنى ROC-AUC

الخطوة الأولى: فهم المصطلحات الأساسية. معدل الإيجابية الحقيقية (TPR) يمثل حساسية النموذج، أي قدرته على اكتشاف الحالات الإيجابية بشكل صحيح. يُحسب كـ TP/(TP+FN). معدل الإيجابية الكاذبة (FPR) يمثل معدل الإنذارات الكاذبة، ويُحسب كـ FP/(FP+TN). منحنى ROC يرسم TPR مقابل FPR لعتبات مختلفة. المساحة تحت المنحنى (AUC) تقيس الأداء الكلي للنموذج، حيث 1 يعني أداءً مثاليًا و0.5 يعني تخمينًا عشوائيًا. لإدخال القيم في الحاسبة، تأكد من أن TPR و FPR يقعان بين 0 و1.

الخطوة الثانية: حساب AUC باستخدام القاعدة شبه المنحرفة. عندما يكون لديك نقطة واحدة (TPR, FPR)، فإن AUC يقتصر على المنطقة تحت الخط الواصل من (0,0) إلى (1,1) والنقطة المعطاة. لكن عادةً، AUC يحتاج إلى نقاط متعددة لعتبات مختلفة. افترض أن لديك نقطة واحدة فقط (TPR, FPR) على المنحنى. يمكن تقدير AUC كمساحة شبه المنحرف المكون من النقاط (FPR, TPR) مع افتراض أن المنحنى يمر عبر (0,0) و (1,1). الصيغة: AUC = (TPR + 1 - FPR) / 2. هذه صيغة مبسطة تفترض خطيًا بين النقاط.

الخطوة الثالثة: تطبيق الصيغة على المدخلات. على سبيل المثال، إذا أدخلت TPR=0.9 و FPR=0.2، فإن AUC = (0.9 + 1 - 0.2) / 2 = (1.7)/2 = 0.85. هذا يعني أن النموذج لديه أداء جيد. ولكن تذكر أن هذه مجرد تقدير تقريبي، حيث أن المنحنى الحقيقي يتطلب نقاطًا متعددة. إذا كان لديك عدة نقاط، يمكنك استخدام حساب المساحة تحت المنحنى بتجميع شبه المنحرفات بين النقاط المتجاورة.

الخطوة الرابعة: تفسير النتيجة. كلما اقتربت AUC من 1، كان أداء النموذج أفضل في التمييز بين الفئتين. AUC بين 0.5 و 0.6 يعتبر ضعيفًا، بين 0.6 و 0.7 مقبول، 0.7-0.8 جيد، 0.8-0.9 ممتاز، 0.9-1 رائع. ولكن احذر من أن AUC لا يعطي معلومات عن دقة التنبؤ عند عتبة معينة، بل عن الأداء العام عبر جميع العتبات.

الخطوة الخامسة: تحسين النموذج. إذا كانت AUC منخفضة، حاول تحسين النموذج بضبط المعلمات، أو استخدام ميزات جديدة، أو تغيير خوارزمية التصنيف. يمكنك أيضًا رسم منحنى ROC كاملًا للحصول على AUC دقيق.