خطوات الاستخدام
الخطوة الأولى: فهم معدل التلوث (Contamination Rate) – يمثل هذا الرقم النسبة المتوقعة من الشذوذ في البيانات. على سبيل المثال، إذا كنت تتوقع أن 5% من البيانات شاذة، فأدخل 5 في حقل النسبة المئوية (الحاسبة تتوقع نسبةً مئوية بين 0.1 و50، لا الكسر 0.05). هذه القيمة تحدد مدى تسامح النموذج مع القيم المتطرفة. يجب أن تستند هذه القيمة إلى معرفة بالمجال أو تحليل سابق للبيانات.
الخطوة الثانية: توزيع الاحتمال بين طرفي التوزيع الطبيعي – تفترض طريقة Z-score أن البيانات تتبع توزيعاً طبيعياً. عندما نحدد عتبة للكشف عن الشذوذ، نبحث عن القيم التي تبعد كثيراً عن المتوسط. في حالة الاختبار ثنائي الطرف (two-tailed)، نقسم معدل التلوث على 2 لتوزيعه على كلا الطرفين. المعدل الإجمالي للتلوث (Contamination) يمثل المساحة الكلية للمناطق الحرجة (Critical Regions)، أي احتمال أن تكون القيمة شاذة في أي من الطرفين. لذلك، احتمال كل طرف هو contamination/2.
الخطوة الثالثة: حساب قيمة Z الحرجة باستخدام دالة التوزيع العكسي – قيمة Z هي عدد الانحرافات المعيارية عن المتوسط. نحتاج إلى إيجاد القيمة التي تجعل المساحة التراكمية أسفل المنحنى الطبيعي تساوي (1 - contamination/2) أو (contamination/2) حسب الجهة. عملياً، نستخدم معكوس دالة التوزيع الطبيعي (Inverse CDF). على سبيل المثال، إذا كان contamination = 5% (تُدخل 5)، فإن المساحة في الطرف الأيمن هي 0.025، وبالتالي نبحث عن Z حيث P(Z > Z_critical) = 0.025، وهو ما يعادل Z_critical = qnorm(0.975) ≈ 1.96. الصيغة المطبَّقة هنا: Z = Φ⁻¹(1 - contamination/200).
الخطوة الرابعة: تفسير العتبة – القيمة Z المحسوبة هي العتبة. أي نقطة بيانات تبعد عن المتوسط بأكثر من هذه القيمة (من حيث القيمة المطلقة) تُعتبر شاذة. على سبيل المثال، مع عتبة 1.96، نقول إن أي قيمة خارج الفترة [μ - 1.96σ, μ + 1.96σ] هي شاذة. هذه الطريقة تفترض أن البيانات موزعة بشكل طبيعي، وإلا فقد تكون النتائج غير دقيقة.
أمثلة محلولة
تطبيقات عملية على عتبة اكتشاف الشذوذ بخطوات الحل كاملة.
الحل
الإجابة التفصيلية: أولاً، نضع معدل التلوث contamination = 5 (أي 5%، وهو 0.05 على مقياس الكسر). بما أننا نستخدم اختباراً ثنائي الطرف، فإن كل طرف يحصل على 0.025 من الاحتمال. نحتاج إلى إيجاد قيمة Z حيث المساحة التراكمية من الطرف الأيسر حتى هذه القيمة تساوي 0.975 (لأن 1 - 0.025 = 0.975). باستخدام جدول التوزيع الطبيعي أو دالة qnorm في R، نحصل على Z ≈ 1.96. هذا يعني أن أي مبيعات تقع خارج الفترة [المتوسط - 1.96 * الانحراف المعياري, المتوسط + 1.96 * الانحراف المعياري] تعتبر شاذة.
تطبيق مثال عددي: لنفترض أن متوسط المبيعات اليومية هو 1000 وحدة، والانحراف المعياري 200. الفترة الطبيعية: [1000 - 1.96*200, 1000 + 1.96*200] = [608, 1392]. إذا كان يوم ما مبيعاته 1500، فهذا يعتبر شاذاً لأنه خارج الحد الأعلى. أما إذا كان 500 فهو شاذ أيضاً لكونه أقل من 608.
ملاحظات مهمة: هذه الطريقة تفترض طبيعة طبيعية للبيانات. إذا كان التوزيع غير طبيعي، قد نحتاج إلى طرق أخرى مثل IQR. كما أن معدل التلوث 5% افتراضي، لكنه يمكن تعديله بناءً على حساسية التطبيق. على سبيل المثال، في الكشف عن الاحتيال المالي قد نستخدم معدل تلوث أقل (1%) لتقليل الإنذارات الكاذبة.
الحل
الإجابة: هنا contamination = 1 (أي 1%). في الاختبار ثنائي الطرف، كل طرف له احتمال 0.005. نحتاج Z حيث المساحة التراكمية = 0.995 (1 - 0.005). من الجدول أو باستخدام الدالة: Z ≈ 2.576. هذا يعني أن أي قياس يبعد عن المتوسط بأكثر من 2.576 انحراف معياري يعتبر معيباً.
تطبيق: إذا كان متوسط طول القطعة 10 سم وانحراف معياري 0.1 سم، فإن الحدود الطبيعية: [10 - 2.576*0.1, 10 + 2.576*0.1] = [9.7424, 10.2576] سم. أي قطعة خارج هذا النطاق تُرفض.
مقارنة مع المثال السابق: مع معدل تلوث أقل، تصبح العتبة أعلى، مما يجعل عملية الكشف أكثر صرامة (عدد أقل من الشذوذ المكتشف). هذا مناسب في الصناعات التي تكون فيها نسبة العيوب منخفضة جداً، مثل صناعة الطيران.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة عتبة اكتشاف الشذوذ.
عتبة 5% ثنائية الطرف = 1.96 (قاعدة الشذوذ الكلاسيكية)
- نسبة التلوث (%)
- 5
تقليل التلوث إلى 1% يرفع العتبة إلى 2.576 فيصبح الكشف أصرم
- نسبة التلوث (%)
- 1
حالة الحد الأقصى المسموح (50%) وتكون العتبة عندها أدنى من 1
- نسبة التلوث (%)
- 50