خطوات الاستخدام
الخطوة الأولى: تحديد الفئات (Bins). قم بتقسيم التوزيعين المتوقع (expectedDist) والفعلي (actualDist) إلى نفس عدد الفئات. يجب أن تكون الفئات متطابقة في الحدود والنطاق. على سبيل المثال، إذا كنت تدرس توزيع درجات الائتمان، يمكنك تقسيم النطاق من 300 إلى 850 إلى 10 فئات متساوية العرض. تأكد من أن أي فئة تحتوي على صفر في التوزيع المتوقع يتم معالجتها (عادةً بإضافة قيمة صغيرة جداً مثل 0.0001) لتجنب اللانهاية في اللوغاريتم.
الخطوة الثانية: حساب النسب المئوية لكل فئة. لكل فئة i، احسب النسبة المئوية للتوزيع المتوقع (p_i) والفعلية (q_i). النسبة المئوية = عدد العناصر في الفئة مقسومًا على إجمالي العناصر. على سبيل المثال، إذا كان التوزيع المتوقع يحتوي على 1000 عنصر والفئة الأولى تحتوي على 200 عنصر، فإن p_1 = 200/1000 = 0.20. كرر الأمر نفسه للتوزيع الفعلي.
الخطوة الثالثة: حساب الفرق واللوغاريتم. لكل فئة i، احسب (q_i - p_i) و ln(q_i / p_i). إذا كانت p_i أو q_i صفرًا، استبدلها بنفس القيمة الصغيرة 0.0001 المستخدمة في الخطوة الأولى لتفادي القسمة على صفر أو لوغاريتم صفر (توحيد الثابت مهم لأن 0.001 مقابل 0.0001 يغيّر درجة PSI). اللوغاريتم الطبيعي (ln) هو المستخدم في الصيغة. على سبيل المثال، إذا p_i=0.20 و q_i=0.25، فإن الفرق = 0.05 و ln(0.25/0.20)=ln(1.25)=0.2231.
الخطوة الرابعة: ضرب الفرق في اللوغاريتم. لكل فئة i: (q_i - p_i) * ln(q_i / p_i). هذا يعطيك مساهمة الفئة في مؤشر PSI. على سبيل المثال، باستخدام الأرقام السابقة: 0.05 * 0.2231 = 0.011155.
الخطوة الخامسة: جمع المساهمات. اجمع كل النتائج من الخطوة الرابعة عبر جميع الفئات. المجموع هو درجة PSI. الصيغة النهائية: PSI = Σ ( (q_i - p_i) * ln(q_i / p_i) ). كلما زادت القيمة، زاد الانحراف بين التوزيعين. القيم الأقل من 0.1 تشير إلى استقرار جيد، بينما القيم فوق 0.25 تشير إلى انحراف كبير يتطلب تحقيقًا.
أمثلة محلولة
تطبيقات عملية على درجة PSI لانحراف الميزات بخطوات الحل كاملة.
الحل
لدينا نموذج تصنيف ائتماني نتوقع توزيع درجات الائتمان للعملاء الجدد. التوزيع المتوقع (من بيانات التدريب) والتوزيع الفعلي (من بيانات الشهر الحالي) مقسمان إلى 5 فئات: منخفض جداً، منخفض، متوسط، مرتفع، مرتفع جداً. النسب المئوية كما يلي:
الفئة (منخفض جداً): متوقع=0.10، فعلي=0.12
منخفض: متوقع=0.20، فعلي=0.25
متوسط: متوقع=0.35، فعلي=0.30
مرتفع: متوقع=0.25، فعلي=0.20
مرتفع جداً: متوقع=0.10، فعلي=0.13
حساب PSI:
للفئة الأولى: (0.12-0.10)*ln(0.12/0.10) = 0.02 * ln(1.2) = 0.02 * 0.1823 = 0.003646
الثانية: (0.25-0.20)*ln(0.25/0.20) = 0.05 * ln(1.25) = 0.05 * 0.2231 = 0.011155
الثالثة: (0.30-0.35)*ln(0.30/0.35) = (-0.05)*ln(0.8571) = -0.05 * (-0.1542) = 0.00771
الرابعة: (0.20-0.25)*ln(0.20/0.25) = (-0.05)*ln(0.8) = -0.05 * (-0.2231) = 0.011155
الخامسة: (0.13-0.10)*ln(0.13/0.10) = 0.03 * ln(1.3) = 0.03 * 0.2624 = 0.007872
المجموع: 0.003646 + 0.011155 + 0.00771 + 0.011155 + 0.007872 = 0.041538
درجة PSI = 0.041539 (تُقرّب إلى 0.0415) وهي < 0.1، مما يشير إلى أن التوزيع الفعلي قريب جدًا من المتوقع والتوزيع مستقر. لاحظ أن عرض ست منازل عشرية ضروري: التقريب لمنزلتين كان سيحوّل 0.098 إلى 0.1 ويقلب الحكم من «مستقر» إلى «انحراف طفيف».
الحل
لنفترض أن لدينا حملة تسويقية عبر البريد الإلكتروني. التوزيع المتوقع لنسب النقر عبر فئات العمر (18-25، 26-35، 36-45، 46-55، 56+) من حملات سابقة، والتوزيع الفعلي من الحملة الجديدة. النسب:
18-25: متوقع=0.25، فعلي=0.10
26-35: متوقع=0.30، فعلي=0.20
36-45: متوقع=0.25، فعلي=0.30
46-55: متوقع=0.15، فعلي=0.25
56+: متوقع=0.05، فعلي=0.15
حساب PSI:
الفئة الأولى: (0.10-0.25)*ln(0.10/0.25) = (-0.15)*ln(0.4) = -0.15 * (-0.9163) = 0.137445
الثانية: (0.20-0.30)*ln(0.20/0.30) = (-0.10)*ln(0.6667) = -0.10 * (-0.4055) = 0.04055
الثالثة: (0.30-0.25)*ln(0.30/0.25) = 0.05*ln(1.2) = 0.05*0.1823 = 0.009115
الرابعة: (0.25-0.15)*ln(0.25/0.15) = 0.10*ln(1.6667) = 0.10*0.5108 = 0.05108
الخامسة: (0.15-0.05)*ln(0.15/0.05) = 0.10*ln(3) = 0.10*1.0986 = 0.10986
المجموع: 0.137445 + 0.04055 + 0.009115 + 0.05108 + 0.10986 = 0.34805
درجة PSI = 0.34805 > 0.25، مما يشير إلى انحراف كبير في التوزيع. يجب التحقيق في أسباب تغير سلوك الفئات العمرية، بدءًا من فئة 18-25 التي تساهم وحدها بـ 0.137444 من الدرجة.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة درجة PSI لانحراف الميزات.
توزيع درجات الائتمان: PSI = 0.041539 (مستقر)
- التوزيع المتوقع (مفصول بفواصل)
- 0.10, 0.20, 0.35, 0.25, 0.10
- التوزيع الفعلي (مفصول بفواصل)
- 0.12, 0.25, 0.30, 0.20, 0.13
حملة بريدية: PSI = 0.34805 أي انحراف كبير يبدأ من فئة 18-25
- التوزيع المتوقع (مفصول بفواصل)
- 0.25, 0.30, 0.25, 0.15, 0.05
- التوزيع الفعلي (مفصول بفواصل)
- 0.10, 0.20, 0.30, 0.25, 0.15
توزيعان متطابقان: PSI = 0 بالضبط (خاصية الهوية)
- التوزيع المتوقع (مفصول بفواصل)
- 0.2, 0.3, 0.5
- التوزيع الفعلي (مفصول بفواصل)
- 0.2, 0.3, 0.5