نسبة الإفراط في العينات (SMOTE)

خطوات الاستخدام

الخطوة 1: إدخال عدد عينات الأقلية (minorityClass). هذا هو عدد العينات الأصلية في الفئة الأقلية قبل تطبيق SMOTE. على سبيل المثال، إذا كان لديك 100 عينة من الفئة الأقلية، أدخل 100. تؤثر هذه القيمة بشكل مباشر على عدد العينات الاصطناعية المطلوبة.

الخطوة 2: إدخال عدد عينات الأغلبية (majorityClass). هذا هو عدد العينات الأصلية في الفئة الأغلبية. على سبيل المثال، إذا كان لديك 1000 عينة من الفئة الأغلبية، أدخل 1000. تستخدم هذه القيمة لتحديد الحجم المستهدف للفئة الأقلية بعد SMOTE.

الخطوة 3: إدخال النسبة المستهدفة (targetRatio). هذه هي النسبة المطلوبة بين الفئة الأقلية والفئة الأغلبية بعد تطبيق SMOTE. على سبيل المثال، إذا كنت تريد توازناً كاملاً (1:1) أدخل 1.0. إذا كنت تريد أن تكون الفئة الأقلية نصف حجم الأغلبية، أدخل 0.5. النسبة عادة ما تكون بين 0 و 1 أو أكثر من 1 إذا كنت ترغب في جعل الأقلية أكبر.

الأسئلة الشائعة

SMOTE (اختصار لـ Synthetic Minority Over-sampling Technique) هو تقنية معالجة مسبقة للبيانات تستخدم لمعالجة مشكلة عدم التوازن بين الفئات في مجموعات البيانات، خاصة في مشاكل التصنيف الثنائي. الفكرة الأساسية هي إنشاء عينات اصطناعية من الفئة الأقلية بدلاً من تكرار العينات الموجودة (كما هو الحال في over-sampling العشوائي). تعمل الخوارزمية كالتالي: أولاً، لكل عينة في الفئة الأقلية، يتم العثور على أقرب k جيران من نفس الفئة (عادة k=5). ثم، يتم اختيار أحد هذه الجيران عشوائياً، ويتم إنشاء عينة جديدة على طول الخط المستقيم بين العينة الأصلية وجارها المختار، مع اختيار نقطة عشوائية بينهما. يتم تكرار هذه العملية حتى يتم إنشاء العدد المطلوب من العينات الاصطناعية. الميزة الرئيسية لـ SMOTE هي أنه يضيف تنوعاً للفئة الأقلية ويساعد في تجنب overfitting الذي يحدث غالباً مع التكرار البسيط. ومع ذلك، يجب توخي الحذر لأن SMOTE قد يقدم ضوضاء إذا كانت الفئات متداخلة، وقد لا يكون مناسباً للبيانات عالية الأبعاد أو ذات الضوضاء الكثيرة. يمكن استخدامه مع تقنيات أخرى مثل Tomek Links أو Edited Nearest Neighbours لتحسين الجودة.

النسبة المستهدفة (targetRatio) هي النسبة بين عدد عينات الفئة الأقلية بعد SMOTE وعدد عينات الفئة الأغلبية الأصلية. لا توجد نسبة مثالية واحدة تناسب جميع الحالات، بل تعتمد على سياق المشكلة وطبيعة البيانات. بشكل عام: - القيمة 1.0 تؤدي إلى توازن كامل (1:1)، وهو الخيار الأكثر شيوعاً عندما يكون التوازن مهماً وتكون الفئة الأقلية ممثلة بشكل كافٍ. - القيم الأقل من 1.0 (مثل 0.5 أو 0.7) تستخدم عندما يكون هناك قلق من أن التوازن الكامل قد يسبب overfitting أو تشويه للعلاقات الحقيقية في البيانات. - القيم الأكبر من 1.0 (مثل 2.0) تستخدم في حالات نادرة حيث نريد جعل الأقلية أكبر من الأغلبية، ولكن هذا غير شائع لأنه قد يزيد من الضوضاء. من الممارسات الجيدة تجربة نسب مختلفة وتقييم أداء النموذج على مجموعة تحقق منفصلة باستخدام مقاييس مثل precision, recall, F1-score، أو AUC-ROC. أيضاً، يجب مراعاة أن SMOTE يعمل بشكل أفضل عندما لا تكون البيانات عالية الأبعاد جداً أو شديدة عدم التوازن (مثل نسبة 1:1000). في الحالات المتطرفة، قد تحتاج إلى تقنيات أخرى مثل ADASYN أو Borderline-SMOTE.

SMOTE ليس حلاً سحرياً لمشكلة عدم التوازن، وله عدة حدود: أولاً، يمكن أن يزيد من الضوضاء إذا كانت الفئات متداخلة بشكل كبير. عندما يتم إنشاء عينات اصطناعية في مناطق متداخلة، قد يؤدي ذلك إلى تشويش حدود القرار وجعل النموذج يخطئ في التصنيف. ثانياً، SMOTE لا يأخذ في الاعتبار توزيع الفئة الأغلبية، مما قد يؤدي إلى إنشاء عينات في مناطق غير مفيدة أو حتى ضارة. ثالثاً، في البيانات عالية الأبعاد (آلاف الميزات)، تصبح فكرة الجوار الأقرب أقل معنى لأن المسافات بين النقاط تتجمع (curse of dimensionality)، مما يقلل من فعالية SMOTE. رابعاً، SMOTE قد لا يكون مناسباً للبيانات غير الرقمية (مثل النص أو الصور) بدون تحويل مناسب. خامساً، إذا كانت الفئة الأقلية صغيرة جداً (أقل من 10 عينات)، فإن SMOTE ينتج عينات متكررة مشابهة وقد لا يضيف تنوعاً كافياً. في هذه الحالات، قد يكون من الأفضل استخدام تقنيات أخرى مثل جمع المزيد من البيانات، أو استخدام خوارزميات حساسة للتكلفة، أو تطبيق تقنيات under-sampling من الفئة الأغلبية مثل NearMiss. أيضاً، هناك تقنيات هجينة مثل SMOTEENN و SMOTETomek التي تجمع بين SMOTE وتنظيف البيانات لتحسين النتائج.

على الرغم من أن هذا الحاسبة لا تطلب معلمة k، إلا أنها معلمة مهمة في تطبيق SMOTE الفعلي. تحدد k عدد الجيران الأقرب الذين يتم النظر إليهم عند إنشاء العينات الاصطناعية لكل عينة من الأقلية. القيمة الافتراضية هي 5. إذا كانت k صغيرة (مثل 2 أو 3)، فإن العينات الجديدة ستكون مشابهة جداً للعينات الأصلية وجيرانها القريبين، مما قد يؤدي إلى زيادة التباين (variance) ولكن أيضاً خطر من overfitting إذا كانت العينات الأصلية ضوضاء. إذا كانت k كبيرة (مثل 10 أو 20)، فسيتم النظر إلى جيران أبعد، مما ينتج عينات أكثر تنوعاً ولكن قد يشمل جيران من فئة الأغلبية إذا كان التداخل كبيراً، مما ينتج عينات في مناطق حدودية غير مرغوب فيها. بشكل عام، k=5 هو اختيار جيد لمعظم الحالات. يمكن تحسين الأداء عن طريق ضبط k بناءً على تحليل البيانات أو استخدام تقنيات متقدمة مثل Borderline-SMOTE التي تركز على العينات الحدودية. من المهم أيضاً أن يكون عدد عينات الأقلية أكبر من k لضمان العثور على جيران كافيين.

نسبة الإفراط في العينات (SMOTE)

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة