خطأ العينات خارج الحقيبة للغابة العشوائية

خطوات الاستخدام

الخطوة الأولى: فهم مفهوم العينات خارج الحقيبة (OOB) - عند تدريب نموذج الغابة العشوائية، يتم بناء كل شجرة باستخدام عينة Bootstrap (عينة مع إعادة من مجموعة البيانات الأصلية). حوالي 63% من العينات الأصلية تظهر في كل عينة Bootstrap، بينما الـ 37% المتبقية لا تظهر في تلك الشجرة وتسمى العينات خارج الحقيبة (Out-of-Bag). يتم استخدام هذه العينات لتقييم أداء الشجرة دون الحاجة إلى مجموعة اختبار منفصلة. يُحسب خطأ OOB كمتوسط خطأ التنبؤ عبر جميع العينات، حيث يتم التنبؤ بكل عينة فقط باستخدام الأشجار التي لم تظهر فيها تلك العينة أثناء التدريب.

الخطوة الثانية: دور عدد الأشجار (trees) - عدد الأشجار يؤثر بشكل مباشر على دقة تقدير خطأ OOB. كلما زاد عدد الأشجار، زادت استقرارية التقديرات وقل التباين. في البداية، يقل خطأ OOB بسرعة مع زيادة عدد الأشجار، لكنه يستقر بعد عدد معين من الأشجار (عادة 100-500 شجرة). من المهم إدخال عدد كافٍ من الأشجار (مثلاً 100 أو أكثر) للحصول على تقدير موثوق. القيم الصغيرة جداً (مثل 10 أشجار) تؤدي إلى تقدير غير مستقر.

الخطوة الثالثة: تأثير حجم العينة (samples) - عدد العينات (حجم مجموعة البيانات الأصلية) يؤثر على كمية العينات خارج الحقيبة. مع عدد عينات أكبر، يكون لدينا المزيد من العينات OOB لكل شجرة، مما يحسن دقة تقدير الخطأ. كما أن زيادة عدد العينات تقلل من تأثير التحيز في التقدير. لكن إذا كان عدد العينات صغيراً جداً (مثل أقل من 50)، فقد يكون تقدير OOB غير دقيق بسبب قلة العينات المتاحة للاختبار.

الأسئلة الشائعة

خطأ OOB (Out-of-Bag) هو طريقة تقدير داخلية للغابة العشوائية تستفيد من عينات Bootstrap. أثناء تدريب كل شجرة، لا يتم استخدام حوالي 37% من العينات (خارج الحقيبة)، وتستخدم هذه العينات لتقييم الشجرة لاحقاً. يتم حساب متوسط الخطأ عبر جميع الأشجار لكل عينة بناءً على الأشجار التي لم تتضمنها. هذه العملية تتم تلقائياً أثناء التدريب ولا تتطلب تقسيم البيانات يدوياً. أما التحقق المتقاطع (Cross-validation) فهو أسلوب عام يقسم البيانات إلى أجزاء (k folds) ويتم تدريب النموذج على k-1 أجزاء واختباره على الجزء المتبقي، ويتكرر ذلك k مرة. الفرق الرئيسي: خطأ OOB أسرع حسابياً (لأنه يستخدم نفس عملية التدريب) ولا يتطلب إعادة تدريب متعددة مثل التحقق المتقاطع. لكنه قد يكون متحيزاً في حالة العينات الصغيرة أو عندما تكون البيانات غير متوازنة. بشكل عام، خطأ OOB يعطي تقديراً غير متحيز تقريباً لخطأ التعميم عندما يكون عدد الأشجار كبيراً، ويعد بديلاً جيداً للتحقق المتقاطع في الغابة العشوائية. لكن عند الحاجة إلى تقدير دقيق جداً أو عند مقارنة نماذج مختلفة، قد يُفضل التحقق المتقاطع.

يمكن استخدام خطأ OOB كأداة لاختيار المعلمات الفائقة مثل عدد الأشجار (n_estimators) والحد الأقصى لعمق الشجرة (max_depth) وعدد المتغيرات المدروسة في كل تقسيم (max_features). بما أن خطأ OOB لا يحتاج إلى مجموعة اختبار منفصلة، فيمكن تدريب عدة نماذج بقيم مختلفة للمعاملات وحساب خطأ OOB لكل نموذج. ثم اختيار المعاملات التي تعطي أقل خطأ OOB. ومع ذلك، يجب الحذر من الإفراط في التوليف (overfitting) على خطأ OOB نفسه، خاصةً إذا تم اختبار العديد من القيم. تقنية أفضل هي استخدام خطأ OOB كتقدير أولي ثم تأكيده باستخدام التحقق المتقاطع إذا أمكن. على سبيل المثال، يمكن البدء بعدد أشجار 100 ورؤية الخطأ، ثم زيادة العدد حتى يستقر الخطأ. وكذلك يمكن تغيير max_features (مثلاً من sqrt(p) إلى log2(p) أو p/3) ومراقبة التأثير على خطأ OOB. تذكر أن خطأ OOB يميل إلى أن يكون متحيزاً عند أحجام عينات صغيرة، لذلك يُفضل استخدامه مع بيانات كبيرة (أكثر من 1000 عينة).

خطأ OOB يُعتبر غير متحيز لكل عينة لأن التنبؤ لكل عينة يتم فقط بواسطة الأشجار التي لم ترَ تلك العينة أثناء التدريب (خارج الحقيبة). هذا يشبه التحقق المتقاطع ولكنه يستخدم عينات Bootstrap. بالنسبة لعدد كبير من الأشجار، متوسط خطأ OOB عبر جميع العينات يقترب من خطأ التعميم الحقيقي (خطأ التنبؤ على بيانات جديدة). السبب هو أن عملية Bootstrap تحاكي أخذ عينات متعددة من المجتمع، وكل عينة OOB هي عينة اختبار طبيعية. لكن عدم الدقة يحدث في الحالات التالية: (1) حجم عينة صغير جداً (أقل من 50 عينة)، حيث يكون عدد العينات OOB قليلاً لكل شجرة، مما يزيد التباين والتحيز. (2) وجود فئات غير متوازنة بشدة (مثلاً 99% فئة و1% أخرى)، حيث قد لا تظهر العينات الصغيرة كافية في OOB. (3) عندما تكون البيانات شديدة التشتت أو تحتوي على قيم متطرفة. (4) إذا كان عدد الأشجار صغيراً جداً (أقل من 20)، فإن التباين كبير وقد لا يكون التقدير موثوقاً. بشكل عام، مع عدد أشجار كافٍ (100+) وحجم عينة معتدل (500+)، خطأ OOB يعد تقديراً ممتازاً.

نعم، في بعض الحالات قد يكون خطأ OOB أعلى من خطأ الاختبار الفعلي، وهذا يحدث غالباً في حالتين: (1) عندما يكون عدد العينات صغيراً، حيث أن العينات OOB تمثل حوالي 37% من البيانات الأصلية فقط، وقد تكون غير ممثلة جيداً، مما يؤدي إلى تقدير متحيز بالزيادة. (2) عندما تكون البيانات منظمة أو زمنية (Time series) حيث تفترض العشوائية؛ لأن طريقة Bootstrap قد تخلط الترتيب الزمني، مما يسبب تسرب بيانات من المستقبل إلى الماضي، لكن هذا نادر في الغابة العشوائية لأنها لا تعتمد على الترتيب. سبب آخر هو أن خطأ OOB يُحسب بناءً على توقعات الأشجار التي لم ترَ العينة، لكن هذه الأشجار قد تكون أضعف من المتوسط (كل شجرة ترى جزءاً من البيانات)، لذا قد يكون هناك تحيز طفيف إلى الأعلى. مع ذلك، عادةً ما يكون خطأ OOB قريباً جداً من خطأ الاختبار على مجموعة اختبار منفصلة (بفارق 1-2%) عندما يكون النموذج مضبوطاً جيداً. إذا لاحظت أن خطأ OOB أعلى بكثير، فتحقق من أن عدد الأشجار كافٍ وأن العينة ليست صغيرة جداً، وإلا استخدم التحقق المتقاطع كبديل.

خطأ العينات خارج الحقيبة للغابة العشوائية

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1مثال 1: استخدام الغابة العشوائية لتصنيف عملاء البنك (إفلاس أم لا) مع 5000 عينة و 200 شجرة. ما هو خطأ OOB التقريبي وكيف يتغير إذا قللنا الأشجار إلى 50؟

2مثال 2: مجموعة بيانات طبية صغيرة تحتوي على 200 عينة لتشخيص مرض (فئتين). كم عدد الأشجار اللازم للحصول على تقدير OOB موثوق؟ قارن بين 30 و 100 شجرة.

أمثلة محسوبة

الأسئلة الشائعة