خطوات الاستخدام
الخطوة 1: إدخال العدد الإجمالي للعينات (totalSamples). هذا العدد يمثل جميع نقاط البيانات المتوفرة لديك، مثل عدد الصور أو النصوص أو السجلات في مجموعة البيانات. يجب أن يكون عددًا صحيحًا موجبًا. على سبيل المثال، إذا كان لديك 10,000 صورة لتصنيف القطط والكلاب، فستدخل 10000.
الخطوة 2: إدخال النسبة المئوية لمجموعة التدريب (trainPct). هذه النسبة تحدد حجم البيانات التي ستستخدم لتدريب النموذج. النسب الشائعة تتراوح بين 60% و80%. أدخل القيمة كنسبة مئوية (مثلاً 70 لـ 70%). يجب أن تكون بين 0 و 100.
الخطوة 3: إدخال النسبة المئوية لمجموعة التحقق (valPct). هذه النسبة تحدد حجم البيانات المستخدمة لضبط المعلمات الفائقة ولمراقبة الأداء أثناء التدريب دون تلويث مجموعة الاختبار. النسبة الشائعة هي 10-15%. أدخل القيمة كنسبة مئوية (مثلاً 15). يجب أن تكون بين 0 و 100، وشرط أن trainPct + valPct <= 100.
الخطوة 4: حساب مجموعة الاختبار (testPct = 100 - trainPct - valPct). يتم حساب عدد العينات لكل مجموعة بضرب النسبة المئوية في totalSamples وتقسيمها على 100. قد تحدث أخطاء تقريب بسبب الكسور، لذا تنصح الحاسبة بتقريب الأعداد الصحيحة والتحقق من أن مجموع العينات يساوي totalSamples.
الخطوة 5: مراجعة الأحجام الناتجة. تأكد من أن كل مجموعة تحتوي على عدد كافٍ من العينات لتمثيل التوزيع الإحصائي. مثلاً، مجموعة اختبار صغيرة جداً قد تؤدي إلى تقدير غير موثوق لأداء النموذج. ينصح بألا تقل مجموعة الاختبار عن 1000 عينة أو 10% من الإجمالي أيهما أكبر.
أمثلة محلولة
تطبيقات عملية على تقسيم التدريب والتحقق والاختبار بخطوات الحل كاملة.
الحل
لحساب الأحجام: مجموعة التدريب = 70% من 5000 = 0.70 * 5000 = 3500 عينة. مجموعة التحقق = 15% من 5000 = 0.15 * 5000 = 750 عينة. مجموعة الاختبار = 15% من 5000 = 0.15 * 5000 = 750 عينة. المجموع = 3500 + 750 + 750 = 5000 عينة. إذا كان المجموع لا يساوي تماماً 5000 بسبب التقريب، يمكنك ضبط إحدى المجموعات. مثلاً، إذا كانت الكسور العشرية تنتج 3499.8، يمكن تقريبها إلى 3500. في هذه الحالة، الأعداد صحيحة. يجب دائماً التأكد من أن التقسيم عشوائي ومتوازن (stratified) إذا كانت البيانات غير متوازنة.
الحل
أولاً، نتحقق: trainPct=80, valPct=10, testPct = 100 - 80 - 10 = 10%. الآن عدد عينات التدريب = 0.80 * 15000 = 12000 عينة. مجموعة التحقق = 0.10 * 15000 = 1500 عينة. مجموعة الاختبار = 0.10 * 15000 = 1500 عينة. الإجمالي = 12000+1500+1500=15000. في الممارسة العملية، يجب الانتباه إلى أن التقسيم العشوائي قد يؤدي إلى اختلاف توزيع الفئات بين المجموعات، لذا ينصح باستخدام التقسيم الطبقي (stratified split) للحفاظ على نسب الفئات. على سبيل المثال، إذا كانت 30% من التغريدات إيجابية و70% سلبية، فيجب أن تحتوي كل مجموعة على نفس النسبة تقريباً.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة تقسيم التدريب والتحقق والاختبار.
مثال 1: 5000 → 3500/750/750 مع اختبار غير كافٍ
- إجمالي العينات
- 5,000
- نسبة التدريب (%)
- 70
- نسبة التحقق (%)
- 15
مثال 2: 15000 → 12000/1500/1500 والاختبار كافٍ
- إجمالي العينات
- 15,000
- نسبة التدريب (%)
- 80
- نسبة التحقق (%)
- 10
10000 بثلاثين بالمئة: 3000 تدريب و3000 تحقق و4000 اختبار
- إجمالي العينات
- 10,000
- نسبة التدريب (%)
- 30
- نسبة التحقق (%)
- 30
10 عينات: الاختبار يمتص فرق التقريب (3/3/4)
- إجمالي العينات
- 10
- نسبة التدريب (%)
- 33
- نسبة التحقق (%)
- 33
عينة واحدة: صفر للتدريب وصفر للتحقق
- إجمالي العينات
- 1
- نسبة التدريب (%)
- 1
- نسبة التحقق (%)
- 1
مليونا عينة: 1.2M/400K/400K والمعيار 200K
- إجمالي العينات
- 2,000,000
- نسبة التدريب (%)
- 60
- نسبة التحقق (%)
- 20