خطوات الاستخدام
الخطوة 1: تحديد عدد الأمثلة لكل دورة تدريبية (Examples per Epoch). هذا الرقم يمثل عدد عينات البيانات الفريدة التي سيتم استخدامها في دورة تدريبية واحدة. اختر هذا الرقم بناءً على حجم مجموعة البيانات الخاصة بك. مثلاً، إذا كان لديك 1000 مثال، أدخل 1000. كلما زاد العدد، زادت الحاجة إلى الموارد الحاسوبية.
الخطوة 2: تحديد عدد دورات التدريب (Epochs). عدد المرات التي سيمر فيها النموذج على مجموعة البيانات بالكامل. اختر هذا الرقم بناءً على مدى تعقيد المهمة وحجم البيانات. زيادة عدد الدورات قد تؤدي إلى تحسين الأداء ولكن قد تسبب الإفراط في التخصيص (Overfitting).
الخطوة 3: حساب متوسط عدد الرموز لكل مثال (Average Tokens per Example). هذا الرقم يمثل متوسط طول كل مثال من حيث الرموز (Tokens). يمكنك حسابه بقسمة إجمالي عدد الرموز في مجموعة البيانات على عدد الأمثلة. كلما زاد عدد الرموز، زادت التكلفة الحاسوبية.
الخطوة 4: تطبيق الصيغة الرياضية لحساب إجمالي الرموز المطلوبة للضبط الدقيق: إجمالي الرموز = عدد الأمثلة لكل دورة × عدد الدورات × متوسط الرموز لكل مثال. هذه الصيغة تعطي تقديراً دقيقاً لعدد الرموز التي سيعالجها النموذج خلال عملية التدريب بأكملها.
الخطوة 5: تفسير النتيجة. الناتج هو عدد الرموز الإجمالي الذي ستحتاجه لتدريب النموذج. استخدم هذا الرقم لتقدير التكلفة (إذا كانت الخدمة تفرض رسوماً لكل رمز) أو لتخطيط الموارد الحاسوبية. تذكر أن هذا مجرد تقدير، وأن الاستخدام الفعلي قد يختلف قليلاً.
أمثلة محلولة
تطبيقات عملية على حجم بيانات الضبط الدقيق بخطوات الحل كاملة.
الحل
لحساب إجمالي الرموز، نتبع الصيغة: إجمالي الرموز = عدد الأمثلة لكل دورة × عدد الدورات × متوسط الرموز لكل مثال. في هذا المثال: عدد الأمثلة لكل دورة = 5000، عدد الدورات = 3، متوسط الرموز لكل مثال = 200. إذن: إجمالي الرموز = 5000 × 3 × 200 = 3,000,000 رمز. هذا يعني أن النموذج سيعالج 3 ملايين رمز خلال التدريب. إذا كانت تكلفة الخدمة 0.01 دولار لكل 1000 رمز، فستكون التكلفة التقريبية 3,000,000 / 1000 * 0.01 = 30 دولاراً. يمكنك استخدام هذه المعلومات لتحديد ما إذا كانت الميزانية كافية أم لا.
الحل
بتطبيق الصيغة: إجمالي الرموز = 20000 × 5 × 1500 = 150,000,000 رمز (150 مليون رمز). هذا رقم ضخم يشير إلى أن عملية الضبط الدقيق ستكون مكلفة وتتطلب موارد حاسوبية كبيرة. لتقدير الوقت، إذا كان النموذج يعالج 10000 رمز في الثانية، فسيستغرق التدريب حوالي 150,000,000 / 10,000 = 15,000 ثانية، أي حوالي 4.17 ساعات. هذا المثال يوضح أهمية تقدير الحجم قبل البدء في التدريب لتجنب المفاجآت.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة حجم بيانات الضبط الدقيق.
5,000 مثال × 3 دورات × 200 رمز = 3 ملايين رمز
- الأمثلة لكل حقبة
- 5,000
- عدد الحقبات
- 3
- متوسط الرموز لكل مثال
- 200
20,000 وثيقة × 5 دورات × 1500 رمز: 150 مليون رمز (4.17 ساعة)
- الأمثلة لكل حقبة
- 20,000
- عدد الحقبات
- 5
- متوسط الرموز لكل مثال
- 1,500
100 مثال × 10 دورات × 1024 رمز = 1,024,000 رمز
- الأمثلة لكل حقبة
- 100
- عدد الحقبات
- 10
- متوسط الرموز لكل مثال
- 1,024