خطوات التسخين الخطي

الخطوة 1: فهم مفهوم التسخين الخطي (Linear Warmup). في تدريب نماذج التعلم العميق، يُستخدم التسخين الخطي لزيادة معدل التعلم تدريجيًا من قيمة صغيرة إلى القيمة المستهدفة خلال عدد معين من الخطوات الأولى من التدريب. هذا يساعد على استقرار التدريب في البداية ومنع التذبذبات الكبيرة في الخسارة. لحساب عدد خطوات التسخين، تحتاج إلى معرفة إجمالي خطوات التدريب (totalSteps) ونسبة التسخين (warmupRatio) التي تمثل الكسر من إجمالي الخطوات المخصصة للتسخين.

الخطوة 2: إدخال القيم المطلوبة. أدخل إجمالي عدد خطوات التدريب (totalSteps)، وهو العدد الكلي للتحديثات التي سيجريها المحسن أثناء التدريب. على سبيل المثال، إذا كنت تخطط لتدريب النموذج لمدة 100 حقبة (epoch) مع 1000 خطوة لكل حقبة، فإن totalSteps = 100,000. ثم أدخل نسبة التسخين (warmupRatio)، وهي قيمة بين 0 و 1، مثل 0.1 (أي 10% من الخطوات ستكون للتسخين).

الخطوة 3: حساب عدد خطوات التسخين. الصيغة بسيطة للغاية: warmupSteps = totalSteps × warmupRatio. ستقوم الآلة الحاسبة بضرب هاتين القيمتين لإعطائك عدد صحيح (غالبًا ما يتم تقريبه لأقرب عدد صحيح). على سبيل المثال، إذا totalSteps = 100,000 و warmupRatio = 0.1، فإن warmupSteps = 10,000 خطوة. هذا يعني أنه خلال أول 10,000 خطوة، سيزداد معدل التعلم خطيًا من قيمته الأولية (غالبًا 0) إلى القيمة المستهدفة، ثم يظل ثابتًا أو ينخفض وفقًا لجدول آخر بعد ذلك.