حجم الدفعة الفعال

حجم الدفعة الصغيرة (micro batch size) هو عدد العينات التي تمر عبر النموذج في تكرار واحد (forward pass) قبل حساب التدرج. هذا الحجم محدود بذاكرة GPU. أما حجم الدفعة الفعال (effective batch size) فهو العدد الإجمالي للعينات التي تساهم في تحديث الوزن الواحد بعد تجميع التدرجات عبر عدة خطوات تراكم. على سبيل المثال، إذا كان حجم الدفعة الصغيرة 8 وعدد خطوات التراكم 4، فإن حجم الدفعة الفعال هو 32. من الناحية العملية، باستخدام gradient accumulation يمكننا تدريب نماذج كبيرة بكمية ذاكرة أقل، لكن ذلك يزيد من الوقت الحسابي لأننا نؤخر تحديث الأوزان. العلاقة بين الحجم الفعال والسلوك الرياضي للتدرج: تجميع التدرجات هو في الأساس جمع للتدرجات لكل دفعة صغيرة ثم القسمة على عدد الخطوات، مما يعطي متوسط التدرج عبر الدفعة الفعالة. وهذا يكافئ استخدام دفعة كبيرة واحدة من الناحية الرياضية (في حالة batch normalization قد يكون هناك بعض الاختلافات). لذا، لفهم فعالية التراكم، يجب مراعاة أن التحديثات تصبح أقل تكراراً (كل accumulationSteps خطوة)، مما يبطئ التقارب إذا لم يتم تعديل معدل التعلم بشكل مناسب.

تراكم التدرج (gradient accumulation) له تأثيران رئيسيان: الأول هو السماح باستخدام دفعات فعالة كبيرة دون زيادة استهلاك الذاكرة، مما يحسن استقرار التدريب (يقلل تباين التدرج) ويسمح بتقارب أكثر سلاسة. الثاني هو زيادة الوقت الحسابي لكل تحديث وزن، لأننا نؤدي عددًا أكبر من forward/backward passes قبل تطبيق التحديث. على سبيل المثال، إذا كان لدينا 1000 عينة في حقبة واحدة، واستخدمنا microBatch=10 وaccumulationSteps=5، فإننا نجري 100 forward pass عوضًا عن 20 (إذا استخدمنا دفعة فعالة 50 مباشرة). لكن كل تحديث وزن يستفيد من 50 عينة بدلاً من 10. هذا يبطئ التدريب (بمعنى عدد تحديثات الوزن في الثانية أقل)، لكنه قد يحسن الجودة النهائية بسبب استقرار التدرج. في الممارسة، يستخدم التراكم غالبًا لتحقيق أحجام دفعة كبيرة (مثل 256، 512، أو حتى 2048) على وحدات GPU واحدة أو متعددة. ومع ذلك، قد تحتاج أحجام الدفعات الكبيرة جدًا (أكثر من 1024) إلى ضبط معدل التعلم واستراتيجيات مثل linear scaling و warmup لتجنب تدهور الأداء. التراكم ليس بديلاً عن استخدام بطاقات متعددة (data parallelism) حيث يمكن توزيع الدفعة على عدة GPUs، لكنه يعمل بشكل تكميلي: يمكن استخدام التراكم حتى مع التوزيع.

نعم، هناك مبدأ معروف في تدريب الشبكات العصبية هو 'linear scaling rule'، والذي ينص على أنه إذا تم زيادة حجم الدفعة بمقدار k، فيجب زيادة معدل التعلم بمقدار k للحفاظ على انحراف معياري مماثل في تحديثات الوزن. ينطبق هذا على أحجام الدفعات المعتدلة (عادةً أقل من 1024). على سبيل المثال، إذا كنت تستخدم دفعة فعالة 64 مع معدل تعلم 0.1، وقررت مضاعفة الحجم إلى 128، فقد تضبط معدل التعلم إلى 0.2. لكن هذه القاعدة لها حدود: لأحجام الدفعات الكبيرة جدًا، قد تحتاج إلى زيادة أقل من الخطية، واستخدام استراتيجيات مثل warmup التدريجي. عند استخدام gradient accumulation، فإن حجم الدفعة الفعال هو الذي يهم لضبط معدل التعلم. في المقابل، إذا حافظت على نفس معدل التعلم وزدت عدد خطوات التراكم (وبالتالي حجم الدفعة الفعال)، قد تصبح التحديثات أكثر استقرارًا لكنها قد تتقارب إلى حلول ضحلة. لذا، من الممارسات الجيدة البدء بحجم دفعة صغير مع معدل تعلم مناسب، ثم زيادة الحجم الفعال مع تعديل معدل التعلم خطيًا، مع مراقبة دقة التحقق. تجدر الإشارة إلى أن البعض يضبط معدل التعلم بناءً على عدد التحديثات (iterations) بدلاً من الحقبات (epochs)، لأن زيادة الحجم الفعال يقلل عدد التحديثات لكل حقبة.