تسريع التدريب بالدقة المختلطة

خطوات الاستخدام

الخطوة 1: فهم مفهوم التدريب بالدقة المختلطة (Mixed Precision Training). تعتمد هذه التقنية على استخدام أرقام الفاصلة العائمة بدقة 16 بت (FP16) بدلاً من 32 بت (FP32) في بعض العمليات الحسابية أثناء تدريب نماذج التعلم العميق. يؤدي ذلك إلى تقليل استخدام الذاكرة وزيادة سرعة التدريب على المزيد الحديثة (مثل NVIDIA Volta وTuring وAmpere) التي تحتوي على وحدات Tensor Cores مخصصة للحسابات منخفضة الدقة. ومع ذلك، فإن الدقة المنخفضة قد تسبب فقدان بعض المعلومات، لذا يتم استخدام تقنيات إضافية مثل gradient scaling للحفاظ على دقة النموذج.

الخطوة 2: إدخال وقت التدريب بالدقة الكاملة (fp32Time). هذا هو الوقت المستغرق لتدريب النموذج باستخدام الدقة 32 بت (FP32). يمكنك الحصول على هذا الوقت من التجارب السابقة أو من تقدير أولي. على سبيل المثال، إذا كنت تعلم أن تدريب نموذج معين يستغرق 100 ساعة باستخدام FP32، فأدخل 100. هذا الرقم هو الأساس الذي سنقارن به السرعة.

الخطوة 3: تحديد عامل التخفيض (reductionRatio). يمثل هذا العامل مدى تقليل وقت التدريب عند استخدام الدقة المختلطة. عادةً ما يكون بين 1.2 و 2.5، اعتماداً على عدة عوامل: نوع المزيد (GPU)، حجم الدفعة (batch size)، وهيكل النموذج. على سبيل المثال، إذا كانت سرعة التدريب تتضاعف بالضبط عند استخدام FP16، فسيكون العامل 2. لكن في الواقع، قد يكون أقل بسبب الحمل الإضافي لتحويل الدقة أو بسبب عدم استفادة بعض الطبقات من Tensor Cores. اختر عاملاً بناءً على مراجع أو تجارب سابقة. على سبيل المثال، في نماذج الرؤية الحاسوبية الكبيرة مثل ResNet-50 على V100، يمكن أن يكون العامل حوالي 2.1.

الأسئلة الشائعة

الإجابة: نعم، قد يؤثر ولكن في معظم الحالات يكون التأثير ضئيلاً للغاية. المشكلة الرئيسية مع FP16 هي النطاق المحدود للأرقام (5.96 × 10⁻⁸ إلى 65504) مقارنة بـ FP32 (1.18 × 10⁻³⁸ إلى 3.4 × 10³⁸). هذا يؤدي إلى خطر فقدان التدرجات الصغيرة (underflow) أو تفيض الأعداد (overflow). لحل هذه المشكلة، تستخدم تقنية gradient scaling حيث يتم ضرب التدرجات في عامل مقياس قبل التخفيض إلى FP16، ثم عكسه بعد التحديث. مع اختيار مقياس مناسب (عادةً 2^16)، يمكن الحفاظ على نفس دقة FP32. بالإضافة إلى ذلك، تستخدم بعض المكتبات (مثل mixed precision training في PyTorch وTensorFlow) تقنيات إضافية مثل 'dynamic loss scaling' التي تضبط المقياس تلقائياً. الدراسات التجريبية (مثل مقالة NVIDIA حول mixed precision) أظهرت أنه على نماذج مثل ResNet-50 و Transformer، لا يوجد فرق ملحوظ في دقة التصنيف أو معاملات BLEU عند استخدام FP16 مقارنة بـ FP32. ومع ذلك، قد تكون هناك نماذج حساسة للغاية حيث يكون التأثير ملحوظاً، وفي هذه الحالة يمكن استخدام الدقة المختلطة مع FP16 فقط للطبقات غير الحرجة. بشكل عام، مع المعالجة الصحيحة، يمكن اعتبار التأثير على الدقة مهملاً.

الإجابة: اختيار factor التخفيض يعتمد على عدة عوامل: نوع المزيد (GPU)، بنية النموذج، حجم الدفعة، ونسبة العمليات التي تستفيد من Tensor Cores. يمكنك الحصول على تقدير مبدئي من المصادر التالية: - مواقع الشركات المصنعة: NVIDIA ينشر تقارير أداء لمختلف النماذج على المزيد الخاصة به. على سبيل المثال، على V100، يمكن أن يصل التسريع في نماذج مثل ResNet-50 إلى 2.1X، وعلى A100 إلى 2.5X. - الأبحاث: العديد من الأوراق تذكر نسبة التسريع المحققة. - التجربة العملية: أفضل طريقة هي إجراء تجربة سريعة بتدريب بضع مئات من الخطوات في كلا الوضعين وحساب وقت كل خطوة. ثم استخدم النسبة الفعلية. إذا لم تتمكن من التجربة، استخدم عاملاً افتراضياً 1.8 للنماذج الكبيرة و 1.3 للنماذج الصغيرة. لاحظ أن العامل يمكن أن يتغير بتغير حجم الدفعة: كلما زاد حجم الدفعة، زادت كفاءة Tensor Cores، وبالتالي زاد العامل. أيضاً، إذا كان النموذج يحتوي على طبقات تلافيفية كثيرة، فالتسريع أكبر من النماذج المحتوية على طبقات متصلة بالكامل. في النهاية، استخدم القيم المتوسطة من المراجع.

الإجابة: تدعم المزيد من NVIDIA التي تحتوي على Tensor Cores (من فئة NVIDIA Volta وما بعدها: V100، Tesla T4، RTX 20/30/40 series، A100، H100) التدريب بالدقة المختلطة بشكل أجهزة. كما تدعم AMD بعض المزيد مثل MI250X الدقة المختلطة من خلال بروتوكولات مثل ROCm. بالنسبة للمكتبات، تحتاج إلى إطار عمل يدعمه مثل PyTorch (مع torch.cuda.amp أو torch.amp)، TensorFlow (مع tf.keras.mixed_precision أو tf.auto_mixed_precision)، أو JAX. هذه المكتبات تتعامل تلقائياً مع تحويل الدقة وإدارة loss scaling. بالنسبة للمزيد القديمة (مثل GTX 1080) التي لا تحتوي على Tensor Cores، قد لا تحصل على تسريع، بل قد يزيد الوقت بسبب الحمل الإضافي. ومع ذلك، يمكنك تجربة استخدام FP16 مع حساب النقطة العائمة العادية (بدون Tensor Cores) ولكن الفائدة محدودة. من المهم أيضاً توفر ذاكرة كافية، حيث أن FP16 يقلل استخدام الذاكرة إلى النصف تقريباً. إذا كنت تستخدم مزيدًا بدون Tensor Cores، فقد يكون من الأفضل الالتزام بـ FP32.

الإجابة: من الناحية النظرية، يمكن استخدام الدقة المختلطة لأي نموذج تعلم عميق، لكن فعاليتها تعتمد على بنية النموذج. النماذج التي تحتوي على طبقات تلافيفية ومتكررة (مثل CNN وRNN) تستفيد كثيراً، لأن Tensor Cores مصممة لضرب المصفوفات (عمليات GEMM) بكفاءة عالية. في المقابل، النماذج التي تعتمد على عمليات مثل التفريغ (sparse operations) أو الحسابات المتجهة غير المنتظمة قد لا تستفيد. على سبيل المثال، نماذج الرؤية الحاسوبية (مثل ResNet, EfficientNet) تحقق تسريعاً جيداً، وكذلك نماذج معالجة اللغة الطبيعية (مثل BERT, GPT). النماذج الصغيرة جداً (مثل النماذج ذات عدد قليل من الطبقات) قد لا ترى تحسناً كبيراً لأن وقت تحويل الدقة قد يكون أكبر من الوقت الموفر. بالإضافة إلى ذلك، بعض الطبقات مثل softmax و layer normalization غالباً ما تبقى في FP32 (أو FP16 محسنة) لضمان الاستقرار. في المجمل، ما لم يكن النموذج حساساً جداً للدقة (مثل بعض نماذج التعلم المعزز)، فإن استخدام الدقة المختلطة آمن ويوصى به.

تسريع التدريب بالدقة المختلطة

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1مثال 1: تدريب نموذج BERT-Large لمدة 120 ساعة باستخدام FP32 على GPU A100. إذا كان عامل التخفيض المتوقع هو 2.3، فما الوقت المقدر باستخدام الدقة المختلطة؟

2مثال 2: نموذج YOLOv5 يتدرب في 40 ساعة على GPU RTX 3080 باستخدام FP32. بسبب بعض القيود، عامل التخفيض هو 1.6 فقط. كم سيستغرق بالدقة المختلطة؟ وما العوامل التي تسبب انخفاض العامل؟

أمثلة محسوبة

الأسئلة الشائعة