قص التدرجات

أدخل قيم التدرجات (gradient values): قم بإدخال قيم التدرجات المحسوبة من كل طبقة أو معلمة في الشبكة العصبية. هذه القيم تمثل اتجاه وحجم التحديثات التي ستطبق على الأوزان. يجب أن تكون قيم رقمية تفصل بينها فواصل. مثلاً: 0.5, -0.2, 1.3, -0.8. كلما زادت القيمة المطلقة، زاد تأثيرها على التحديث. إذا كانت القيم كبيرة جداً، قد تؤدي إلى عدم استقرار التدريب.

أدخل الحد الأعلى (clip threshold): هذا هو الحد الأقصى المسموح به للـ L2 norm الكلي لجميع التدرجات. يتم حساب L2 norm (المعيار الإقليدي) لجميع قيم التدرجات ثم مقارنته بهذا العتبة. إذا كان المعيار أكبر من العتبة، يتم قياس جميع قيم التدرجات بنفس النسبة لتقليص المعيار إلى قيمة العتبة. اختيار العتبة يعتمد على التجربة والمشكلة، وعادة ما يكون قيماً مثل 1.0 أو 5.0.

حساب المعيار الإقليدي (L2 norm): يحتسب الجذر التربيعي لمجموع مربعات جميع قيم التدرجات. رياضياً: ||g|| = sqrt(∑ g_i²). هذا يمثل المقدار الكلي للتدرجات.

مقارنة المعيار بالحد الأعلى: إذا كان ||g|| ≤ clip_threshold، لا يتم تعديل التدرجات. أما إذا كان ||g|| > clip_threshold، يتم تطبيق القص (clipping). في هذه الحالة، يتم ضرب كل تدرج بعامل القياس (scaling factor) = clip_threshold / ||g||. هذا يضمن أن المعيار الجديد يساوي clip_threshold، مع الحفاظ على اتجاهات التدرجات.

إخراج عامل القياس: بعد الحساب، تظهر النتيجة كعامل القياس الذي سيتم ضرب كل تدرج به. إذا لم يتم القص، يكون العامل 1. وإذا تم القص، يكون العامل أقل من 1. هذا العامل يستخدم في تحديث الأوزان بدلاً من التدرجات الأصلية.