قص التدرجات

أدخل قيم التدرجات (gradient values): قم بإدخال قيم التدرجات المحسوبة من كل طبقة أو معلمة في الشبكة العصبية. هذه القيم تمثل اتجاه وحجم التحديثات التي ستطبق على الأوزان. يجب أن تكون قيم رقمية تفصل بينها فواصل. مثلاً: 0.5, -0.2, 1.3, -0.8. كلما زادت القيمة المطلقة، زاد تأثيرها على التحديث. إذا كانت القيم كبيرة جداً، قد تؤدي إلى عدم استقرار التدريب.

أدخل الحد الأعلى (clip threshold): هذا هو الحد الأقصى المسموح به للـ L2 norm الكلي لجميع التدرجات. يتم حساب L2 norm (المعيار الإقليدي) لجميع قيم التدرجات ثم مقارنته بهذا العتبة. إذا كان المعيار أكبر من العتبة، يتم قياس جميع قيم التدرجات بنفس النسبة لتقليص المعيار إلى قيمة العتبة. اختيار العتبة يعتمد على التجربة والمشكلة، وعادة ما يكون قيماً مثل 1.0 أو 5.0.

حساب المعيار الإقليدي (L2 norm): يحتسب الجذر التربيعي لمجموع مربعات جميع قيم التدرجات. رياضياً: ||g|| = sqrt(∑ g_i²). هذا يمثل المقدار الكلي للتدرجات.