خطوات الاستخدام
أدخل متجه التدرج: قم بإدخال قيم التدرج لكل معلمة في النموذج، مفصولة بفواصل. هذه القيم تمثل مشتقات دالة الخسارة بالنسبة لكل وزن. يتم حساب التدرج من خلال الانتشار العكسي ويشير إلى اتجاه ومدى تحديث الأوزان.
أدخل قيمة القص (clipValue): هي عتبة قص متجه التدرج. اختر قيمة موجبة (مثل 1.0 أو 5.0) بناءً على حجم الشبكة ومعدل التعلم. القيم الصغيرة تمنع الانفجار لكنها قد تبطئ التدريب.
حساب معيار L2: يتم حساب الجذر التربيعي لمجموع مربعات عناصر المتجه. رياضياً: ||g||₂ = √(∑ gᵢ²). يمثل هذا المقياس مقدار التدرج الكلي.
مقارنة المعيار مع قيمة القص: إذا كان ||g||₂ > clipValue، يتم تطبيق القص بنسبة clipValue/||g||₂، مما يقلل من مقدار التدرج دون تغيير اتجاهه. أما إذا كان ||g||₂ ≤ clipValue، يبقى المتجه دون تغيير.
إخراج المتجه المقصوص: يتم ضرب كل عنصر في عامل القص إذا لزم الأمر. الناتج هو متجه التدرج المعدل الذي يُستخدم لتحديث الأوزان.
أمثلة محلولة
تطبيقات عملية على قص معيار التدرج بخطوات الحل كاملة.
الحل
أولاً نحسب معيار L2: ||g||₂ = √(2² + (-4)² + 1²) = √(4 + 16 + 1) = √21 ≈ 4.583. بما أن 4.583 > 2.0، نطبق القص. عامل القص = clipValue / ||g||₂ = 2.0 / 4.583 ≈ 0.436. يتم ضرب كل عنصر في 0.436: المتجه المقصوص = [2.0×0.436, -4.0×0.436, 1.0×0.436] = [0.872, -1.744, 0.436]. لاحظ أن الاتجاه لم يتغير، فقط المقدار صار 2.0. هذا يمنع التدرج من الانفجار ويحافظ على استقرار التدريب.
الحل
المعيار: ||g||₂ = √(0.01 + 0.04 + 0.0025) = √0.0525 ≈ 0.229. بما أن 0.229 ≤ 10.0، لا يتم القص. المتجه يبقى كما هو. هذا يوضح أن التدرجات الصغيرة لا تتأثر، مما يسمح بالتحديثات الطبيعية للأوزان. القص يُطبق فقط عندما يكون التدرج كبيراً جداً.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة قص معيار التدرج.
متجه [2,-4,1] مع clipValue=2: المعياريصبح 2 بعامل 0.4364
- متجه التدرج (قيم مفصولة بفواصل)
- 2.0, -4.0, 1.0
- قيمة القص
- 2
تدرج صغير 0.2291 دون العتبة 10: لا قص والعامل 1
- متجه التدرج (قيم مفصولة بفواصل)
- 0.1, -0.2, 0.05
- قيمة القص
- 10
متجه 1..5 مع حد 5: المعياريُنزل من 7.4162 إلى 5
- متجه التدرج (قيم مفصولة بفواصل)
- 1, 2, 3, 4, 5
- قيمة القص
- 5
متجه 3-4-5 بحد 2.5: عامل 0.5 بالضبط
- متجه التدرج (قيم مفصولة بفواصل)
- 3, 4
- قيمة القص
- 2.5