خطوات الاستخدام
الخطوة الأولى: فهم مفهوم تخفيض جيب التمام (Cosine Decay). هذا الأسلوب يُستخدم في تدريب الشبكات العصبية العميقة لضبط معدل التعلم بشكل ديناميكي. بدلاً من استخدام معدل تعلم ثابت، يقوم تخفيض جيب التمام بتقليل معدل التعلم تدريجياً عبر الزمن وفقاً لدالة جيب التمام. الصيغة الأساسية: learning_rate = final_lr + 0.5 * (initial_lr - final_lr) * (1 + cos(π * current_step / total_steps)). في حالتنا، نفترض أن final_lr = 0، لذا تصبح الصيغة: lr = 0.5 * initial_lr * (1 + cos(π * current_step / total_steps)). هذا يؤدي إلى تقليل سلس لمعدل التعلم من قيمته الأولية إلى الصفر.
الخطوة الثانية: إدخال القيم المطلوبة. ستحتاج إلى ثلاثة مدخلات: معدل التعلم الأولي (initial_lr) وهو القيمة التي تبدأ منها، الخطوة الحالية (current_step) وهي عدد مرات التحديث التي تمت حتى الآن، وإجمالي الخطوات (total_steps) وهو العدد الكلي لخطوات التدريب. تأكد من أن current_step لا تتجاوز total_steps، وإلا فإن معدل التعلم يصبح صفراً أو يتم التعامل معه بشكل مختلف اعتماداً على التنفيذ.
الخطوة الثالثة: تطبيق الصيغة. باستخدام القيم المدخلة، احسب قيمة جيب التمام للزاوية π * (current_step / total_steps). ثم أضف 1، واضرب في 0.5 * initial_lr. الناتج هو معدل التعلم في تلك الخطوة. على سبيل المثال، إذا كان initial_lr = 0.1، current_step = 50، total_steps = 100، فستكون قيمة جيب التمام cos(π * 0.5) = 0، وبالتالي lr = 0.5 * 0.1 * (1+0) = 0.05.