خسارة تقطير المعرفة

1. أدخل قيمة خسارة الطالب (Student Loss): تمثل هذه القيمة الخطأ بين توقعات نموذج الطالب والملصقات الحقيقية (Hard Targets). عادةً ما تكون هذه الخسارة محسوبة باستخدام دالة خسارة مثل الإنتروبيا المتقاطعة (Cross-Entropy). يجب أن تكون القيمة موجبة، وكلما كانت أصغر كان أداء الطالب أفضل على البيانات الحقيقية.

2. أدخل قيمة خسارة المعلم (Teacher Loss): تمثل هذه القيمة الخطأ بين توقعات نموذج المعلم والملصقات الحقيقية أو بين توزيعات الاحتمالات الناعمة (Soft Targets) لنموذج المعلم وتوقعات الطالب. في تقطير المعرفة، تُستخدم هذه القيمة لنقل المعرفة من المعلم إلى الطالب. يجب أن تكون القيمة موجبة.

3. اختر معامل الترجيح α (Weight Factor): يتحكم هذا المعامل في الموازنة بين خسارة الطالب وخسارة المعلم. يُستخدم α في الصيغة: الخسارة الكلية = α * خسارة الطالب + (1-α) * خسارة المعلم. عادةً ما تكون قيمة α بين 0 و1. القيمة الأكبر تعطي وزناً أكبر لخسارة الطالب (التعلم من الملصقات الحقيقية)، بينما القيمة الأصغر تعطي وزناً أكبر لخسارة المعلم (التعلم من المعلم).