حساب الحيرة من دالة الخسارة

الحيرة هي مقياس شائع لتقييم نماذج اللغة في معالجة اللغات الطبيعية (NLP). تعبر عن مدى 'دهشة' النموذج عند رؤية بيانات جديدة. يتم تعريفها رياضيًا على أنها exp(خسارة الانتروبيا المتقاطعة). خسارة الانتروبيا المتقاطعة (Cross-Entropy Loss) تقيس متوسط عدد البتات اللازمة لترميز كل كلمة في النص وفقًا لتوزيع الاحتمالات الذي يقدمه النموذج. من خلال تطبيق الدالة الأسية، نحصل على قيمة الحيرة التي تمثل عدد الاحتمالات المتساوية التي يعادل عدم يقين النموذج. كلما انخفضت الحيرة، كان النموذج أفضل في التنبؤ بالتسلسلات. على سبيل المثال، نموذج عشوائي تمامًا (يختار من بين 1000 كلمة بشكل متساوٍ) تكون حيرته 1000، بينما نموذج مثالي (يتنبأ بالكلمة التالية بدقة 100%) تكون حيرته 1. في الممارسة، تتراوح حيرة النماذج الجيدة بين 10 و 100 على مجموعات البيانات القياسية.

تعود جذور هذه الصيغة إلى نظرية المعلومات. خسارة الانتروبيا المتقاطعة H(p,q) هي مقياس للمسافة بين التوزيع الحقيقي p والتوزيع المتوقع q. في نماذج اللغة، p هو التوزيع الحقيقي للكلمات في النص (عادةً ما يكون توزيع أحادي ساخن للكلمة الفعلية)، وq هو التوزيع الاحتمالي الذي ينتجه النموذج. الانتروبيا المتقاطعة تعطي متوسط عدد البتات اللازمة لتمثيل الكلمة باستخدام q عند حدوث p. الآن، perplexity تعرف على أنها 2^{H(p,q)} في حالة استخدام الأساس 2، أو exp(H(p,q)) في حالة استخدام اللوغاريتم الطبيعي. ولكن في الغالب، تستخدم خسارة الانتروبيا المتقاطعة مع اللوغاريتم الطبيعي (ln) لأنها أكثر ملاءمة للاشتقاق في التعلم العميق. وبالتالي، تصبح perplexity = exp(loss). يتم تفسير ذلك على أنه 'عدد الخيارات المكافئة' لأن exp(loss) = (عدد الخيارات) عندما يكون التوزيع منتظمًا. إذا كان loss=0، فإن perplexity=1 (أي خيار واحد مؤكد). إذا كان loss=ln(1000), فإن perplexity=1000 (عدم يقين يعادل الاختيار العشوائي بين 1000 خيار). لذا، توفر perplexity تفسيرًا بديهيًا أكثر من loss.

تعمل الحيرة (Perplexity) كمعيار مباشر لمقارنة أداء نماذج اللغة على نفس مجموعة البيانات. كلما انخفضت الحيرة، كان النموذج أفضل في التنبؤ بتسلسلات الكلمات. لكن يجب الحذر من عدة نقاط: (1) يجب أن تكون مجموعة البيانات متطابقة تمامًا للمقارنة العادلة، لأن الحيرة تعتمد بشكل كبير على مدى صعوبة النص. على سبيل المثال، الحيرة على نصوص تقنية عادة ما تكون أعلى من النصوص العامة. (2) الحيرة لا تقيس جودة النص المولد بشكل مباشر؛ فالنموذج ذو الحيرة المنخفضة قد ينتج نصوصاً مكررة أو غير مبتكرة. (3) قد تكون الحيرة مضللة عند مقارنة نماذج ذات مفردات مختلفة؛ لأن النماذج ذات المفردات الأكبر عادة ما تحقق حيرة أعلى. لذلك، يُستخدم غالبًا مع مقاييس أخرى مثل BLEU أو ROUGE لتقييم الجودة الكلية. في البحث، تُعد الحيرة أداة سريعة لتقييم التقارب أثناء التدريب أو لاختيار فرط المعلمات. على سبيل المثال، نموذج GPT-2 الصغير حقق حيرة 35.13 على مجموعة WikiText-2، بينما GPT-2 الكبير حقق 22.76. يمكن استخدام هذه الأرقام كمرجع.

الحيرة (Perplexity) خاصة بنماذج اللغة وتقييم التنبؤ بالكلمة التالية. بينما الدقة (Accuracy) تقيس نسبة التوقعات الصحيحة، لكنها قد تكون مضللة في سياق اللغة بسبب التوزيع غير المتوازن للكلمات. على سبيل المثال، كلمات شائعة مثل 'the' قد تجعل الدقة عالية حتى لو كان النموذج سيئًا. خسارة (Loss) نفسها (الانتروبيا المتقاطعة) هي مقياس أكثر دقة ولكنها غير بديهية. الحيرة تحول الخسارة إلى مقياس يشبه 'عدد الخيارات' مما يسهل تفسيره - كلما اقتربت من 1 كان أفضل. مقاييس أخرى مثل BLEU أو ROUGE تستخدم لتقييم الترجمة الآلية أو التلخيص، وهي تعتمد على مقارنة n-grams مع النص المرجعي، بينما الحيرة تركز على الاحتمال الذاتي للنموذج. لذا، الحيرة مناسبة لتقييم اللياقة الداخلية للنموذج، بينما المقاييس الخارجية (مثل BLEU) تقيس الجودة الظاهرية للإخراج. في الممارسة، يتم استخدام الحيرة كأداة للتحقق من صحة النموذج أثناء التدريب، ثم يتم التقييم النهائي بمقاييس بشرية أو تطبيقية.