حساب درجة ROUGE-L

خطوات الاستخدام

أدخل طول أطول تتابع مشترك (LCS) بين الملخص المرجعي والملخص المُنتج. يتم حساب هذا الطول عادةً باستخدام خوارزمية البرمجة الديناميكية لمقارنة النصوص. يشير ارتفاع قيمة LCS إلى وجود تشابه كبير في ترتيب الكلمات بين الملخصين.

أدخل طول الملخص المرجعي (refLen) وهو عدد الكلمات أو الرموز في الملخص القياسي الذي يعتبر الإجابة الصحيحة. هذا الطول ضروري لحساب درجة الاسترجاع (Recall) التي تقيس نسبة التتابع المشترك مقارنةً بالمرجع.

أدخل طول الملخص المُنتج (hypLen) وهو عدد الكلمات في الملخص الذي أنشأه النموذج. هذا الطول ضروري لحساب درجة الدقة (Precision) التي تقيس نسبة التتابع المشترك مقارنةً بالملخص المُنتج.

بعد إدخال القيم، تقوم الحاسبة تلقائياً بحساب Precision = LCS / hypLen، وRecall = LCS / refLen، ثم F1 = 2 * (Precision * Recall) / (Precision + Recall). تتراوح النتيجة بين 0 و1، حيث 1 تعني تطابق تام في التتابع المشترك.

الأسئلة الشائعة

ROUGE-1 يحسب التداخل في الكلمات المفردة (uni-grams) بين الملخص المرجعي والملخص المُنتج، بغض النظر عن ترتيبها. بينما ROUGE-L يعتمد على أطول تتابع مشترك (LCS)، الذي يأخذ ترتيب الكلمات في الاعتبار. على سبيل المثال، إذا كانت الجملة المرجعية 'القط يطارد الفأر' والملخص المُنتج 'الفأر يطارد القط'، فإن ROUGE-1 سيعطي درجة عالية (لأن كل الكلمات موجودة) لكن ROUGE-L سيعطي درجة منخفضة لأن التتابع المشترك الأطول هو 'يطارد' فقط. لذلك، ROUGE-L أكثر حساسية لبنية الجملة والنظام النحوي. يستخدم ROUGE-L غالباً لتقييم التلخيص المستخلص أو المجرد حيث يكون ترتيب الكلمات مهماً. كما أن ROUGE-L لا يعاقب على اختلاف طول الجملة بقدر ROUGE-1.

مقياس BLEU صُمم أصلاً لتقييم الترجمة الآلية، ويعتمد على دقة n-gram مع عقوبة الإيجاز (brevity penalty). بينما ROUGE-L مصمم خصيصاً للتلخيص ويركز على الاسترجاع أكثر من الدقة. في التلخيص، من المهم أن يغطي الملخص المعلومات الرئيسية من النص الأصلي، لذلك يعتبر ROUGE-L أكثر ملاءمة لأنه يستخدم Recall وأيضاً F1 المتوازن. كما أن ROUGE-L لا يتطلب معالجة مسبقة للتطبيع مثل BLEU. ومع ذلك، أظهرت الدراسات أن ROUGE-L يميل إلى تفضيل الملخصات الأقصر، بينما BLEU يفضل الأطول. لذا يُفضل استخدام كليهما حسب السياق.

على الرغم من أن ROUGE-L يعالج مشكلة ترتيب الكلمات بشكل أفضل من ROUGE-N، إلا أن له عدة حدود. أولاً، لا يأخذ في الاعتبار المرادفات أو إعادة الصياغة؛ إذا استخدم الملخص كلمات مرادفة بدلاً من الكلمات الأصلية، فقد يعطي ROUGE-L درجة منخفضة حتى لو كان المعنى مطابقاً. ثانياً، يعتمد على التتابع المشترك الأطول مما قد لا يعكس جودة التلخيص الكلية إذا كان هناك عدة تتابعات قصيرة. ثالثاً، لا يميز بين الكلمات المهمة وغير المهمة؛ جميع الكلمات تعامل بالتساوي. رابعاً، قد يكون حسابه مكلفاً للمستندات الطويلة لأن خوارزمية LCS لديها تعقيد O(n*m). أخيراً، لا يقيس الملاءمة أو الدقة الواقعية للمعلومات المذكورة. لذلك، غالباً ما يُستخدم ROUGE-L مع مقاييس أخرى مثل ROUGE-1 و ROUGE-2 و ROUGE-SU4 للحصول على تقييم شامل.

طول التلخيص يؤثر بشكل كبير على درجة ROUGE-L. إذا كان الملخص المُنتج قصيراً جداً، فسيكون LCS صغيراً بالنسبة لطول المرجع، مما يقلل Recall. وإذا كان طويلاً جداً، فسيزيد احتمال وجود تتابعات غير موجودة في المرجع، مما يقلل Precision. لذا يحاول مقياس F1 الموازنة بينهما. لكن ROUGE-L يميل إلى تفضيل الملخصات الأقصر لأن LCS يكون أكبر نسبةً إلى طول الملخص المُنتج مما يرفع Precision، بينما Recall قد لا ينخفض بشدة إذا كانت المعلومات الأساسية موجودة. لتجنب هذا التحيز، يُستخدم أحياناً متغير ROUGE-LSU الذي يتضمن عقوبة على طول الملخص. في الممارسة، يجب أن يكون طول الملخص قريباً من طول المرجع للحصول على درجات عالية.

حساب درجة ROUGE-L

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1إذا كان طول أطول تتابع مشترك (LCS) بين ملخصين هو 50 كلمة، وطول الملخص المرجعي 80 كلمة، وطول الملخص المُنتج 70 كلمة، فما هي درجة F1 لـ ROUGE-L؟

2في مهمة تلخيص مقال علمي، بلغ طول الملخص المرجعي 120 كلمة، والملخص المُنتج 100 كلمة، وكان طول LCS 60 كلمة. احسب درجة ROUGE-L F1 واشرح النتيجة.

أمثلة محسوبة

الأسئلة الشائعة