خطوات الاستخدام
أدخل طول أطول تتابع مشترك (LCS) بين الملخص المرجعي والملخص المُنتج. يتم حساب هذا الطول عادةً باستخدام خوارزمية البرمجة الديناميكية لمقارنة النصوص. يشير ارتفاع قيمة LCS إلى وجود تشابه كبير في ترتيب الكلمات بين الملخصين، وبما أن LCS تتابع جزئي من النصين معًا فهو لا يتجاوز أقصرهما طولًا.
أدخل طول الملخص المرجعي (refLen) وهو عدد الكلمات أو الرموز في الملخص القياسي الذي يعتبر الإجابة الصحيحة. هذا الطول ضروري لحساب درجة الاسترجاع (Recall) التي تقيس نسبة التتابع المشترك مقارنةً بالمرجع.
أدخل طول الملخص المُنتج (hypLen) وهو عدد الكلمات في الملخص الذي أنشأه النموذج. هذا الطول ضروري لحساب درجة الدقة (Precision) التي تقيس نسبة التتابع المشترك مقارنةً بالملخص المُنتج.
بعد إدخال القيم، تقوم الحاسبة تلقائياً بحساب Precision = LCS / hypLen، وRecall = LCS / refLen، ثم F1 = 2 * (Precision * Recall) / (Precision + Recall). تتراوح النتيجة بين 0 و1، حيث 1 تعني تطابق تام في التتابع المشترك.
يُستخدم مقياس ROUGE-L لتقييم جودة التلخيص الآلي، خاصةً عندما تكون ترتيب الكلمات مهماً. على عكس ROUGE-N الذي يعتمد على n-gram، يركز ROUGE-L على التتابع المشترك الأطول، مما يعطي فكرة عن السلاسة والترتيب النحوي.
أمثلة محلولة
تطبيقات عملية على حساب درجة ROUGE-L بخطوات الحل كاملة.
الحل
نقوم بحساب Precision أولاً: Precision = LCS / hypLen = 50 / 70 = 0.7143. ثم Recall = LCS / refLen = 50 / 80 = 0.625. ثم F1 = 2 * (0.7143 * 0.625) / (0.7143 + 0.625) = 2 * 0.4464 / 1.3393 = 0.8929 / 1.3393 = 0.6667. إذن درجة F1 هي 0.6667 أو 66.67%. هذا يعني أن الملخص المُنتج يلتقط حوالي 66.7% من التتابع المشترك الأطول بين الملخصين، مع توازن بين الدقة والاسترجاع.
الحل
نحسب Precision = 60/100 = 0.6، Recall = 60/120 = 0.5، ثم F1 = 2*(0.6*0.5)/(0.6+0.5) = 2*0.3/1.1 = 0.6/1.1 = 0.5455. النتيجة 54.55% تشير إلى أن الملخص المُنتج يفتقد إلى بعض المعلومات المهمة أو أن ترتيب الكلمات غير متسق مع المرجع بشكل كافٍ. لتحسين النتيجة، يمكن زيادة طول الملخص أو تحسين اختيار الجمل للحفاظ على التتابعات المشتركة الأطول.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة حساب درجة ROUGE-L.
مثال 1: LCS 50 من مرجع 80 وملخص 70 → F1 = 66.666667%
- طول أطول تسلسل جزئي مشترك (كلمة)
- 50
- طول النص المرجعي (كلمة)
- 80
- طول النص المفترض (كلمة)
- 70
مثال 2: 60 من 120 و100 → 54.545455%
- طول أطول تسلسل جزئي مشترك (كلمة)
- 60
- طول النص المرجعي (كلمة)
- 120
- طول النص المفترض (كلمة)
- 100
تطابق تام: 100% بلا فروق طول
- طول أطول تسلسل جزئي مشترك (كلمة)
- 100
- طول النص المرجعي (كلمة)
- 100
- طول النص المفترض (كلمة)
- 100
LCS = 0: تعريف F1 بصفر بالمئة بدل قسمة صفر على صفر
- طول أطول تسلسل جزئي مشترك (كلمة)
- 0
- طول النص المرجعي (كلمة)
- 80
- طول النص المفترض (كلمة)
- 70