مقارنة معايير نماذج اللغة

لنقم بمقارنة أداء GPT-4 و Llama 3 في معيار MMLU. وفقاً لأحدث النتائج (حتى عام 2024)، يحقق GPT-4 درجة 86.4% بينما يحقق Llama 3 درجة 79.5%، أي فارق 86.4 - 79.5 = 6.9 نقطة مئوية. وبما أن متوسط النماذج الثلاثة الأخرى في عمود MMLU هو (85.7 + 83.7 + 79.5) / 3 = 82.967%، فإن فارق GPT-4 عن متوسط أقرانه يبلغ 86.4 - 82.967 = 3.433 نقطة.

**التفسير التفصيلي:**

MMLU هو معيار يقيس المعرفة العامة عبر 57 مجالاً من العلوم الإنسانية والطبيعية. يتكون الاختبار من أسئلة متعددة الخيارات (4 خيارات) تغطي مواضيع مثل القانون، الطب، الفيزياء، الاقتصاد، وغيرها.

يعود تفوق GPT-4 إلى عدة عوامل:

1. حجم أكبر: GPT-4 يُقدر بعدد معلمات يصل إلى 1.76 تريليون معلمة (مقابل 70 مليار لـ Llama 3)، مما يسمح بتخزين معرفة أكثر.

2. تحسين في التدريب: يستخدم GPT-4 تقنيات تدريب محسّنة مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) وبيانات تدريب أكثر تنوعاً.

3. دقة في الاستدلال: GPT-4 قادر على الربط بين مجالات مختلفة في سؤال واحد (مثلاً سؤال يربط بين الفيزياء والرياضيات).

**التطبيق العملي:**

- إذا كنت باحثاً في مجال الذكاء الاصطناعي، يمكنك استخدام هذه المقارنة لاختيار النموذج المناسب لتطبيقك. على سبيل المثال، في تطبيقات المساعدة الطبية، تحتاج نموذجاً عالي الدقة في MMLU لأنه يقيس المعرفة الطبية.

- أما Llama 3 (نسخة 70 مليار معلمة) فهو نموذج مفتوح المصدر، مما يسمح بالتخصيص والنشر المحلي، لكنه أقل دقة في المعرفة العامة. قد يكون مناسباً للتطبيقات التي تتطلب خصوصية البيانات ولا تحتاج إلى أداء متميز في جميع المجالات. أما درجة Llama 2 70B المذكورة في بعض التقارير (68.9% في MMLU) فغير موجودة في جدول هذه الحاسبة، فلا تحاول استخراجها منها.

لنأخذ نموذج Claude 3 Opus من Anthropic كما ثبتته هذه الحاسبة في لقطة 2024، درجاته:

- MMLU: 85.7%

- GSM8K: 95.0%

- HumanEval: 90.2%

(تذكر بعض التقارير درجة 88.7% لـ Claude 3 Opus في MMLU عند استخدام سلسلة التفكير؛ الجدول هنا يثبت الأرقام المنشورة بلا تفكير مُسلسل، فلا تقارن الرقمين كأنهما قياسان لنفس الإعداد.)

**تحليل كل مقياس:**

1. **MMLU (85.7%):** أداء قوي في المعرفة العامة، لكنه أدنى من GPT-4 (86.4%) بفارق 0.7 نقطة فقط. يظهر قوة النموذج في فهم المعلومات عبر التخصصات. هذا يجعله مثالياً لتطبيقات مثل البحث الأكاديمي والإجابة عن الأسئلة العامة.

2. **GSM8K (95.0%):** يقيس الاستدلال الرياضي المتدرج (مسائل كلامية متعددة الخطوات). تفوق Claude 3 Opus في هذا المقياس يشير إلى قدرته على حل المشكلات المنطقية والرياضية. هذا مهم لتطبيقات مثل التعليم أو التحليل المالي.

3. **HumanEval (90.2%):** يقيس قدرة النموذج على توليد دوال برمجية صحيحة في Python، والمعيار نفسه يتكون من 164 مسألة؛ الدرجة 90.2% تعادل حل نحو 0.902 × 164 = 148 مسألة. هذا أعلى من GPT-4 (87.8%) بفارق 90.2 - 87.8 = 2.4 نقطة، فالبرمجة ليست نقطة ضعف نسبية في هذه اللقطة بل الرياضيات والبرمجة معًا قوته.

**الاستنتاج الشامل:**

- لا يوجد نموذج واحد يتفوق في كل المجالات. اختيار النموذج يعتمد على التطبيق المستهدف.

- Claude 3 يتفوق في الرياضيات (95.0 مقابل 92.0) وفي البرمجة (90.2 مقابل 87.8)، بينما يتفوق GPT-4 بفارق 0.7 نقطة في المعرفة العامة؛ ومتوسط المقاييس الثلاثة الذي تعرضه الحاسبة هو (85.7 + 95.0 + 90.2) / 3 = 90.3 لكلود مقابل (86.4 + 92.0 + 87.8) / 3 = 88.733 لـ GPT-4.

- هذه المقارنة توضح أهمية استخدام مقاييس متعددة للحصول على صورة كاملة لأداء النموذج.