خطوات الاستخدام
الخطوة 1: فهم مفهوم تقليم النموذج. تقليم النموذج هو عملية إزالة المعاملات غير المهمة من الشبكة العصبية لتقليل حجم النموذج وتسريع الاستدلال دون التضحية كثيرًا بالدقة. يتم حساب نسبة تقليم النموذج (نسبة التخلخل) بقسمة عدد المعاملات التي تمت إزالتها على عدد المعاملات الأصلية، معبرًا عنها كنسبة مئوية. على سبيل المثال، إذا كان النموذج الأصلي يحتوي على 10 ملايين معامل وبعد التقليم أصبح 7 ملايين، فإن نسبة التقليم هي (10-7)/10 = 30%.
الخطوة 2: إدخال عدد المعاملات الأصلية (Original Parameters). هذا هو العدد الإجمالي للأوزان والتحيزات في النموذج قبل أي تقليم. يجب أن يكون رقمًا موجبًا، بالكسور العشرية عند الحاجة لأن الوحدة هنا هي الملايين: 25.6 مليون (= 25,600,000 معاملًا) رقم صحيح من المعاملات وإن لم يكن صحيحًا بالآحاد. كلما زاد هذا الرقم، زادت إمكانية التقليم. على سبيل المثال، في نموذج ResNet-50، يكون عدد المعاملات حوالي 25.6 مليون.
الخطوة 3: إدخال عدد المعاملات بعد التقليم (Pruned Parameters). هذا هو العدد المتبقي من المعاملات بعد تطبيق التقليم. يجب أن يكون أقل من أو يساوي العدد الأصلي. يتم تحديد هذا الرقم بناءً على استراتيجية التقليم المستخدمة، مثل تقليم العتبة أو التقليم الهيكلي. على سبيل المثال، بعد تقليم 30% من معاملات ResNet-50، يصبح العدد حوالي 17.9 مليون.
الخطوة 4: حساب نسبة التقليم. تقوم الحاسبة تلقائيًا بتطبيق الصيغة: نسبة التقليم = ((المعاملات الأصلية - المعاملات بعد التقليم) / المعاملات الأصلية) × 100%. والنتيجة هي قيمة مئوية تتراوح بين 0% (بدون تقليم) و100% (إزالة جميع المعاملات). يُشار إلى هذه النسبة أيضًا بدرجة التخلخل (Sparsity Ratio). على سبيل المثال، إذا كان المدخلان 25.6 مليون و17.9 مليون، تكون النسبة (25.6-17.9)/25.6 × 100% ≈ 30.1%.
الخطوة 5: تفسير النتيجة. نسبة التقليم العالية (مثل >90%) تعني نموذجًا أصغر حجمًا وأسرع في الاستدلال، لكنها قد تؤدي إلى فقدان دقة كبير. النسبة المنخفضة (مثل <30%) تحتفظ بالدقة ولكن بفوائد أقل في الأداء. يُستخدم هذا المقياس لتحقيق توازن بين حجم النموذج ودقته. في الممارسة العملية، يجب التحقق من أداء النموذج بعد التقليم لإيجاد النسبة المثلى.
أمثلة محلولة
تطبيقات عملية على نسبة تقليم النموذج بخطوات الحل كاملة.
الحل
الإجابة: لحساب نسبة التقليم، نستخدم الصيغة: ((110,000,000 - 77,000,000) / 110,000,000) × 100% = (33,000,000 / 110,000,000) × 100% = 0.3 × 100% = 30%. إذن نسبة التقليم هي 30%. من الناحية العملية، نسبة تقليم 30% تعتبر معتدلة. في العديد من الدراسات، يمكن للنماذج مثل BERT أن تحتفظ بأكثر من 98% من دقتها الأصلية عند تقليم 30-50% من المعاملات غير المهمة. التوفير في الحجم هو 33 مليون معامل، مما يقلل من الذاكرة المطلوبة ويسرع الاستدلال بنسبة تصل إلى 30-40% على الأجهزة المناسبة. لكن يجب اختبار النموذج على مجموعة بيانات التحقق للتأكد من عدم وجود تدهور كبير في الدقة.
الحل
الإجابة: الحساب: ((138,000,000 - 55,200,000) / 138,000,000) × 100% = (82,800,000 / 138,000,000) × 100% ≈ 0.6 × 100% = 60%. نسبة التقليم هي 60%. هذا تقليم كبير. في VGG-16، يمكن أن يؤدي التقليم الهيكلي بنسبة 60% إلى تقليل عدد العمليات الحسابية (FLOPs) بأكثر من 50%، مما يسرع الاستدلال بشكل كبير على الأجهزة المحدودة الموارد. ومع ذلك، فإن فقدان الدقة قد يكون ملحوظًا (>5%) ما لم يتم استخدام تقنيات مثل إعادة التدريب (fine-tuning) لاستعادة الدقة المفقودة. في الممارسة العملية، نسبة 60% قد تكون مناسبة للتطبيقات التي تتطلب سرعة عالية وتضحية بقليل من الدقة، مثل أنظمة الرؤية الحاسوبية في الوقت الحقيقي. لكن يجب التوازن: مع زيادة النسبة فوق 70%، يزداد خطر فقدان الدقة الحاد.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة نسبة تقليم النموذج.
مثال 1: BERT-base من 110 إلى 77 مليون: 30% مُقلَّمة وعامل 1.428571
- المعاملات الأصلية (بالملايين)
- 110
- المعاملات بعد التقليم (بالملايين)
- 77
مثال 2: VGG-16 من 138 إلى 55.2 مليون: 60% تقليم وعامل ضغط 2.5
- المعاملات الأصلية (بالملايين)
- 138
- المعاملات بعد التقليم (بالملايين)
- 55.2
ResNet-50 بـ 25.6 و17.9 مليون: 30.078125% (ينص الدليل على ≈30.1%)
- المعاملات الأصلية (بالملايين)
- 25.6
- المعاملات بعد التقليم (بالملايين)
- 17.9
حالة عدم التقليم: 0% ونسبة كثافة 100% وعامل 1
- المعاملات الأصلية (بالملايين)
- 25.6
- المعاملات بعد التقليم (بالملايين)
- 25.6
تقليم كامل 10/0 مليون: 100% بلا قسمة على صفر
- المعاملات الأصلية (بالملايين)
- 10
- المعاملات بعد التقليم (بالملايين)
- 0