خطوات الاستخدام
الخطوة الأولى: إدخال عدد البتات الأصلي (Original Bits). هذا هو دقة الأرقام المستخدمة في النموذج الأصلي، مثل 32 بت لنوع FP32. كلما زاد عدد البتات، زادت دقة التمثيل ولكن زاد حجم النموذج. أدخل القيمة المناسبة بناءً على النموذج الذي تستخدمه.
الخطوة الثانية: إدخال عدد البتات المستهدف (Target Bits). هذا هو الدقة الجديدة التي ترغب في تقليص النموذج إليها، مثل 8 بت لنوع INT8. اختيار دقة أقل يقلل حجم النموذج ويسرع الاستدلال، لكنه قد يؤثر على دقة المخرجات.
الخطوة الثالثة: حساب نسبة ضغط التكميم (Compression Ratio). تقسم عدد البتات الأصلي على عدد البتات المستهدف للحصول على النسبة. مثلاً، إذا كان الأصلي 32 بت والهدف 8 بت، تكون النسبة 4:1 (أي أن النموذج المضغوط أصغر بأربع مرات). هذه النسبة تعكس التخفيض في حجم التخزين النظري، مع افتراض عدم تغير عدد المعاملات.
الخطوة الرابعة: تفسير النتيجة. تشير النسبة إلى مدى تقليص حجم النموذج. يمكنك حساب النسبة المئوية للتخفيض كالتالي: (1 - 1/النسبة) * 100. فمثلاً، النسبة 4 تعني تخفيضاً بنسبة 75%. لاحظ أن التكميم العملي قد يتضمن عوامل إضافية مثل جداول القياس (Scaling Factors) مما قد يقلل قليلاً من الضغط الفعلي.
أمثلة محلولة
تطبيقات عملية على نسبة ضغط التكميم بخطوات الحل كاملة.
الحل
لحساب نسبة الضغط، نقسم عدد البتات الأصلي (32) على عدد البتات المستهدف (8): 32 ÷ 8 = 4. إذن نسبة الضغط هي 4:1. هذا يعني أن حجم النموذج سيصبح ربع الحجم الأصلي تقريبًا. على سبيل المثال، إذا كان حجم النموذج الأصلي 500 ميغابايت، فسيصبح بعد التكميم حوالي 125 ميغابايت (500 ÷ 4 = 125). التخفيض النسبي في الحجم هو 75%. هذا التكميم شائع في نشر النماذج على الأجهزة المحمولة والحواف حيث تكون الذاكرة محدودة. لكن يجب الانتباه إلى أن التكميم إلى 8 بت غالبًا ما يؤدي إلى فقدان بسيط في الدقة، ولكن يمكن تعويضه جزئيًا بتقنيات مثل التكميم الحساس للقنوات (Per-channel quantization) أو استخدام معايرة لبيانات التدريب.
الحل
نسبة الضغط = 16 ÷ 4 = 4. إذن النسبة 4:1 أيضًا. تخفيض الحجم النظري هو 75% (أي أن النموذج يصبح ربع الحجم). لكن التكميم إلى 4 بت أكثر صعوبة ويحتاج إلى تقنيات متقدمة مثل التكميم المتدرج (Quantization-Aware Training) أو التكميم مع المحافظة على الدقة. عمليًا، قد يكون الضغط الفعلي أقل بسبب استخدام جداول قياس إضافية لكل قناة أو كتلة. إذا كان النموذج الأصلي بحجم 200 ميغابايت، فسيكون بعد التكميم حوالي 50 ميغابايت. لكن دقة النموذج قد تنخفض بشكل ملحوظ، خاصة في المهام الحساسة مثل الترجمة أو التعرف على الصور. هناك أبحاث حديثة تظهر إمكانية التكميم إلى 4 بت مع الحفاظ على أداء قريب من الأصلي باستخدام تقنيات مثل GPTQ أو AWQ.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة نسبة ضغط التكميم.
مثال 1: FP32 → INT8 عامل 4 و500 ميجابايت تصبح 125
- البتات الأصلية
- 32
- البتات المستهدفة
- 8
- حجم النموذج الأصلي (MB)
- 500
FP32 → INT4: عامل 8 و7000 ميجابايت تصبح 875
- البتات الأصلية
- 32
- البتات المستهدفة
- 4
- حجم النموذج الأصلي (MB)
- 7,000
FP32 → FP16: عامل 2 والنصف بالضبط
- البتات الأصلية
- 32
- البتات المستهدفة
- 16
- حجم النموذج الأصلي (MB)
- 1,000
FP32 → 2-bit: عامل 16 و512 ميجابايت تصبح 32
- البتات الأصلية
- 32
- البتات المستهدفة
- 2
- حجم النموذج الأصلي (MB)
- 512