زمن استدلال النموذج

الخطوة الأولى: أدخل إجمالي عدد العمليات الحسابية (FLOPs) التي يتطلبها تشغيل النموذج لاستدلال واحد، بوحدة GFLOPs كما يطلب عنوان الحقل. يتم حساب FLOPs بناءً على بنية النموذج (عدد الطبقات، حجم المصفوفات، وظائف التنشيط). على سبيل المثال، قاعدة 2xP تعطي لنموذج GPT-3 بـ 175 مليار معلمة حوالي 2 × 175e9 = 3.5x10^11 عملية لكل رمز مولّد، أي 350 GFLOP (لا 3.5x10^14 كما كان مكتوبًا، وهو مبالغ ألف ضعف). يمكنك حساب FLOPs يدويًا أو استخدام أدوات مثل torch.utils.flop_counter.

الخطوة الثانية: أدخل قوة الحوسبة القصوى لوحدة التسريع (accelerator FLOPS) بوحدة FLOPS (أي عملية فاصلة عائمة في الثانية). على سبيل المثال، وحدة NVIDIA A100 تبلغ ذروة أدائها حوالي 312 TFLOPS (3.12 × 10^14 FLOPS) في الدقة المختلطة. تأكد من استخدام القيمة المناسبة لنوع الدقة المستخدمة (FP16، BF16، FP32).

الخطوة الثالثة: انقر على زر الحساب. ستحسب الأداة زمن الاستدلال النظري باستخدام المعادلة: زمن الاستدلال = FLOPs / (acceleratorFLOPS). ومع ذلك، هذا الزمن مثالي ولا يأخذ في الاعتبار عوامل الكفاءة مثل عنق الزجاجة في الذاكرة، توازي المعالجة، ووقت نقل البيانات. في الواقع، قد يكون الزمن الفعلي أكبر بمقدار 2-5 مرات اعتمادًا على الحمل الزائد.

الخطوة الرابعة: (اختياري) لفهم أكثر دقة، يمكنك تطبيق عامل كفاءة بنسبة 30-50% (مثلاً 0.3) لحساب الزمن الواقعي التقريبي: الزمن الفعلي = FLOPs / (acceleratorFLOPS × معامل الكفاءة). يمكنك تعديل الناتج يدويًا باستخدام هذه المعادلة لتقدير أفضل.

الخطوة الخامسة: استخدم النتيجة لتقييم ما إذا كان النموذج مناسبًا لتطبيقك من حيث زمن الاستجابة. على سبيل المثال، إذا كان الزمن المحسوب أكبر من 100 مللي ثانية، فقد لا يكون مناسبًا للتطبيقات في الوقت الفعلي مثل المحادثات التفاعلية.