تقدير عمليات المحول الحسابية

خطوات الاستخدام

أدخل عدد الطبقات (layers): يمثل هذا العدد عدد طبقات التشفير (Transformer blocks) في النموذج. كل طبقة تحتوي على انتباه ذاتي وشبكة عصبية تغذية أمامية. يزيد عدد الطبقات من قدرة النموذج على التعلم ولكنه يزيد أيضًا من العمليات الحسابية.

أدخل أبعاد النموذج (modelDim): هو حجم المتجهات المخفية (d_model) في كل طبقة. تحدد هذه القيمة سعة النموذج وقدرته على تمثيل المعلومات. تتراوح القيم النموذجية من 512 إلى 12288 للنماذج الكبيرة.

أدخل طول التسلسل (seqLen): هو عدد الرموز (tokens) في تسلسل الإدخال. يؤثر طول التسلسل بشكل كبير على العمليات الحسابية بسبب تعقيد O(n^2) في طبقة الانتباه. كلما زاد الطول، زادت حسابات الانتباه بشكل تربيعي.

أدخل حجم المفردات (vocabSize): هو عدد الرموز الفريدة في قاموس النموذج. يستخدم هذا لحساب عمليات طبقة الإخراج (output projection) حيث يتم تحويل المتجه المخفي إلى توزيع احتمالي على المفردات. تأثيرها خطي وليس تربيعي.

الأسئلة الشائعة

FLOPs للمرور الأمامي (forward pass) هو عدد العمليات الحسابية المطلوبة لتوليد مخرجات من مدخلات. في التدريب، نحتاج أيضًا إلى الانتشار العكسي (backward pass) لحساب التدرجات، والذي يتطلب حوالي ضعف عمليات المرور الأمامي لأن كل وزن يحتاج إلى مشتقة جزئية. بالإضافة إلى ذلك، تتطلب تحديثات الأوزان (optimizer step) عمليات إضافية (مثل ضرب التدرجات في معدل التعلم). وفقًا لقوانين القياس (Scaling Laws)، فإن إجمالي FLOPs للتدريب يمكن تقريبه بـ 6 × عدد المعاملات × عدد الرموز (6 × N × D). بالنسبة للمرور الأمامي وحده، فهو حوالي 2 × N × D. لذلك، إذا كان نموذجك يمتلك 1 مليار معامل وتم تدريبه على 300 مليار رمز، فإن FLOPs التدريب ≈ 6 × 1e9 × 3e11 = 1.8e21 FLOPs. من المهم ملاحظة أن هذا التقريب ينطبق على المحولات الكثيفة، وقد تختلف النسبة مع المحولات المقتصدة (Sparse Transformers).

نظرًا لأن تعقيد الانتباه الذاتي هو O(n^2) حيث n هو طول التسلسل، بينما تعقيد بقية العمليات (المسقطات والشبكات الأمامية) هو O(n). في صيغة FLOPs، نرى مصطلح 4 × seqLen^2 × d_model في الانتباه، مما يعني أن مضاعفة طول التسلسل يؤدي إلى أربعة أضعاف العمليات في هذا الجزء. على سبيل المثال، إذا زاد seqLen من 1024 إلى 2048، فإن جزء seqLen^2 يزيد من 1,048,576 إلى 4,194,304 أي أربع مرات. في المقابل، مضاعفة d_model تؤدي إلى أربعة أضعاف الأجزاء الخطية (لأنه مربع d_model) لكنها تبقى خطية في seqLen. لهذا السبب، تصبح النماذج ذات التسلسلات الطويلة (مثل 8192 رمزًا) باهظة التكلفة حسابيًا، وقد تستخدم تقنيات مثل الانتباه المتناثر أو نافذة الانتباه لتقليل التعقيد.

في الانتباه متعدد الرؤوس، نقسم d_model إلى h رأسًا، كل رأس ببعد d_k = d_model / h. يتم حساب الانتباه لكل رأس على حدة ثم دمجها. مجموع العمليات الحسابية لا يتغير بشكل كبير: المسقطات الخطية لـ Q, K, V والمخرج تكون بنفس الأبعاد (d_model × d_model) لأنها تستخدم مصفوفات كبيرة تغطي جميع الرؤوس. أما حسابات الانتباه لكل رأس: كل رأس يتعامل مع تسلسل بطول seqLen وأبعاد d_k، وبالتالي فإن FLOPs لكل رأس هي 2 × seqLen × d_k × seqLen؟ فعلاً، لكن إجمالي جميع الرؤوس سيكون h × حساب الرأس الواحد. حساب الرأس الواحد: حسابات الدرجات (scores) تتطلب seqLen^2 × d_k عملية ضرب-إضافة (2 FLOPs لكل منها)، والمجموع المرجح (weighted sum) يتطلب seqLen^2 × d_k أيضًا. لذا إجمالي الرأس = 4 × seqLen^2 × d_k + مسقطات صغيرة؟ لكن المسقطات داخل الرأس غير موجودة لأن المسقطات الكلية هي من d_model إلى h*d_k. لذا عند جمع h رأسًا: h × (4 × seqLen^2 × d_k) = 4 × seqLen^2 × (h × d_k) = 4 × seqLen^2 × d_model. إذن، نفس النتيجة كما لو كانت رأس واحد. لذلك، عدد الرؤوس لا يؤثر على إجمالي FLOPs، فقط على توزيع العمليات داخل الانتباه. نفس المنطق ينطبق على مسقطات QKV: هي مصفوفة واحدة من d_model إلى 3 d_model (أو 3h d_k) والتي يتم حسابها مرة واحدة. إذن، افتراض الرأس الواحد في صيغتنا صحيح ولا يؤثر التعدد.

تقدير FLOPs مفيد لتقدير التكلفة الحسابية والوقت اللازم لتدريب النموذج أو تشغيله. يمكن مقارنة النماذج المختلفة لتحديد أيها أكثر كفاءة. على سبيل المثال، عند تصميم نموذج جديد، يمكن اختبار تأثير تغيير عدد الطبقات أو الأبعاد على FLOPs قبل التدريب الفعلي. يستخدم الباحثون FLOPs أيضًا لتحديد متطلبات الأجهزة: إذا كان لديك بطاقة رسومية معينة بقوة حسابية (مثل 312 TFLOPS)، يمكنك حساب сколько وقت سيستغرق مرور أمامي واحد (FLOPs / TFLOPS). على سبيل المثال، إذا كان FLOPs=291e9 (من المثال الأول) و TFLOPS=312e12، فإن الوقت ≈ 291e9 / 312e12 = 0.00093 ثانية، أي أقل من ملي ثانية. للتدريب، سيكون أطول بكثير. أيضًا، يستخدم في نماذج القياس (Scaling Laws) للتنبؤ بأداء النموذج بناءً على FLOPs. لكن يجب الحذر: FLOPs ليس المقياس الوحيد لكفاءة النموذج، فهناك عوامل أخرى مثل استخدام الذاكرة وعرض النطاق الترددي والنماذج المقتصدة قد تقلل FLOPs الفعلية.

تقدير عمليات المحول الحسابية

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1نموذج GPT-2 الصغير: layers=12, modelDim=768, seqLen=1024, vocabSize=50257. ما هو إجمالي FLOPs للمرور الأمامي؟

2نموذج GPT-3 الكبير: layers=96, modelDim=12288, seqLen=2048, vocabSize=100000. قارن FLOPs بين هذا النموذج ونموذج GPT-2 الصغير.

أمثلة محسوبة

الأسئلة الشائعة