عمليات مشفر المحول

خطوات الاستخدام

الخطوة 1: إدخال طول التسلسل (seqLen). يمثل عدد الرموز (tokens) في تسلسل الإدخال. كلما زاد طول التسلسل، زادت العمليات الحسابية بشكل تربيعي في طبقة الانتباه (O(seqLen^2)) وخطي في الطبقات الأخرى. أدخل قيمة صحيحة موجبة.

الخطوة 2: إدخال بُعد النموذج (dModel). هو حجم تمثيل كل رمز بعد التضمين (embedding). يُستخدم في جميع طبقات المحول، ويؤثر بشكل خطي على معظم العمليات الحسابية. أدخل قيمة صحيحة موجبة (مثل 512 أو 1024).

الخطوة 3: إدخال بُعد الشبكة العصبية التغذية الأمامية (ffnDim). يمثل عدد الوحدات في الطبقة المخفية للشبكة الأمامية (FFN) داخل كل طبقة. عادةً ما يكون 4 أضعاف dModel. أدخل قيمة صحيحة موجبة.

الخطوة 4: حساب FLOPs الكلية. تستخدم الآلة الحاسبة المعادلة: FLOPs = 4*seqLen*dModel^2 + 2*seqLen^2*dModel + 2*seqLen*dModel*ffnDim. تمثل هذه المعادلة عدد عمليات الفاصلة العائمة لطبقة مشفر محول واحدة (بدون طبقات التطبيع و التجميع). الناتج بوحدة FLOPs (يمكن تحويله إلى GFLOPs بالقسمة على 10^9).

الأسئلة الشائعة

FLOPs (عدد عمليات الفاصلة العائمة) هو مقياس لعدد العمليات الحسابية المطلوبة لتشغيل نموذج أو طبقة. في نماذج المحولات مثل BERT وGPT، تحدد FLOPs التعقيد الحسابي للنموذج. تعتبر FLOPs مؤشراً هاماً لتقدير وقت التدريب والاستدلال، واستهلاك الطاقة، ومتطلبات الأجهزة. كلما زادت FLOPs، زاد الوقت والطاقة اللازمة. على سبيل المثال، يتطلب نموذج GPT-3 (175 مليار معلمة) حوالي 3.14e23 FLOPs للتدريب الكامل. تساعد حسابات FLOPs الباحثين والمهندسين في مقارنة كفاءة النماذج المختلفة واتخاذ قرارات حول تحسين النماذج أو تقليل التعقيد.

زيادة طول التسلسل (seqLen) تؤثر بشكل كبير على FLOPs بطريقتين: خطياً وتربيعياً. الحد التربيعي (2×seqLen²×dModel) يأتي من حساب انتباه المنتج النقطي (attention scores) حيث يتم حساب مصفوفة seqLen×seqLen. هذا يعني أنه مضاعفة طول التسلسل تربع عدد العمليات في هذا الجزء تقريباً (أربع أضعاف). أما الحدود الخطية (مثل 4×seqLen×dModel²) فتتضاعف خطياً. لذلك، بالنسبة للتسلسلات الطويلة (مثل 4096 أو أكثر)، يصبح الانتباه هو العنصر المهيمن. هذا هو السبب في تطوير آليات انتباه فعالة مثل الانتباه المنزلق (sliding window) أو الانتباه الخطي لتقليل التعقيد التربيعي.

عدد المعلمات هو عدد الأوزان والقيم القابلة للتعلم في النموذج، بينما FLOPs هو عدد العمليات الحسابية التي تتم أثناء تمريرة أمامية واحدة. يمكن أن يكون لنموذجين نفس عدد المعلمات ولكن FLOPs مختلفة تماماً بسبب اختلاف طول التسلسل أو طبقات الشبكة. مثلاً، نموذج مع طبقة انتباه ذاتية ذات رأس واحد (single-head) له FLOPs أقل من نموذج متعدد الرؤوس (multi-head) لنفس عدد المعلمات. عادةً ما يكون عدد المعلمات مقياساً لحجم الذاكرة المطلوبة، بينما FLOPs مقياس للوقت الحسابي. ومع ذلك، في نماذج المحولات، هناك علاقة تقريبية: FLOPs لكل رمز ≈ 2 × عدد المعلمات (للنماذج التوليدية) أو 4 × عدد المعلمات (للنماذج الترميزية). هذا ليس دقيقاً دائماً ولكن يعطي تقديراً سريعاً.

هناك عدة تقنيات لتقليل FLOPs مع الحفاظ على الأداء: 1. تقليل أبعاد النموذج (dModel) مع زيادة عدد الطبقات (depth) بشكل متوازن: يمكن أن يحقق ذلك استفادة أفضل من الحساب. 2. استخدام الانتباه المتناثر (sparse attention) مثل الانتباه المحلي (local attention) أو انتباه النافذة (window attention) لتقليل التعقيد التربيعي إلى خطي تقريباً. 3. تقاسم الأوزان (weight sharing) عبر الطبقات لتقليل المعلمات وبالتالي FLOPs. 4. استخدام تقنيات التقطير (distillation) حيث يتم تدريب نموذج صغير (طالب) لتقليد نموذج كبير (معلم)، مما يقلل FLOPs بنسبة كبيرة. 5. تحسين بنية FFN عن طريق استخدام بوابات (gating) أو طبقات ذات معاملات متناثرة مثل Mixture-of-Experts (MoE) التي تنشط جزءاً فقط من المعلمات لكل إدخال، مما يقلل FLOPs الفعلية. 6. استخدام دقة مختلطة (mixed precision) مثل FP16 أو INT8 لتقليل الحمل الحسابي، لكن هذا يؤثر على FLOPs الحقيقية (عمليات الفاصلة العائمة تبقى كما هي من حيث العدد، لكنها أسرع).

عمليات مشفر المحول

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1مثال 1: نموذج BERT Large - طول تسلسل 512، بُعد نموذج 1024، بُعد FFN 4096. كم عدد FLOPs لكل طبقة؟

2مثال 2: نموذج GPT-3 - طول تسلسل 2048، بُعد نموذج 12288، بُعد FFN 49152. كم عدد FLOPs لكل طبقة؟

أمثلة محسوبة

الأسئلة الشائعة