عمليات الانتباه متعدد الرؤوس

لدينا heads=12, dModel=768, seqLen=512. نطبق القانون: FLOPs = 8 × 512 × 768² + 4 × 512² × 768. أولاً نحسب الجزء الأول: 8 × 512 = 4096، و 768² = 589,824، لذا 4096 × 589,824 = 2,415,919,104. الجزء الثاني: 4 × 512² = 4 × 262,144 = 1,048,576، ثم × 768 = 805,306,368. المجموع = 2,415,919,104 + 805,306,368 = 3,221,225,472 فلوب. بالقسمة على 1,000,000 نحصل على 3,221.23 ميجا فلوب. هذا لكل طبقة انتباه، وفي BERT-base هناك 12 طبقة، لذا الإجمالي هو 38,654.7 ميجا فلوب للمرور الأمامي (forward pass) عبر جميع طبقات الانتباه. يوضح هذا المثال مدى كثافة الحسابات في المحولات، خاصةً مع زيادة طول التسلسل.

لدينا heads=96, dModel=12288, seqLen=2048. نطبق القانون: الجزء الأول: 8 × 2048 × 12288² = 8 × 2048 = 16,384، و 12288² = 150,994,944، لذا 16,384 × 150,994,944 = 2,473,901,162,496 (أي 2.47 تريليون فلوب). الجزء الثاني: 4 × 2048² × 12288 = 4 × 4,194,304 = 16,777,216، ثم × 12288 = 206,158,430,208. المجموع = 2,473,901,162,496 + 206,158,430,208 = 2,680,059,592,704 فلوب. بالقسمة على 1,000,000 نحصل على 2,680,059.59 ميجا فلوب. هذا أكبر بـ 832 مرة بالضبط من حساب BERT السابق (3221.23 ميجا فلوب)، مما يبرز التحدي الضخم في تدريب واستنتاج النماذج الضخمة. لاحظ أن جزء المصفوفات الخطية (الجزء الأول) يهيمن على الحسابات هنا بسبب مربع dModel (12288²)، بينما في BERT بلغ جزء الانتباه 805,306,368 ÷ 3,221,225,472 = 25% بالضبط من الإجمالي مقابل 206,158,430,208 ÷ 2,680,059,592,704 = 7.69% هنا؛ فالجزء الخطي يهيمن في الحالتين بسبب dModel² لكن نصيب الانتباه ينخفض كلما كبر البعد. هذه المقارنة تظهر أهمية فهم توزيع الحسابات عند تحسين النماذج.