عمليات مشفر المحول

نطبق المعادلة: seqLen=512, dModel=1024, ffnDim=4096.

الجزء الأول (الانتباه): 4 × 512 × 1024² = 4 × 512 × 1,048,576 = 4 × 536,870,912 = 2,147,483,648.

الجزء الثاني (الانتباه التربيعي): 2 × 512² × 1024 = 2 × 262,144 × 1024 = 2 × 268,435,456 = 536,870,912.

الجزء الثالث (الشبكة الأمامية): 2 × 512 × 1024 × 4096 = 2 × 512 × 4,194,304 = 2 × 2,147,483,648 = 4,294,967,296.

المجموع = 2,147,483,648 + 536,870,912 + 4,294,967,296 = 6,979,321,856 FLOPs ≈ 6.98 GFLOPs لكل طبقة.

إذا كان النموذج يحتوي على 24 طبقة، فإن إجمالي FLOPs للترميز ≈ 24 × 6.98 = 167.5 GFLOPs.

seqLen=2048, dModel=12288, ffnDim=49152.

الجزء الأول: 4 × 2048 × 12288² = 4 × 2048 × 150,994,944 = 4 × 309,237,645,312 = 1,236,950,581,248.

الجزء الثاني: 2 × 2048² × 12288 = 2 × 4,194,304 × 12288 = 2 × 51,539,607,552 = 103,079,215,104.

الجزء الثالث: 2 × 2048 × 12288 × 49152 = 2 × 2048 × 603,979,776 = 2 × 1,236,950,581,248 = 2,473,901,162,496.

المجموع = 1,236,950,581,248 + 103,079,215,104 + 2,473,901,162,496 = 3,813,930,958,848 FLOPs ≈ 3.81 TFLOPs لكل طبقة.

لاحظ أن الجزء التربيعي صغير نسبياً مقارنة بالجزء الخطي بسبب طول التسلسل الكبير، لكنه لا يزال مهمًا للنماذج الضخمة.