تقدير عمليات المحول الحسابية

لحساب FLOPs، نتبع الخطوات:

1. حساب مساهمة طبقة واحدة:

- حسابات الانتباه: 8 * 1024 * (768)^2 + 4 * (1024)^2 * 768

= 8 * 1024 * 589824 + 4 * 1048576 * 768

= 8 * 603,979,776 + 4 * 805,306,368

= 4,831,838,208 + 3,221,225,472 = 8,053,063,680 FLOPs.

- حسابات الشبكة الأمامية: 16 * 1024 * (768)^2 = 16 * 1024 * 589,824 = 16 * 603,979,776 = 9,663,676,416 FLOPs.

- الإجمالي لكل طبقة: 8,053,063,680 + 9,663,676,416 = 17,716,740,096 FLOPs.

2. لعدد 12 طبقة: 12 * 17,716,740,096 = 212,600,881,152 FLOPs.

3. عمليات الإخراج: 2 * 1024 * 768 * 50257 = 2 * 1024 * 38,597,376 = 2 * 39,523,713,024 = 79,047,426,048 FLOPs.

4. الإجمالي: 212,600,881,152 + 79,047,426,048 = 291,648,307,200 FLOPs ≈ 2.91648e11 FLOPs (تدقيق: كان النص 291,622,709,120 بسبب خطأين في الضرب).

لاحظ أن هذا للمرور الأمامي فقط. للتدريب، سيكون حوالي 3 أضعاف هذا الرقم (بما في ذلك الانتشار العكسي وتحديث الأوزان).

حساب GPT-3:

1. لكل طبقة:

- الانتباه: 8 * 2048 * (12288)^2 + 4 * (2048)^2 * 12288

= 8 * 2048 * 150,994,944 + 4 * 4,194,304 * 12,288

= 8 * 309,237,645,312 + 4 * 51,539,607,552

= 2,473,901,162,496 + 206,158,430,208 = 2,680,059,592,704 FLOPs.

- الشبكة الأمامية: 16 * 2048 * (12288)^2 = 16 * 2048 * 150,994,944 = 16 * 309,237,645,312 = 4,947,802,324,992 FLOPs.

- إجمالي الطبقة: 2,680,059,592,704 + 4,947,802,324,992 = 7,627,861,917,696 FLOPs.

2. لـ 96 طبقة: 96 * 7,627,861,917,696 = 732,274,744,098,816 FLOPs.

3. الإخراج: 2 * 2048 * 12288 * 100,000 = 2 * 2048 * 1,228,800,000 = 2 * 2,516,582,400,000 = 5,033,164,800,000 FLOPs.

4. الإجمالي: 732,274,744,098,816 + 5,033,164,800,000 = 737,307,908,898,816 FLOPs ≈ 7.373e14 FLOPs.

المقارنة: نموذج GPT-3 يحتاج إلى حوالي 2528 ضعف FLOPs لنموذج GPT-2 الصغير (7.373e14 / 2.916e11 ≈ 2528). هذا يفسر التكلفة الحسابية الهائلة للنماذج الكبيرة. يُظهر هذا المثال كيف أن زيادة الأبعاد وطول التسلسل يؤديان إلى نمو هائل في العمليات الحسابية.