حاسبة ذاكرة وحدة معالجة الرسوميات

الخطوة 1: إدخال عدد المعلمات (Parameters) – أدخل العدد الإجمالي لمعلمات النموذج، مثل 7 مليار (7B) أو 70 مليار (70B). هذا الرقم يؤثر مباشرةً على حجم الذاكرة المطلوبة، لأن كل معلمة تُخزَّن بقيمتها العددية التي تحتاج عدد معين من البايتات حسب الدقة المختارة. يمكن معرفة عدد المعلمات من ورقة النموذج أو من مواصفاته.

الخطوة 2: اختيار الدقة (Precision) – الدقة تحدد عدد البايتات لكل معلمة. مثلاً float32 (4 بايت)، float16/bfloat16 (2 بايت)، int8 (1 بايت). كلما زادت الدقة، زادت الذاكرة المستهلكة، ولكن قد تزداد دقة التدريب. يجب اختيار الدقة المناسبة للجهاز؛ فبعض وحدات المعالجة تدعم فقط دقة معينة في العمليات الحسابية.

الخطوة 3: إدخال حجم الدفعة (Batch Size) – عدد العينات التي تُعالج معًا في كل خطوة تدريب. حجم الدفعة يضاعف احتياج الذاكرة تقريبًا، لأنه يحدد عدد التنشيطات (Activations) المخزنة مؤقتًا. إذا كان حجم الدفعة كبيرًا، قد تحتاج لذاكرة إضافية لحساب التدرجات (Gradients) والتحسينات (Optimizer States).

الخطوة 4: فهم المعادلة الأساسية – تقوم الحاسبة بتقدير إجمالي الذاكرة المطلوبة باستخدام المعادلة: VRAM (GB) = (عدد المعلمات × بايت لكل معلمة × (1 للنموذج + 1 للتدرجات + معامل المحسن) × حجم الدفعة) / 10⁹. معامل المحسن (Optimizer Factor) غالبًا 2 لـ Adam (يخزن لحظتين) و0 لـ SGD (لا يخزن لحظات). هذا تقدير تقريبي يتجاهل ذاكرة التنشيطات والترميزات، لذا يُنصح بإضافة هامش أمان 10-20%. وكن واعيًّا بأنه حد أعلى متحفّظ: الأوزان والتدرجات وحالات المحسن تشترك فيها كل عينات الدفعة ولا تتضاعف مع حجمها في الأطر الحقيقية (التي تتضاعف هي التنشيطات)، لذا يبالغ التقدير مع الدفعات الكبيرة.

الخطوة 5: تفسير النتائج – ستحصل على قيمة بالجيجابايت (GB). قارنها مع ذاكرة بطاقة الرسوميات (VRAM) المتوفرة لديك. إذا تجاوزت النتيجة الذاكرة المتاحة، يمكنك تقليل حجم الدفعة، أو استخدام دقة أقل (مثل float16 بدلاً من float32)، أو اختيار نموذج أصغر، أو استخدام تقنيات مثل التدرج التراكمي (Gradient Accumulation) أو التحميل المنخفض الدقة (Low-Rank Adaptation) لتقليل متطلبات الذاكرة.