معاملات شبكة التغذية الأمامية

خطوات الاستخدام

أدخل قيمة 'dModel' (بُعد النموذج): هذا هو بُعد التمثيل المخفي في المحول (transformer). على سبيل المثال، في نموذج BERT الأساسي، dModel = 768. هذه القيمة تحدد حجم المتجهات التي تنتقل عبر الشبكة. يجب أن يكون عددًا صحيحًا موجبًا.

أدخل قيمة 'dFfn' (بُعد الشبكة العصبية الأمامية): هذا هو بُعد الطبقة المخفية في شبكة التغذية الأمامية (FFN). عادة ما يكون أكبر من dModel، مثلاً 4 أضعاف (dFfn = 3072 في BERT). هذه القيمة تحدد سعة التحويل غير الخطي. يجب أن يكون عددًا صحيحًا موجبًا.

حساب عدد المعاملات: تتكون شبكة التغذية الأمامية من طبقتين خطيتين مع تحيز (bias). الطبقة الأولى: مصفوفة أوزان بأبعاد (dModel × dFfn) ومتجه تحيز بطول dFfn. الطبقة الثانية: مصفوفة أوزان بأبعاد (dFfn × dModel) ومتجه تحيز بطول dModel. إذن العدد الإجمالي للمعاملات = (dModel × dFfn) + dFfn + (dFfn × dModel) + dModel = 2 × dModel × dFfn + dModel + dFfn.

الأسئلة الشائعة

شبكة التغذية الأمامية (FFN) في المحول تتكون من طبقتين خطيتين مع دالة تنشيط غير خطية (مثل ReLU أو GELU) بينهما. السبب الرئيسي هو إضافة قدرة تعبيرية غير خطية للنموذج. الطبقة الأولى تقوم بإسقاط المتجهات من بُعد dModel إلى بُعد أعلى (dFfn) مما يسمح بتمثيل علاقات معقدة. ثم يأتي التفعيل غير الخطي لإضافة اللاخطية، والطبقة الثانية تعيد الإسقاط إلى البعد الأصلي dModel. هذا التصميم يشبه الشبكات العصبية التغذية الكلاسيكية، ويسمح للمحول بتعلم تحويلات غنية لكل موضع في التسلسل بشكل مستقل. عدد المعاملات يأتي من مصفوفتي الوزن والتحيزات. لاحظ أن dFfn عادة ما يكون أكبر من dModel (مثل 4 أضعاف)، مما يسمح بوجود مساحة تمثيلية أكبر مؤقتًا قبل ضغطها مرة أخرى.

قيمة dFfn تحدد سعة شبكة التغذية الأمامية. زيادة dFfn تزيد عدد المعاملات بشكل خطي تقريبًا: كل زيادة بمقدار 1 في dFfn تضيف 2×dModel + 1 معامل (من الطبقة الأولى والثانية). على سبيل المثال، إذا كان dModel=768، زيادة dFfn بمقدار 1 يضيف 2×768+1=1537 معامل. لذا dFfn له تأثير كبير على حجم النموذج. من ناحية الأداء، زيادة dFfn تمنح النموذج قدرة على تعلم تحويلات أكثر تعقيدًا، لكنها تزيد من خطر الإفراط في التجهيز (overfitting) وتتطلب ذاكرة وحسابًا أكثر. هناك أيضًا دراسات تشير إلى أن dFfn الكبيرة جدًا قد لا تؤدي إلى تحسن متناسب. في الممارسة، تُستخدم قيم شائعة مثل 4×dModel (كما في BERT) أو 2.7×dModel (في GPT-3). اختيار dFfn هو مقايضة بين الأداء وحجم النموذج.

في محول نموذجي، تتوزع المعاملات القابلة للتدريب بين طبقات الانتباه متعدد الرؤوس (Multi-Head Attention) وشبكات التغذية الأمامية (FFN). معاملات الانتباه تشمل مصفوفات Q, K, V, O لكل رأس، وقد تشمل تحيزات. عادة ما تكون معاملات الانتباه لكل طبقة حوالي 4×dModel^2 (إذا كان عدد الرؤوس يساوي dModel/64 تقريبًا). بينما معاملات الـ FFN حوالي 2×dModel×dFfn + dModel + dFfn. بالنسبة لنسبة dFfn = 4×dModel، تصبح معاملات الـ FFN: 2×dModel×4dModel = 8×dModel^2 تقريبًا، وهي ضعف معاملات الانتباه. لذا غالبًا ما تشكل الـ FFN النسبة الأكبر من المعاملات في المحولات. وهذا يختلف حسب التصميم. بعض النماذج تستخدم FFN أصغر أو أكبر. فهم توزيع المعاملات يساعد في تحسين استخدام الموارد.

نعم، المعاملات المحسوبة هنا تشمل فقط أوزان وتحيزات الطبقتين الخطيتين في شبكة التغذية الأمامية. لا تشمل طبقات التطبيع (Layer Normalization) التي غالبًا ما تأتي بعد الانتباه وقبل الـ FFN وبعدها. تحتوي طبقة التطبيع عادةً على معاملين (معامل انزياح وقياس) لكل بُعد. لذلك لكل طبقة تطبيع في المحول نضيف 2×dModel معامل. لكن في هذا الحساب نحن نركز على الـ FFN فقط. أيضًا، قد تكون هناك معاملات إضافية في بعض المتغيرات الأخرى (مثل bias في التفعيل). لكن الصيغة الأساسية كما قدمناها هي المعيار لمعظم نماذج المحولات.

معاملات شبكة التغذية الأمامية

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1احسب عدد معاملات شبكة التغذية الأمامية في نموذج BERT الأساسي حيث dModel = 768 و dFfn = 3072.

2إذا كان لديك نموذج محول صغير بـ dModel = 256 و dFfn = 1024، ما هو عدد معاملات شبكة التغذية الأمامية؟ قارن مع معاملات الانتباه إذا كان عدد الرؤوس 8.

أمثلة محسوبة

الأسئلة الشائعة