معاملات تطبيع الطبقة

في تطبيع الدفعة (Batch Normalization)، يتم التطبيع عبر الدفعة (batch) لكل قناة، ثم تطبيق معلمتين إضافيتين (جاما وبيتا) لكل قناة، ليصبح المجموع 4 معلمات لكل قناة (متوسط وانحراف معياري إضافيان؟ في الواقع، تطبيع الدفعة لا يحتوي على معلمات إضافية للمتوسط والانحراف المعياري، فهما يُحسبان إحصائياً. ولكن في تطبيع الدفعة، يتم تخزين متوسط وانحراف معياري متحركين للاستدلال، وهذه ليست معلمات مدربة. إذن، عدد المعلمات المدربة هو 2 لكل قناة (جاما وبيتا) كما في تطبيع الطبقة. الفرق الحقيقي هو في المحور الذي يُجرى عليه التطبيع. تطبيع الطبقة يُطبع عبر القنوات (الأبعاد) لكل عينة، بينما تطبيع الدفعة يُطبع عبر الدفعة لكل قناة. لذلك، في كليهما، المعلمات هي جاما وبيتا فقط. السؤال يفترض خطأ أن تطبيع الدفعة له 4 معلمات، والصحيح أن كليهما له معلمتان لكل قناة: جاما وبيتا. في تطبيع الدفعة، يتم حساب المتوسط والانحراف المعياري عبر الدفعة، وهذه ليست معلمات، بل إحصائيات. أما في تطبيع الطبقة، فالمتوسط والانحراف المعياري يُحسبان عبر القنوات لكل عينة. لذا، كلا الطريقتين لهما نفس عدد المعلمات: 2 × البعد المخفي.

نعم، من الممكن استخدام طبقة تطبيع الطبقة بدون معلمات قابلة للتعلم، ويعرف ذلك باسم 'تطبيع الطبقة البسيط' (simple layer normalization). في هذه الحالة، يتم تطبيع الخرج ببساطة عن طريق طرح المتوسط وقسمة الانحراف المعياري دون أي تحويل خطي لاحق. هذا يقلل من عدد المعلمات إلى صفر، ولكنه يحد من قدرة النموذج على التكيف مع التوزيعات المختلفة. في الممارسة العملية، معظم التطبيقات تضيف معلمات جاما وبيتا لأنها تسمح للشبكة بتعلم التحجيم والإزاحة الأمثل لكل قناة. إزالة هذه المعلمات قد تؤدي إلى أداء أقل مرونة، خاصة في الشبكات العميقة. لذا، بينما هو ممكن نظرياً، إلا أنه نادراً ما يستخدم في النماذج الحديثة.

معلمات تطبيع الطبقة (جاما وبيتا) تشكل جزءاً صغيراً جداً من إجمالي معلمات النموذج في الشبكات العصبية الكبيرة. على سبيل المثال، في نموذج BERT الأساسي (768 بعداً، 12 طبقة)، يبلغ إجمالي معلمات التطبيع حوالي 37 ألف معلمة، بينما إجمالي معلمات النموذج حوالي 110 ملايين معلمة. لذا، فإن مساهمتها ضئيلة (أقل من 0.1%). ومع ذلك، فإن دورها حاسم في استقرار التدريب وتقليل مشكلة التحول المتغير الداخلي (internal covariate shift). إضافة هذه المعلمات لا تزيد من التعقيد الحسابي بشكل ملحوظ، لأنها مجرد عمليات ضرب وجمع عنصرية. لذلك، من المستحسن دائماً تضمينها للحصول على أداء أفضل دون تكلفة إضافية تذكر. في النماذج الصغيرة جداً، قد تكون نسبتها أكبر قليلاً، لكنها تبقى غير مؤثرة على حجم النموذج.

جاما وبيتا هما معاملات قياس وإزاحة خطية، بينما أوزان الطبقة المتصلة بالكامل (fully connected) هي مصفوفات ضخمة تقوم بتحويلات خطية معقدة. جاما وبيتا تعملان على كل قناة بشكل مستقل (عملية عنصرية)، في حين أن أوزان الطبقة المتصلة بالكامل تمزج بين القنوات. من حيث عدد المعلمات، أوزان الطبقة المتصلة بالكامل تحتوي على (hiddenDim × hiddenDim) معلمة (في حالة طبقة مخفية إلى مخفية)، وهو أكبر بكثير من 2 × hiddenDim الخاص بالمعلمات. من حيث القابلية للتعلم، يتم تحديث جاما وبيتا عبر الانتشار العكسي مثل أي معلمة أخرى. لكن قيمها عادة ما تبدأ من 1 (للجاما) و0 (لبيتا) وتتغير تدريجياً. بينما أوزان الطبقة المتصلة بالكامل تبدأ بشكل عشوائي. الفرق الجوهري هو أن جاما وبيتا تؤثران على شكل التوزيع (المتوسط والتباين) بعد التطبيع، بينما الأوزان تؤثر على التمثيل الكلي.