معاملات تطبيع الطبقة

خطوات الاستخدام

تطبيع الطبقة (Layer Normalization) هو تقنية تستخدم في الشبكات العصبية العميقة لتثبيت التدريب وتسريعه. تعمل هذه التقنية على تطبيع الخرج من كل طبقة عن طريق حساب المتوسط والانحراف المعياري عبر القنوات (الأبعاد) لكل عينة على حدة. تتكون معلمات تطبيع الطبقة من متجهين قابلين للتعلم: جاما (Gamma) للقياس (scale) وبيتا (Beta) للإزاحة (shift). كلاهما له نفس حجم البعد المخفي للطبقة.

لحساب عدد المعلمات في طبقة التطبيع، أدخل قيمة البعد المخفي (hiddenDim) الخاص بالطبقة. البعد المخفي هو عدد القنوات أو الميزات في مخرج الطبقة. على سبيل المثال، في نموذج BERT الأساسي، البعد المخفي هو 768، بينما في محول صغير قد يكون 512.

تتكون المعلمات من متجه جاما الذي يحتوي على hiddenDim معلمة قابلة للتعلم (تطبق قياسًا لكل قناة) ومتجه بيتا الذي يحتوي أيضًا على hiddenDim معلمة قابلة للتعلم (تطبق إزاحة لكل قناة). وبالتالي فإن إجمالي عدد المعلمات = hiddenDim + hiddenDim = 2 × hiddenDim.

الأسئلة الشائعة

في تطبيع الدفعة (Batch Normalization)، يتم التطبيع عبر الدفعة (batch) لكل قناة، ثم تطبيق معلمتين إضافيتين (جاما وبيتا) لكل قناة، ليصبح المجموع 4 معلمات لكل قناة (متوسط وانحراف معياري إضافيان؟ في الواقع، تطبيع الدفعة لا يحتوي على معلمات إضافية للمتوسط والانحراف المعياري، فهما يُحسبان إحصائياً. ولكن في تطبيع الدفعة، يتم تخزين متوسط وانحراف معياري متحركين للاستدلال، وهذه ليست معلمات مدربة. إذن، عدد المعلمات المدربة هو 2 لكل قناة (جاما وبيتا) كما في تطبيع الطبقة. الفرق الحقيقي هو في المحور الذي يُجرى عليه التطبيع. تطبيع الطبقة يُطبع عبر القنوات (الأبعاد) لكل عينة، بينما تطبيع الدفعة يُطبع عبر الدفعة لكل قناة. لذلك، في كليهما، المعلمات هي جاما وبيتا فقط. السؤال يفترض خطأ أن تطبيع الدفعة له 4 معلمات، والصحيح أن كليهما له معلمتان لكل قناة: جاما وبيتا. في تطبيع الدفعة، يتم حساب المتوسط والانحراف المعياري عبر الدفعة، وهذه ليست معلمات، بل إحصائيات. أما في تطبيع الطبقة، فالمتوسط والانحراف المعياري يُحسبان عبر القنوات لكل عينة. لذا، كلا الطريقتين لهما نفس عدد المعلمات: 2 × البعد المخفي.

نعم، من الممكن استخدام طبقة تطبيع الطبقة بدون معلمات قابلة للتعلم، ويعرف ذلك باسم 'تطبيع الطبقة البسيط' (simple layer normalization). في هذه الحالة، يتم تطبيع الخرج ببساطة عن طريق طرح المتوسط وقسمة الانحراف المعياري دون أي تحويل خطي لاحق. هذا يقلل من عدد المعلمات إلى صفر، ولكنه يحد من قدرة النموذج على التكيف مع التوزيعات المختلفة. في الممارسة العملية، معظم التطبيقات تضيف معلمات جاما وبيتا لأنها تسمح للشبكة بتعلم التحجيم والإزاحة الأمثل لكل قناة. إزالة هذه المعلمات قد تؤدي إلى أداء أقل مرونة، خاصة في الشبكات العميقة. لذا، بينما هو ممكن نظرياً، إلا أنه نادراً ما يستخدم في النماذج الحديثة.

معلمات تطبيع الطبقة (جاما وبيتا) تشكل جزءاً صغيراً جداً من إجمالي معلمات النموذج في الشبكات العصبية الكبيرة. على سبيل المثال، في نموذج BERT الأساسي (768 بعداً، 12 طبقة)، يبلغ إجمالي معلمات التطبيع حوالي 37 ألف معلمة، بينما إجمالي معلمات النموذج حوالي 110 ملايين معلمة. لذا، فإن مساهمتها ضئيلة (أقل من 0.1%). ومع ذلك، فإن دورها حاسم في استقرار التدريب وتقليل مشكلة التحول المتغير الداخلي (internal covariate shift). إضافة هذه المعلمات لا تزيد من التعقيد الحسابي بشكل ملحوظ، لأنها مجرد عمليات ضرب وجمع عنصرية. لذلك، من المستحسن دائماً تضمينها للحصول على أداء أفضل دون تكلفة إضافية تذكر. في النماذج الصغيرة جداً، قد تكون نسبتها أكبر قليلاً، لكنها تبقى غير مؤثرة على حجم النموذج.

جاما وبيتا هما معاملات قياس وإزاحة خطية، بينما أوزان الطبقة المتصلة بالكامل (fully connected) هي مصفوفات ضخمة تقوم بتحويلات خطية معقدة. جاما وبيتا تعملان على كل قناة بشكل مستقل (عملية عنصرية)، في حين أن أوزان الطبقة المتصلة بالكامل تمزج بين القنوات. من حيث عدد المعلمات، أوزان الطبقة المتصلة بالكامل تحتوي على (hiddenDim × hiddenDim) معلمة (في حالة طبقة مخفية إلى مخفية)، وهو أكبر بكثير من 2 × hiddenDim الخاص بالمعلمات. من حيث القابلية للتعلم، يتم تحديث جاما وبيتا عبر الانتشار العكسي مثل أي معلمة أخرى. لكن قيمها عادة ما تبدأ من 1 (للجاما) و0 (لبيتا) وتتغير تدريجياً. بينما أوزان الطبقة المتصلة بالكامل تبدأ بشكل عشوائي. الفرق الجوهري هو أن جاما وبيتا تؤثران على شكل التوزيع (المتوسط والتباين) بعد التطبيع، بينما الأوزان تؤثر على التمثيل الكلي.

معاملات تطبيع الطبقة

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1في نموذج BERT الأساسي، البعد المخفي هو 768. ما عدد معلمات تطبيع الطبقة؟

2في محول صغير للترجمة الآلية، البعد المخفي هو 512. إذا كان النموذج يحتوي على 6 طبقات محول (كل طبقة بها تطبيعين)، ما عدد معلمات التطبيع الكلية؟

أمثلة محسوبة

الأسئلة الشائعة