حجم مصفوفة الترميز الموضعي

خطوات الاستخدام

قم بإدخال طول التسلسل (seqLen) وهو عدد المواضع أو الرموز في التسلسل المدخل. على سبيل المثال، في جملة مكونة من 10 كلمات، يكون seqLen = 10. هذا العدد يمثل عدد الصفوف في مصفوفة الترميز الموضعي.

أدخل بُعد النموذج (dModel) وهو عدد الأبعاد لكل تمثيل موضعي. هذا البعد يحدد عدد الأعمدة في مصفوفة الترميز الموضعي. في نماذج مثل Transformer الأساسي، يكون dModel = 512 غالبًا.

تقوم الحاسبة بضرب seqLen في dModel لإعطاء الحجم الإجمالي للمصفوفة (عدد العناصر). تكون أبعاد المصفوفة : (seqLen × dModel). هذا الحجم يمثل مساحة التخزين المطلوبة للترميز الموضعي الجيبي.

لفهم أعمق: الترميز الموضعي يستخدم دوال جيبية (sin) وجيب تمام (cos) بترددات مختلفة لكل بعد. معادلة الترميز للموضع pos والبعد i هي: PE(pos, 2i) = sin(pos / 10000^(2i/dModel)) و PE(pos, 2i+1) = cos(pos / 10000^(2i/dModel)). هذه المعادلة تضمن أن كل موضع له تمثيل فريد وأن النموذج يمكنه تعلم العلاقات بين المواضع.

الأسئلة الشائعة

في نموذج Transformer، آلية الانتباه (Attention) لا تحتوي على أي معلومات عن ترتيب الكلمات أو تسلسلها. إذا قمنا بتغذية الجملة 'القطة أكلت الفأر' و 'الفأر أكلت القطة' بدون ترميز موضعي، فإن النموذج سيعاملهما بنفس الطريقة لأن الانتباه يحسب الأوزان بناءً على المحتوى فقط. لذلك، نضيف ترميزاً موضعياً إلى تمثيلات المدخلات لإعطاء النموذج معلومات عن موقع كل رمز في التسلسل. هناك طريقتان رئيسيتان: الترميز الجيبي الثابت (كما في الورقة الأصلية 'Attention is All You Need') والترميز القابل للتعلم (كما في BERT). الترميز الجيبي له ميزة أنه يمكن أن يعمم على أطوال تسلسل لم يراها النموذج أثناء التدريب، لأنه يستخدم دوال دورية. الصيغة: PE(pos, 2i) = sin(pos/10000^(2i/dModel)) و PE(pos, 2i+1) = cos(pos/10000^(2i/dModel)). حيث pos هو الموضع (من 0 إلى seqLen-1)، و i هو البعد (من 0 إلى dModel/2-1). كلما زاد i، انخفض التردد، مما يخلق تمثيلاً هرمياً للترددات مشابهاً لتحويل فورييه. هذا التمثيل يسمح للنموذج بتعلم العلاقات بين المواضع بسهولة، لأن الانتباه يمكنه حساب الفروق النسبية: PE(pos+k) يمكن التعبير عنها كدالة خطية لـ PE(pos). وبالتالي، الترميز الموضعي الجيبي هو أداة قوية وفعالة للحفاظ على المعلومات التسلسلية.

لحساب مصفوفة الترميز الموضعي P بأبعاد (seqLen × dModel): نبدأ بإنشاء مصفوفة من الأصفار. لكل موضع pos (من 0 إلى seqLen-1) ولكل بُعد i (من 0 إلى dModel-1)، نحسب القيمة وفقاً للصيغة: إذا كان i زوجياً: P[pos][i] = sin(pos / 10000^(i/dModel)). وإذا كان i فردياً: P[pos][i] = cos(pos / 10000^((i-1)/dModel)). لاحظ أننا نستخدم i/2 للتعبير عن تردد البعد. في التطبيق العملي، غالباً ما يتم حساب مصفوفة الترددات أولاً: freq = 1 / (10000^(2i/dModel)) للبعد الزوجي i. ثم يتم ضرب المواضع بهذه الترددات وتطبيق sin/cos. النتيجة النهائية هي مصفوفة ثنائية حيث كل صف يمثل ترميزاً لموضع معين. seqLen يحدد عدد الصفوف، و dModel يحدد عدد الأعمدة. كلما زاد dModel، زادت التفاصيل في الترميز ولكن أيضاً زادت التكلفة الحسابية. في الممارسة، عادة ما تضيف النماذج الترميز الموضعي إلى تمثيلات المدخلات (مثل تضمين الكلمات) قبل إدخالها إلى الطبقات الأولى من المحول. الحجم الإجمالي للمصفوفة هو seqLen * dModel، وهو ما نحسبه في هذه الحاسبة.

نعم، هناك عدة بدائل: أولاً، الترميز الموضعي القابل للتعلم (Learnable Positional Encoding) المستخدم في BERT و GPT. هنا، المصفوفة هي معلمات يتم تعلمها أثناء التدريب. الميزة: يمكنها التكيف مع البيانات وتحقيق أداء أفضل في بعض المهام. العيب: لا يمكنها التعميم على أطوال تسلسل أطول من تلك التي شوهدت في التدريب، لأن التمثيلات غير دورية. ثانياً، الترميز الموضعي النسبي (Relative Positional Encoding) الذي يمثل العلاقات النسبية بين المواضع بدلاً من المواضع المطلقة. هذا يستخدم في نماذج مثل Transformer-XL. الميزة: قدرة أفضل على التعميم على أطوال تسلسل طويلة جداً. العيب: أكثر تعقيداً من الناحية الحسابية. ثالثاً، طرق أكثر حداثة مثل Rotary Position Embedding (RoPE) المستخدم في LLaMA و GPT-NeoX. RoPE يدور التمثيلات حسب الموضع، مما يحافظ على الخصائص الإقليدية ويسمح بتعميم أسهل. كل هذه البدائل تهدف إلى تحسين تمثيل الموقع في المحولات. الاختيار يعتمد على التطبيق: للتعميم على أطوال تسلسل كبيرة، الترميز الجيبي الثابت و RoPE أفضل. للأداء العالي على مهام محددة، الترميز القابل للتعلم قد يكون أفضل. حاسبة حجم المصفوفة تنطبق على أي نوع، حيث أن الحجم لا يزال seqLen في dModel.

زيادة seqLen تزيد عدد الصفوف، وبالتالي يزيد الحجم خطياً. في الممارسة، هذا يعني ذاكرة أكبر ووقت حساب أطول لإضافة الترميز. كما أن تسلسلات أطول تحتاج إلى ترميز موضعي لتغطية مسافات أكبر، مما قد يتطلب ترددات أدنى (أبعاد i أكبر) لتمثيل العلاقات البعيدة. زيادة dModel تزيد عدد الأعمدة، مما يزيد الحجم أيضاً خطياً. dModel أكبر يسمح بتمثيل أكثر دقة للموضع، حيث يمكن أن تكون هناك ترددات أكثر تفصيلاً. ولكن هناك نقطة تناقص العوائد: بعد حد معين، زيادة dModel لا يحسن الأداء كثيراً بينما يزيد التكلفة. في النماذج الكبيرة مثل GPT-3، dModel = 12288 مع seqLen يصل إلى 2048، مما يعطي حجم مصفوفة يبلغ 2048 * 12288 ≈ 25 مليون عنصر، حوالي 100 ميجابايت في float32. هذا مقبول بفضل الذواكر الكبيرة. لكن في التطبيقات المحمولة أو في الوقت الحقيقي، يجب الموازنة بين الأداء وحجم المصفوفة. لاحظ أن الترميز الموضعي يُضاف أو يُدمج مع تضمينات الكلمات، لذا حجم التضمين الإجمالي هو (seqLen * embedding_dim) حيث أن embedding_dim غالباً ما يساوي dModel في النماذج التقليدية، لكن في بعض التصاميم قد يختلف.

حجم مصفوفة الترميز الموضعي

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1إذا كان لدينا نموذج Transformer صغير لترجمة جمل بطول أقصى 50 كلمة وبُعد نموذج 128، فما حجم مصفوفة الترميز الموضعي؟ وكيف يؤثر ذلك على الذاكرة؟

2في نموذج BERT كبير، لدينا أقصى طول تسلسل 512 وبُعد نموذج 768. ما هو حجم مصفوفة الترميز الموضعي؟ وما هي دلالة كل بعد في الترميز؟

أمثلة محسوبة

الأسئلة الشائعة