حجم مصفوفة الترميز الموضعي

المدخلات: seqLen = 50, dModel = 128. الحجم = 50 * 128 = 6400 عنصر. إذا تم تخزين كل عنصر بصيغة float32 (4 بايت)، فإن الذاكرة المطلوبة = 6400 * 4 = 25,600 بايت ≈ 25 كيلوبايت. هذا حجم صغير جداً، مما يعني أن الترميز الموضعي لن يشكل عبئاً على الذاكرة حتى مع تسلسلات أطول. لاحظ أن الترميز الموضعي عادة ما يُحسب مسبقاً ويُخزن في الذاكرة، أو يُحسب ديناميكياً. في الحالتين، هذا الحجم لا يمثل مشكلة. ولكن إذا كان seqLen = 10000 و dModel = 1024، يصبح الحجم 10,240,000 عنصر أي حوالي 40 ميجابايت، وهو حجم أكبر يتطلب اهتماماً في التطبيقات محدودة الذاكرة.

المدخلات: seqLen = 512, dModel = 768. الحجم = 512 * 768 = 393,216 عنصر. في float32، الذاكرة = 393,216 * 4 = 1,572,864 بايت ≈ 1.5 ميجابايت. دلالة الأبعاد: كل بعد i (من 0 إلى 767) له تردد مختلف. الأبعاد الزوجية تستخدم دالة sin، والأبعاد الفردية تستخدم cos. التردد يتناقص مع زيادة i، بحيث أن الأبعاد الأولى تلتقط تغييرات سريعة (مواضع قريبة)، والأبعاد الأخيرة تلتقط تغييرات بطيئة (مواضع بعيدة). هذا التمثيل متعدد الترددات يسمح للنموذج بالتقاط العلاقات على مسافات مختلفة. المصفوفة نفسها ثابتة (غير قابلة للتعلم) في معظم تطبيقات Transformer الأصلية، ولكن بعض المتغيرات مثل BERT تستخدم ترميزاً قابلاً للتعلم بدلاً من الجيبي.