حجم مصفوفة التضمين

أدخل حجم المفردات (Vocabulary Size): هذا هو عدد الكلمات أو الرموز الفريدة التي تستطيع النموذج التعرف عليها. على سبيل المثال، في نموذج BERT الأساسي، حجم المفردات هو 30,000. كلما زاد حجم المفردات، زادت سعة النموذج لتمثيل لغات أو مصطلحات متخصصة، لكنه يزيد أيضًا من عدد المعلمات.

أدخل بُعد التضمين (Embedding Dimension): هو عدد الأبعاد المستخدمة لتمثيل كل كلمة في فضاء متجهي. في نموذج GPT-2 الصغير، بُعد التضمين هو 768. البعد الأكبر يسمح بتقاط أدق للعلاقات بين الكلمات، لكنه يزيد من التكلفة الحسابية.

احسب عدد معلمات التضمين: تستخدم الصيغة: حجم المفردات × بُعد التضمين. على سبيل المثال، إذا كان حجم المفردات 50,000 والبعد 512، فإن عدد المعلمات = 50,000 × 512 = 25,600,000 (25.6 مليون معلمة). هذه المعلمات تمثل الأوزان القابلة للتعلم في طبقة التضمين.