خطوات الاستخدام
أدخل حجم المفردات (Vocabulary Size): هذا هو عدد الكلمات أو الرموز الفريدة التي تستطيع النموذج التعرف عليها. على سبيل المثال، في نموذج BERT الأساسي، حجم المفردات هو 30,000. كلما زاد حجم المفردات، زادت سعة النموذج لتمثيل لغات أو مصطلحات متخصصة، لكنه يزيد أيضًا من عدد المعلمات.
أدخل بُعد التضمين (Embedding Dimension): هو عدد الأبعاد المستخدمة لتمثيل كل كلمة في فضاء متجهي. في نموذج GPT-2 الصغير، بُعد التضمين هو 768. البعد الأكبر يسمح بتقاط أدق للعلاقات بين الكلمات، لكنه يزيد من التكلفة الحسابية.
احسب عدد معلمات التضمين: تستخدم الصيغة: حجم المفردات × بُعد التضمين. على سبيل المثال، إذا كان حجم المفردات 50,000 والبعد 512، فإن عدد المعلمات = 50,000 × 512 = 25,600,000 (25.6 مليون معلمة). هذه المعلمات تمثل الأوزان القابلة للتعلم في طبقة التضمين.
افهم أهمية هذه المعلمات: معلمات التضمين هي جزء من إجمالي معلمات النموذج. في النماذج الكبيرة، قد تشكل طبقة التضمين نسبة كبيرة من المعلمات، خاصة عندما يكون حجم المفردات كبيرًا. على سبيل المثال، في نموذج GPT-3، حجم المفردات 50,257 وبُعد التضمين 12,288، مما يعطي حوالي 617 مليون معلمة للتضمين وحده، وهو جزء كبير من إجمالي 175 مليار معلمة.
استخدم النتيجة في مقارنة النماذج: يمكن مقارنة عدد معلمات التضمين عبر نماذج مختلفة لتقدير متطلبات الذاكرة والتعقيد. على سبيل المثال، نموذج مع حجم مفردات 100,000 وبُعد 1,024 سيكون لديه 102.4 مليون معلمة تضمين، بينما نموذج آخر بحجم مفردات 30,000 وبُعد 768 سيكون لديه 23.04 مليون معلمة. هذا يساعد في فهم اختيارات التصميم عند بناء النماذج.
أمثلة محلولة
تطبيقات عملية على حجم مصفوفة التضمين بخطوات الحل كاملة.
الحل
لحساب عدد معلمات التضمين، نستخدم الصيغة: حجم المفردات × بُعد التضمين. في هذا المثال: 50,257 × 768. نحسب أولاً: 50,000 × 768 = 38,400,000. ثم 257 × 768 = 197,376. المجموع = 38,400,000 + 197,376 = 38,597,376 معلمة. أي حوالي 38.6 مليون معلمة. هذه المعلمات تمثل فقط طبقة التضمين (Token Embedding) التي تحول كل رمز إلى متجه ذي 768 بعدًا. في النموذج الفعلي، هناك أيضًا طبقة تضمين المواضع (Position Embedding) لكنها غالبًا ما تكون ذات حجم مختلف (عادةً max_position_embeddings × embedding_dim). على سبيل المثال، إذا كان الحد الأقصى لطول التسلسل هو 1024، فسيكون عدد معلمات تضمين المواضع = 1024 × 768 = 786,432، ليصبح المجموع حوالي 39.4 مليون معلمة لتضمين الكلمات والمواضع معًا. هذا يوضح كيفية توزيع المعلمات في النموذج.
الحل
حساب معلمات التضمين لـ BERT-base: 30,000 × 768 = 23,040,000 معلمة (23.04 مليون). إجمالي معلمات النموذج هو 110 مليون (تقريبًا). إذن طبقة التضمين تمثل حوالي 23.04 / 110 = 20.9% من إجمالي المعلمات. هذا مثال واقعي يوضح أن التضمين يشكل جزءًا كبيرًا. في BERT-large بحجم مفردات 30,000 وبُعد 1,024، نجد 30,000 × 1,024 = 30.72 مليون معلمة للتضمين، من إجمالي 340 مليون، أي حوالي 9%. لاحظ أن النسبة تقل مع زيادة حجم النموذج لأن الطبقات الأخرى (المحولات) تزداد بشكل أسرع. هذا مهم عند تصميم نماذج فعالة من حيث الذاكرة. مثلاً، إذا أردنا تقليل الذاكرة، يمكن تقليل حجم المفردات (مثل استخدام Byte-Pair Encoding بمفردات أصغر) أو تقليل بُعد التضمين، لكن ذلك قد يؤثر على الأداء.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة حجم مصفوفة التضمين.
GPT-2: 50,257 رمزًا في 768 بعدًا = 38,597,376 معلمة
- حجم المفردات
- 50,257
- بعد التضمين
- 768
BERT-base: 30,000 في 768 = 23.04 مليون معلمة
- حجم المفردات
- 30,000
- بعد التضمين
- 768
BERT-large: نفس المفردات ببُعد 1024 يعطي 30.72 مليون
- حجم المفردات
- 30,000
- بعد التضمين
- 1,024