مصفوفة تضمين المفردات

خطوات الاستخدام

الخطوة 1: فهم مصفوفة التضمين ومكوناتها. مصفوفة تضمين المفردات (Word Embedding Matrix) هي تمثيل عددي للكلمات في مساحة مستمرة البعد. تتكون المصفوفة من صفوف تمثل كل كلمة في المفردات (vocabSize) وأعمدة تمثل أبعاد التضمين (embedDim). كل خلية في المصفوفة تحتوي على معامل قابل للتعلم أثناء تدريب النموذج اللغوي. الهدف من هذه المصفوفة هو تحويل الكلمات المنفصلة (مثل الأرقام أو الرموز) إلى متجهات كثيفة تحمل معاني دلالية ونحوية.

الخطوة 2: تحديد عدد المعاملات الكلي. عدد المعاملات (Parameters) في مصفوفة التضمين يساوي حاصل ضرب حجم المفردات في بُعد التضمين: Parameters = vocabSize × embedDim. على سبيل المثال، إذا كان حجم المفردات 10,000 كلمة وبُعد التضمين 300، فإن عدد المعاملات = 10,000 × 300 = 3,000,000 معامل. هذه المعاملات يتم تحديثها أثناء عملية الانتشار العكسي (Backpropagation) لتقليل دالة الخسارة.

الخطوة 3: فهم أهمية عدد المعاملات. عدد المعاملات في مصفوفة التضمين يؤثر على قدرة النموذج على التعلم وعلى متطلبات الذاكرة والوقت الحسابي. كلما زاد حجم المفردات أو بُعد التضمين، زادت سعة النموذج لكنه قد يؤدي إلى فرط التخصيص (Overfitting) إذا كانت البيانات صغيرة. من ناحية أخرى، اختيار أبعاد صغيرة قد يؤدي إلى فقدان معلومات دلالية. لهذا السبب، يتم اختيار أبعاد التضمين بعناية بناءً على حجم البيانات والمهمة.

الأسئلة الشائعة

مصفوفة التضمين القابلة للتعلم (Trainable Embedding) هي التي يتم تحديث أوزانها أثناء تدريب النموذج (عبر الانتشار العكسي)، وبالتالي تشكل جزءاً من معاملات النموذج. عدد المعاملات فيها هو vocabSize × embedDim. أما مصفوفة التضمين الثابتة (Static Embedding) مثل GloVe أو Word2Vec، فهي تكون مدربة مسبقاً على مجموعة بيانات ضخمة ثم تُثبت (Freeze) أثناء تدريب النموذج الجديد. في هذه الحالة، لا تُعد معاملاتها من ضمن معاملات النموذج القابلة للتعلم في المهمة الجديدة (أي لا تستهلك موارد التدريب). لكن في الذاكرة، تظل نفس الحجم. الفرق العملي: التضمينات القابلة للتعلم تمنح النموذج مرونة لضبط التمثيلات حسب مجال المهمة، لكنها تزيد عدد المعاملات القابلة للتدريب وقد تحتاج بيانات أكبر. التضمينات الثابتة تقلل الحمل التدريبي وتحسن الأداء في المهام الصغيرة، لكنها قد لا تلتقط الدقة المجالية. في النماذج الحديثة مثل BERT، يستخدم التضمين القابل للتعلم للكلمات والمواضع والشرائح معاً.

بُعد التضمين هو أحد أهم العوامل التي تحدد سعة تمثيل الكلمات. نظرياً، كلما زاد البُعد، استطاع المتجه التقاط المزيد من الفروق الدلالية والنحوية. عملياً، توجد توصيات عامة: لحجم مفردات صغير (أقل من 10,000) يمكن استخدام أبعاد تتراوح بين 50 و 200. للمفردات المتوسطة (10,000-100,000) يوصى بـ 200-400 بعد. للمفردات الكبيرة (أكثر من 100,000) قد تحتاج إلى 500-1000 بعد. لكن لا توجد قاعدة صارمة. الأهم هو تقييم الأداء على بيانات التحقق. أيضاً، التضمينات ذات الأبعاد العالية جداً (مثل 2000) قد تؤدي إلى فرط التخصيص ومشاكل في الحساب. علاقة مثلى قد تكون تقريبية مثل: embedDim ≈ sqrt(vocabSize) * k، حيث k ثابت. على سبيل المثال، إذا vocabSize=100,000، فإن sqrt=316، لذا 300 بعد قد يكون مناسباً. لكن هذه مجرد إرشادات. استخدام حاسبة مصفوفة التضمين يساعد في تقدير العدد من المعاملات بسرعة لتقييم حجم الموديل.

في النماذج المحولة، تحتوي طبقة التضمين (Input Embedding) على ثلاثة مكونات أساسية: تضمين الكلمات (Word Embedding) وتضمين المواضع (Positional Embedding) وتضمين الشرائح (Segment Embedding) في بعض النماذج مثل BERT. كل منها له حجم معاملات خاص. تضمين الكلمات: vocabSize × embedDim. تضمين المواضع: maxLength × embedDim (حيث maxLength هو أقصى طول للتسلسل). تضمين الشرائح: segCount × embedDim (عادة segCount=2). بالإضافة إلى طبقات التغذية الأمامية (Feed Forward) والانتباه (Attention). إجمالي معاملات النموذج هو مجموع هذه الطبقات. على سبيل المثال، BERT-base لديه vocabSize=30,000, embedDim=768, maxLength=512، بالتالي تضمين الكلمات = 30,000×768 = 23,040,000، تضمين المواضع = 512×768 = 393,216، تضمين الشرائح = 2×768 = 1,536. ثم 12 طبقة محولة (Transformer Blocks) كل منها يحتوي على معاملات انتباه وتغذية أمامية. المجموع الكلي حوالي 110 مليون. إذا أردت حساب مساحة النموذج، يمكنك استخدام حاسبة مصفوفة التضمين كجزء من التقدير.

في نماذج اللغة التي تنتج توزيعاً على المفردات (مثل GPT)، عادة ما تكون طبقة التضمين وطبقة softmax النهائية منفصلتين، مما يعطي ضعف معاملات التضمين (vocabSize × embedDim لكل منهما). تقنية مشاركة الأوزان (Weight Tying) تقوم بمشاركة مصفوفة التضمين مع طبقة softmax (أي استخدام نفس الوزن لتحويل التضمين إلى احتمالات). هذا يقلل عدد المعاملات بحوالي النصف بالنسبة لهاتين الطبقتين. على سبيل المثال، إذا vocabSize=50,000 و embedDim=256، فبدون المشاركة: 2 × 50,000 × 256 = 25,600,000 معلمة. مع المشاركة: 50,000 × 256 = 12,800,000 معلمة، أي توفير 12.8 مليون معلمة. هذا التوفير يمكن أن يحسن سرعة التدريب ويقلل الذاكرة، لكنه قد يحد من مرونة النموذج. تستخدم هذه التقنية في بعض نماذج اللغة مثل ALBERT. عند استخدام حاسبة مصفوفة التضمين، ضع في اعتبارك إذا كانت المشاركة مطبقة أم لا، لأن العدد المحسوب قد يكون نصف ما هو متوقع في بعض الحالات.

مصفوفة تضمين المفردات

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1إذا كان لدينا معجم يحتوي على 50,000 كلمة فريدة ونريد إنشاء مصفوفة تضمين بأبعاد 512، كم عدد المعاملات التي سنحتاجها؟ هل يعتبر هذا الرقم كبيراً؟

2في مشروع معالجة لغة طبيعية صغير، لدينا مفردات من 2000 كلمة ونريد استخدام تضمين بأبعاد 100. ما عدد المعاملات؟ وما هي التوصيات لاختيار هذه الأبعاد؟

أمثلة محسوبة

الأسئلة الشائعة