احتمالية سوفت ماكس

خطوات الاستخدام

الخطوة الأولى: فهم اللوجيتات. اللوجيتات هي القيم الخام الناتجة عن الطبقة الأخيرة في الشبكة العصبية قبل تطبيق دالة السوفت ماكس. تمثل هذه القيم درجة تشابه كل فئة مع المدخلات. قد تكون سالبة أو موجبة وغير محدودة. لحساب احتمالية فئة معينة، نحتاج إلى تحويل هذه القيم إلى توزيع احتمالي sum إلى 1.

الخطوة الثانية: حساب القيم الأسية (Exponentiation). لكل قيمة لوجيت (z_i)، نقوم بحساب e^{z_i} (الأساس e مرفوع للقوة z_i). هذا يعظم الفروق بين القيم ويضمن أن تكون النواتج موجبة. يتم ذلك لكل فئة i من 0 إلى N-1 حيث N عدد الفئات. مثلاً إذا كانت اللوجيتات [2.0, 1.0, 0.1]، نحصل على [e^{2.0}, e^{1.0}, e^{0.1}] ≈ [7.389, 2.718, 1.105].

الخطوة الثالثة: حساب مجموع القيم الأسية (Denominator). نجمع جميع القيم الأسية من الخطوة السابقة: sum = Σ e^{z_i} لكل الفئات. هذا المجموع هو المقام في دالة السوفت ماكس. في مثالنا: 7.389 + 2.718 + 1.105 = 11.212.

الأسئلة الشائعة

دالة softmax هي تعميم لدالة sigmoid لحالات التصنيف المتعدد (أكثر من فئتين). بينما تعمل sigmoid على إخراج قيمة بين 0 و1 لكل فئة بشكل مستقل (ويمكن أن لا يجمع المجموع إلى 1)، فإن softmax تنتج توزيعاً احتماليًا على جميع الفئات حيث مجموع الاحتمالات يساوي 1. هذا يجعلها مناسبة لنماذج مثل الشبكات العصبية في مهام التصنيف المتعدد حيث يجب أن تعبر الاحتمالات عن الثقة النسبية بين الفئات المتنافية. على سبيل المثال، في تصنيف الصور، لا يمكن للصورة أن تكون قطة وكلباً في آن واحد، لذا نحتاج إلى توزيع احتمالي حصري. تعتمد softmax على الأسس e^{z_i} لتحويل اللوجيتات إلى قيم موجبة ثم قسمتها على المجموع الكلي. بالإضافة إلى ذلك، تستخدم softmax في وظيفة الخسارة cross-entropy لأنهما يشكلان زوجاً فعالاً من الناحية الحسابية ويؤديان إلى تدرجات جيدة. من المهم ملاحظة أن softmax حساسة للقيم الكبيرة جداً (قد تسبب فيضاً رقمياً) لذا غالباً ما تستخدم تقنيات مثل طرح القيمة القصوى من اللوجيتات قبل الحساب (softmax المستقر عددياً).

درجة الحرارة هي معامل يُطبق على اللوجيتات قبل softmax، بحيث تصبح الصيغة: softmax(z_i / T) حيث T معامل درجة الحرارة. عندما T=1، تكون softmax القياسية. عندما T>1، تصبح الاحتمالات أكثر نعومة (أقل حدة)، أي تقترب من توزيع منتظم ويقل الفرق بين الفئات. عندما T<1، تصبح الاحتمالات أكثر حدة (تزداد الثقة في الفئة الأكبر) وتقترب من توزيع واحد ساخن (one-hot). استخداماتها: في التعلم المعزز، يتم استخدام T للتحكم في استكشاف الخوارزمية (T عالية للاستكشاف، T منخفضة للاستغلال). في نماذج اللغة الكبيرة (مثل GPT)، تستخدم T للتحكم في عشوائية النص المولد. أيضاً، في تقطير المعرفة (Knowledge Distillation)، يستخدم T مرتفع لتنعيم توزيعات المعلم لتعليم الطالب بشكل أفضل. حسابياً، تطبيق T يعادل قسمة اللوجيتات على T قبل حساب الأسس. على سبيل المثال، إذا كانت اللوجيتات [2,1,0] و T=2، نحصل على [1,0.5,0] ثم exponentiate وتطبيع. النتيجة ستكون احتمالات أقل تطرفاً من الأصلية.

مشكلة الفيض العددي تحدث عندما تكون اللوجيتات كبيرة جداً (مثل 1000) مما يؤدي إلى حساب e^{1000} الذي يتجاوز نطاق أرقام الفاصلة العائمة في الكمبيوتر (يصبح ما لا نهاية). الحل الشائع هو استخدام خاصية الثبات: softmax(z_i) = softmax(z_i - max(z)). أي نطرح القيمة القصوى من جميع اللوجيتات قبل حساب الأسس. هذا لا يغير النتيجة لأن المقام والبسط يضربان في e^{-max(z)} وهو ثابت. مثلاً، إذا كانت اللوجيتات [1000, 999, 998]، فطرح 1000 يعطي [0, -1, -2] ثم نحسب e^0=1, e^{-1}=0.368, e^{-2}=0.135، المجموع 1.503، والاحتمال الأول 1/1.503 ≈0.665. بدون هذا الإجراء، e^{1000} يسبب فيضاً. هذه التقنية تسمى softmax المستقر عددياً وتستخدم في جميع المكتبات مثل TensorFlow وPyTorch. من الجدير بالذكر أن المشكلة نفسها لا تحدث مع القيم السالبة الكبيرة لأن e^{عدد سالب كبير} يقترب من الصفر، لكن الفيض يحدث فقط مع القيم الموجبة الكبيرة.

في التدريب على التصنيف متعدد الفئات، غالباً ما تُستخدم softmax في الطبقة النهائية متبوعة بوظيفة خسارة cross-entropy (أو entropy المتقاطعة). الصيغة: L = -Σ y_i * log(p_i) حيث y_i هو التوزيع الحقيقي (عادة one-hot) و p_i هو مخرجات softmax. استخدام softmax مع cross-entropy يؤدي إلى تدرج بسيط: ∂L/∂z_i = p_i - y_i. هذا التدرج هو الفرق بين الاحتمال المتوقع والهدف الحقيقي، مما يجعل الانتشار العكسي فعالاً ومستقراً عددياً. على سبيل المثال، إذا كانت الفئة المستهدفة هي 0 (y_0=1) والاحتمال p_0=0.5، فإن التدرج هو -0.5، مما يشير إلى أن الموديل يحتاج لزيادة لوجيت الفئة 0. هذا السلوك البديهي يجعل التدريب أسرع. بالإضافة إلى ذلك، فإن دمج softmax وcross-entropy يحل مشكلة التشبع (saturation) التي قد توجد مع دوال خسارة أخرى. لهذا السبب، هذا الزوج هو الخيار الافتراضي لمشاكل التصنيف متعدد الفئات في التعلم العميق.

احتمالية سوفت ماكس

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1مثال واقعي: لنفترض أن لدينا نموذج تصنيف صور لثلاث فئات (قطة، كلب، طائر) واللوجيتات الخام هي [1.5, -0.5, 0.3]. احسب احتمالية أن تكون الصورة لقطة (الفئة 0) ولطائر (الفئة 2).

أمثلة محسوبة

الأسئلة الشائعة