تباعد كولباك-لايبلر

خطوات الاستخدام

أدخل التوزيع الاحتمالي P: يمثل التوزيع الحقيقي أو المرجعي الذي تريد مقارنة الآخر به. تأكد من أن قيم P موجبة ومجموعها يساوي 1. إذا لم يكن مجموعها 1، فسيتم تطبيعها تلقائيًا. يتم حساب التباعد باستخدام الصيغة: D_KL(P||Q) = Σ P(x) * log(P(x)/Q(x)).

أدخل التوزيع الاحتمالي Q: يمثل التوزيع التقريبي أو النموذج الذي يحاول تقريب P. يجب أن تكون قيم Q موجبة ومجموعها 1 أيضًا. التباعد غير متماثل، لذا Q تؤثر على النتيجة بشكل مختلف.

اختر قاعدة اللوغاريتم: عادةً ما يكون الأساس 2 (وحدات بت) أو الأساس e (ناتس) أو الأساس 10 (هارتلي). ستؤثر على وحدات التباعد. الصيغة ستستخدم القاعدة المختارة لحساب اللوغاريتم.

اضغط على 'احسب': ستقوم الآلة بحساب المجموع لكل نقطة i: P(i) * log_base(P(i)/Q(i)). إذا كانت Q(i)=0 و P(i)>0، ستكون النتيجة لا نهائية (∞) لأن التباعد غير معرف. إذا كانت P(i)=0، فلا يهم Q(i) لأن الحد يساوي 0.

الأسئلة الشائعة

تباعد KL غير متماثل، بمعنى أن D_KL(P||Q) ≠ D_KL(Q||P) في الغالب. السبب الرياضي هو أن الصيغة تستخدم المتوسط المرجح باللوغاريتم بالنسبة لـ P (في P||Q) أو لـ Q (في Q||P). في التطبيقات العملية، يُستخدم هذا اللا تماثل لاختيار التوزيع المرجعي. على سبيل المثال، في نظرية المعلومات، D_KL(P||Q) يقيس عدد البتات الإضافية اللازمة لترميز أحداث من التوزيع P باستخدام ترميز مثالي لـ Q. إذا كان P هو التوزيع الحقيقي وQ هو النموذج، فإن هذا التباعد مناسب. أما D_KL(Q||P) فيستخدم عندما نريد ترميز Q باستخدام ترميز P. في التعلم الآلي، يستخدم D_KL(P||Q) في خوارزميات مثل Variational Autoencoders حيث P هو التوزيع الحقيقي وQ هو التوزيع التقريبي. عدم التماثل مهم لتوجيه عملية التعلم: النموذج يفضل تجنب الأحداث التي لها احتمال كبير في P واحتمال صغير في Q لأنه سيؤدي إلى عقوبة كبيرة (قيم لا نهائية). هذا يعني أن D_KL(P||Q) عقوبته شديدة للغاية عندما يقترب Q من الصفر في منطقة يكون فيها P كبيرًا، بينما D_KL(Q||P) يعاقب بشدة عندما يكون P صغيرًا وQ كبيرًا. لذلك، يمكن اختيار الاتجاه بناءً على التطبيق.

عندما يكون P(i) > 0 و Q(i) = 0 لأي i، يصبح الحد P(i) * log(P(i)/0) غير معرف (ميل إلى +∞) لأن log(∞) = ∞. إذا حدث ذلك، تصبح قيمة التباعد لا نهائية. هذا يشير إلى أن Q تخصص احتمال صفري لحدث له احتمال إيجابي في P، مما يعني أن Q لا يمكنها تمثيل P بدقة. في الممارسة العملية، هذا أمر شائع عندما يكون التوزيعان متباعدين بشكل كبير. على سبيل المثال، إذا كان P يحتوي على قيمة محتملة جدًا وQ يخفق في تغطيتها، فإن D_KL يرسل إشارة قوية بأن Q غير مناسب. لتجنب ذلك، غالبًا ما تُضاف قيمة صغيرة جدًا (مثل 1e-10) إلى Q لضمان أن تكون جميع القيم موجبة. لكن هذا يغير التباعد قليلاً. في التعلم الآلي، عادة ما يتم تحسين النموذج لتجنب هذه الحالة عن طريق استخدام أهداف مثل softmax التي تضمن أن جميع الاحتمالات موجبة. إذا ظهرت قيمة لا نهائية، يجب مراجعة Q لأنه يعطي احتمالية صفرية لبعض الأحداث المهمة.

الإنتروبيا المتقاطعة بين P وQ تُعرّف بـ H(P,Q) = -Σ P(i) log Q(i). وتباعد KL يُعرّف بـ D_KL(P||Q) = Σ P(i) log(P(i)/Q(i)) = Σ P(i) log P(i) - Σ P(i) log Q(i) = -H(P) + H(P,Q) حيث H(P) هي إنتروبيا P. أي أن D_KL(P||Q) = H(P,Q) - H(P). بما أن H(P) ثابت بالنسبة لـ Q، فإن تقليل تباعد KL يعادل تقليل الإنتروبيا المتقاطعة. هذا هو السبب في أن تدريب الشبكات العصبية باستخدام خسارة الإنتروبيا المتقاطعة هو في الواقع تقليل لتباعد KL بين التوزيع الحقيقي (الملاحظات) والتوزيع المتوقع (النموذج). الفرق هو أن الإنتروبيا المتقاطعة لا تتطلب معرفة H(P) مسبقًا، لذا فهي عملية أكثر. في نظرية المعلومات، تباعد KL هو مقياس لكفاءة الترميز: فهو يمثل البتات الإضافية التي يتم إرسالها بسبب استخدام توزيع خاطئ Q. لذا فهم العلاقة بينهما أمر أساسي في التعلم الآلي والإحصاء.

تباعد KL لا يملك قيمة قصوى محددة، بل يمكن أن يصل إلى اللانهاية. رياضيًا، إذا كان Q(i) → 0 بينما P(i) > 0، فإن log(P(i)/Q(i)) → ∞. لذا القيمة غير محدودة. لا يوجد مقياس ثابت، لذا قد يبدو من الصعب تفسير الأرقام الكبيرة. ومع ذلك، في التطبيقات العملية، عادة ما تكون القيم في نطاق معقول (مثل 0 إلى 5 ناتس) عند مقارنة توزيعات متقاربة. على سبيل المثال، إذا كان P وQ توزيعين منتظمين على 10 خيارات ولكن P منتظم وQ متمركز في خيار واحد مع بقية صغيرة، فإن D_KL يمكن أن يكون كبيرًا جدًا. القيمة المطلقة ليست بنفس أهمية المقارنة بين عدة Qs لنفس P. في علم البيانات، غالبًا ما نستخدم تباعد KL لاختيار أفضل نموذج بين مجموعة من النماذج (حيث كلما صغر، كان أفضل).

تباعد كولباك-لايبلر

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1توزيعان متطابقان تمامًا: P=[0.2,0.3,0.5], Q=[0.2,0.3,0.5]. احسب تباعد KL.

2مثال مع اختلاف: P=[0.5,0.5] (عملة نزيهة)، Q=[0.9,0.1] (عملة منحازة نحو الصورة). استخدم اللوغاريتم الطبيعي.

أمثلة محسوبة

الأسئلة الشائعة