خطوات الاستخدام
أدخل التوزيع الاحتمالي P: يمثل التوزيع الحقيقي أو المرجعي الذي تريد مقارنة الآخر به. تأكد من أن قيم P موجبة ومجموعها يساوي 1. إذا لم يكن مجموعها 1، فسيتم تطبيعها تلقائيًا. يتم حساب التباعد باستخدام الصيغة: D_KL(P||Q) = Σ P(x) * log(P(x)/Q(x)).
أدخل التوزيع الاحتمالي Q: يمثل التوزيع التقريبي أو النموذج الذي يحاول تقريب P. يجب أن تكون قيم Q موجبة ومجموعها 1 أيضًا. التباعد غير متماثل، لذا Q تؤثر على النتيجة بشكل مختلف.
اختر قاعدة اللوغاريتم: الناتج الرئيسي يُعطى بالناتس (اللوغاريتم الطبيعي)، وتعرض التفاصيل أيضًا البتات (الأساس 2) والهارتلي (الأساس 10) بالقسمة على ln2 وln10 بالترتيب، لأن أساس اللوغاريتم يغيّر وحدة التباعد فقط لا ترتيب المقارنات.
اضغط على 'احسب': ستقوم الآلة بحساب المجموع لكل نقطة i: P(i) * log_base(P(i)/Q(i)). إذا كانت Q(i)=0 و P(i)>0، ستكون النتيجة لا نهائية (∞) لأن التباعد غير معرف. إذا كانت P(i)=0، فلا يهم Q(i) لأن الحد يساوي 0.
تفسير النتيجة: القيمة المحسوبة تمثل 'المعلومات المفقودة' عند استخدام Q بدلاً من P. كلما اقتربت من الصفر، كلما كان Q أقرب إلى P. لا توجد قيمة قصوى، ولكن يمكن استخدامها لمقارنة نماذج مختلفة.
أمثلة محلولة
تطبيقات عملية على تباعد كولباك-لايبلر بخطوات الحل كاملة.
الحل
بما أن P=Q، فإن النسبة P(i)/Q(i)=1 لكل i، وlog(1)=0، وبالتالي المجموع الكلي يساوي 0. التباعد صفر. هذا يعني عدم وجود فقدان في المعلومات عند استخدام Q بدلاً من P. مثال واقعي: عند مقارنة توزيعين متطابقين لنتائج اختبار (مثلاً، توزيع الدرجات في فصلين متطابقين)، لا يوجد اختلاف.
الحل
احسب D_KL(P||Q) = 0.5*ln(0.5/0.9) + 0.5*ln(0.5/0.1). أولاً: ln(0.5556) ≈ -0.5878، 0.5*(-0.5878) = -0.2939. ثانيًا: ln(5) ≈ 1.6094، 0.5*1.6094 = 0.8047. المجموع = 0.5108 ناتس. هذا يعني أن فقدان المعلومات عند استخدام التوزيع المنحاز بدلاً من النزيه هو حوالي 0.51 نات. في التعلم الآلي، هذا قياس للانحراف بين التوزيع الحقيقي والتوزيع المتوقع.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة تباعد كولباك-لايبلر.
عملة نزيهة مقابل منحازة 0.9/0.1: 0.5108 ناتس
- التوزيع P (قيم مفصولة بفواصل)
- 0.5, 0.5
- التوزيع Q (قيم مفصولة بفواصل)
- 0.9, 0.1
توزيعان متطابقان: التباعد 0 بالضبط (خاصية الهوية)
- التوزيع P (قيم مفصولة بفواصل)
- 0.2, 0.3, 0.5
- التوزيع Q (قيم مفصولة بفواصل)
- 0.2, 0.3, 0.5
حد P=0 يسقط (0 log 0 = 0): النتيجة ln2 = 0.6931 ناتس
- التوزيع P (قيم مفصولة بفواصل)
- 0, 1
- التوزيع Q (قيم مفصولة بفواصل)
- 0.5, 0.5
قيم غير مطبَّعة (1,1) و(1,3) تُطبَّع تلقائيًا: 0.1438 ناتس
- التوزيع P (قيم مفصولة بفواصل)
- 1, 1
- التوزيع Q (قيم مفصولة بفواصل)
- 1, 3