إنتروبيا شانون

لحساب إنتروبيا الجملة 'مرحبا بالعالم'، نبدأ بحساب طول النص مع احتساب المسافات. النص مكون من 13 حرفًا (م+ر+ح+ب+ا+ +ب+ا+ل+ع+ا+ل+م). الحروف الفريدة وتكراراتها: م:2, ر:1, ح:1, ب:2, ا:3, فضاء:1, ل:2, ع:1. المجموع 13. الاحتمالات: م:2/13≈0.1538, ر:1/13≈0.0769, ح:0.0769, ب:0.1538, ا:0.2308, فضاء:0.0769, ل:0.1538, ع:0.0769. الآن نحسب -p*log2(p) لكل حرف: م: -0.1538 * log2(0.1538) ≈ -0.1538 * (-2.700) ≈ 0.4153; ر: -0.0769 * log2(0.0769) ≈ -0.0769 * (-3.700) ≈ 0.2846; ح: مثل ر 0.2846; ب: مثل م 0.4153; ا: -0.2308 * log2(0.2308) ≈ -0.2308 * (-2.115) ≈ 0.4882; فضاء: مثل ر 0.2846; ل: مثل م 0.4153; ع: مثل ر 0.2846. نجمع: 0.4153+0.2846+0.2846+0.4153+0.4882+0.2846+0.4153+0.2846 = 2.8725 بت. إذاً الإنتروبيا ≈ 2.87 بت لكل حرف. هذا يعني أن كل حرف يحمل في المتوسط 2.87 بت من المعلومات.

لنفترض نصين: الأول 'abcdabcdabcd' (نمط متكرر) والثاني 'a1b2c3d4e5' (عشوائي ظاهريًا). الأول: طوله 12 حرفًا، الحروف: a,b,c,d كل منها يظهر 3 مرات، احتمال كل = 0.25. الإنتروبيا = 4 * (-0.25 * log2(0.25)) = 4 * (-0.25 * (-2)) = 4 * 0.5 = 2 بت لكل حرف. الثاني: طوله 10 أحرف، أحرف فريدة: a,b,c,d,e,1,2,3,4,5 كل يظهر مرة واحدة، احتمال كل = 0.1. الإنتروبيا = 10 * (-0.1 * log2(0.1)) = 10 * (-0.1 * (-3.3219)) = 10 * 0.33219 = 3.3219 بت لكل حرف. النص الثاني له إنتروبيا أعلى لأنه أكثر عشوائية. النص الأول له نمط منتظم مما يقلل عدم اليقين. هذا يوضح كيف تقيس الإنتروبيا قابلية التنبؤ.