كسب المعلومات من الإنتروبيا

الخطوة 1: حساب الإنتروبيا الأصلية (Parent Entropy). الإنتروبيا هي مقياس لعدم اليقين أو العشوائية في مجموعة البيانات. في شجرة القرار، يتم حساب إنتروبيا العقدة الأصلية قبل التقسيم. يتم إدخال قيمة الإنتروبيا الأصلية (Parent Entropy) والتي تكون محسوبة مسبقًا بناءً على توزيع الفئات في المجموعة. على سبيل المثال، إذا كانت هناك فئتان متساويتان، فإن الإنتروبيا تساوي 1. الصيغة الأساسية للإنتروبيا هي: H = - Σ p_i * log2(p_i) حيث p_i هي نسبة كل فئة. تأكد من أن القيمة المدخلة بين 0 و 1 (أو أكثر إذا كانت الفئات متعددة).

الخطوة 2: تحديد أوزان العقد الفرعية (Left Weight و Right Weight). هذه الأوزان تمثل عدد العينات أو نسبة العينات في كل عقدة فرعية بعد التقسيم. على سبيل المثال، إذا كان لدينا 100 عينة، وانقسمت إلى 60 و 40، فإن الوزن الأيسر = 60 والوزن الأيمن = 40. يجب أن يكون مجموع الأوزان مساويًا لإجمالي العينات في العقدة الأصلية، لكن في هذه الحاسبة يتم إدخال الأوزان بشكل منفصل، وستقوم الحاسبة بحساب النسب تلقائيًا.

الخطوة 3: حساب الإنتروبيا للعقد الفرعية (Left Entropy و Right Entropy). قم بإدخال قيمة الإنتروبيا لكل عقدة فرعية، والتي تم حسابها بنفس طريقة الإنتروبيا الأصلية ولكن على مجموعة البيانات الفرعية. كلما انخفضت الإنتروبيا، زادت نقاء العقدة. تذكر أن الإنتروبيا الموزونة للعقد الفرعية تحسب كمتوسط مرجح: Weighted Entropy = (leftWeight/total) * leftEntropy + (rightWeight/total) * rightEntropy.

الخطوة 4: احسب كسب المعلومات (Information Gain). كسب المعلومات هو الفرق بين إنتروبيا العقدة الأصلية ومتوسط الإنتروبيا الموزون للعقد الفرعية. الصيغة: IG = Parent Entropy - Weighted Entropy. كلما زاد كسب المعلومات، كان التقسيم أفضل. على سبيل المثال، إذا كانت الإنتروبيا الأصلية 0.9 والإنتروبيا الموزونة 0.3، فإن كسب المعلومات = 0.6، وهو تقسيم ممتاز.

الخطوة 5: تفسير النتيجة. كسب المعلومات دائمًا قيمة غير سالبة. إذا كان كسب المعلومات صفرًا، فهذا يعني أن التقسيم لا يحسن النقاء (أي أن الإنتروبيا الأصلية تساوي المتوسط الموزون للعقد الفرعية). القيم القريبة من 1 تشير إلى تحسن كبير. استخدم هذه القيمة لمقارنة التقسيمات المختلفة واختيار التقسيم الذي يعطي أعلى كسب معلومات.