طريقة المرفق لـ K-means

خطوات الاستخدام

الخطوة 1: حساب القصور الذاتي لكل عدد من المجموعات (K). قم بتشغيل خوارزمية K-means لكل K من 1 إلى عدد محدد (مثلاً 10). سجل قيمة القصور الذاتي (مجموع مربعات المسافات بين النقاط ومراكز مجموعاتها) لكل K. القصور الذاتي يتناقص مع زيادة K، والهدف هو إيجاد النقطة التي يبدأ فيها التناقص بالتباطؤ.

الخطوة 2: رسم منحنى القصور الذاتي مقابل K. أدخل قيم القصور الذاتي التي حصلت عليها في الحاسبة. ستقوم الحاسبة برسم منحنى بياني، حيث يكون المحور السيني هو K والمحور الصادي هو القصور الذاتي. ابحث عن النقطة التي يشبه فيها المنحنى 'الكوع' - أي حيث يبدأ الانحدار في الانخفاض بشكل أقل حدة.

الخطوة 3: تحديد K الأمثل باستخدام طريقة المرفق. K الأمثل هو عند النقطة التي يكون فيها المنحنى أقرب إلى الزاوية (الكوع). لا يوجد معيار رياضي صارم، بل اعتماد على التقييم البصري. ومع ذلك، قد تستخدم الحاسبة خوارزمية بسيطة مثل حساب الزاوية أو المشتق الثاني للعثور على أفضل نقطة.

الأسئلة الشائعة

القصور الذاتي (Inertia) هو مقياس يُستخدم في خوارزمية K-means لتقييم جودة التجميع. يُعرف بأنه مجموع مربعات المسافات بين كل نقطة ومركز المجموعة التي تنتمي إليها. رياضياً، إذا كانت المجموعات C₁, C₂, ..., Cₖ ومراكزها μ₁, μ₂, ..., μₖ، فإن القصور الذاتي يُحسب كالتالي: Inertia = Σᵢ Σₓ∈Cᵢ ||x - μᵢ||². كلما انخفضت القيمة، زادت تماسك النقاط حول المراكز. عند زيادة عدد المجموعات K، يتناقص القصور الذاتي عادة، لأن كل مجموعة تصبح أصغر وتحتوي على نقاط أقرب إلى مركزها. ولكن هناك نقطة يتوقف فيها التناقص الكبير، وهذا ما يسمى 'الكوع' (Elbow). السبب في ذلك هو أنه عند إضافة مجموعات أكثر من اللازم، يتلاشى العائد الإضافي من حيث التجانس. طريقة المرفق تعتمد على إيجاد هذه النقطة، حيث أن الزيادة في K بعدها لا تؤدي إلى تحسن كبير في القصور الذاتي، مما يشير إلى أن K الحالي يمثل عدداً طبيعياً للمجموعات في البيانات. مع ذلك، قد لا يكون الكوع واضحاً دائماً، وقد تحتاج إلى مقاييس أخرى مثل معامل الصورة الظلية (Silhouette Score) أو مؤشر كالينسكي-هاراباس (Calinski-Harabasz Index).

نعم، طريقة المرفق تعاني من بعض القيود. أولاً: قد لا يكون الكوع واضحاً في بعض مجموعات البيانات، حيث ينخفض القصور الذاتي بشكل سلس دون انحناء ملحوظ، مما يجعل الاختيار ذاتياً. ثانياً: هذه الطريقة تعتمد فقط على التماسك داخل المجموعة ولا تأخذ في الاعتبار الفصل بين المجموعات. ثالثاً: تتطلب حساب القصور الذاتي لعدة قيم K، وهو مكلف حسابياً لمجموعات البيانات الكبيرة. البدائل الشائعة تشمل: (1) معامل الصورة الظلية (Silhouette Score): يقيس مدى تشابه النقطة مع مجموعتها مقارنة بالمجموعات الأخرى، ويتراوح بين -1 و1، والقيمة الأعلى تعني تجميعة أفضل. (2) مؤشر ديفيز-بولدين (Davies-Bouldin Index): يحسب متوسط التشابه بين كل مجموعة وأكثرها تشابهاً، والقيم الأقل تشير إلى تجميع أفضل. (3) مؤشر كالينسكي-هاراباس (Calinski-Harabasz Index): يعتمد على نسبة التشتت بين المجموعات إلى التشتت داخل المجموعات، والقيم الأعلى أفضل. (4) طريقة الفجوة (Gap Statistic): تقارن القصور الذاتي الفعلي بالقصور الذاتي المتوقع من توزيع خالٍ من الهيكل. كل هذه الطرق توفر معايير كمية لاختيار K، وقد تُستخدم جنباً إلى جنب مع طريقة المرفق للحصول على قرار أكثر موثوقية.

لنفترض لدينا ثلاث نقاط ثنائية الأبعاد: A(1,2), B(3,4), C(5,6). نريد حساب القصور الذاتي لـ K=2 بعد تطبيق K-means. أولاً، نبدأ بمركزين عشوائيين، مثلاً μ₁=(1,2) وμ₂=(5,6). ثم نخصص كل نقطة لأقرب مركز: A للمركز1 (مسافة 0)، B للمركز1 أم المركز2؟ المسافة من B إلى μ₁ = √((3-1)²+(4-2)²)=√(4+4)=√8≈2.828، وإلى μ₂=√((3-5)²+(4-6)²)=√(4+4)=√8≈2.828 – هنا متساوية، لكن نفترض نختار μ₁. C للمركز2 (مسافة 0). ثم نعيد حساب المراكز: μ₁ الجديد = متوسط A و B = ((1+3)/2, (2+4)/2)=(2,3). μ₂ الجديد = C = (5,6). نكرر التخصيص: A إلى μ₁ (مسافة √((1-2)²+(2-3)²)=√2≈1.414)، B إلى μ₁ (مسافة √((3-2)²+(4-3)²)=√2≈1.414)، C إلى μ₂ (مسافة 0). المراكز لا تتغير (μ₁=(2,3)، μ₂=(5,6))، فيتوقف. الآن نحسب القصور الذاتي: لكل نقطة مربع المسافة إلى مركز مجموعتها. للنقطة A: (1.414)² = 2، B: (1.414)² = 2، C: 0. الإجمالي = 4. هكذا نحصل على القصور الذاتي. في الحاسبة، ستدخل سلسلة من قيم القصور الذاتي لكل K، وقد تقوم الحاسبة بعملية التطبيع (مثل قسمة على عدد النقاط) لكن الأساس هو نفسه.

عندما لا يكون هناك كوع واضح، فهذا يشير إلى أن البيانات لا تحتوي على بنية طبيعية من المجموعات، أو أن التجميع الهرمي قد يكون أكثر ملاءمة. في هذه الحالة، يمكنك تجربة العديد من الأساليب: (أ) استخدام مقياس آخر لعدد المجموعات مثل معامل الصورة الظلية (Silhouette Score) الذي غالباً ما يظهر ذروة عند أفضل K. (ب) تطبيق طريقة الفجوة (Gap Statistic) التي تقارن القصور الذاتي الفعلي مع التوزيع المرجعي. (ج) استخدام طرق متقدمة مثل X-means أو G-means التي تحدد العدد الأمثل تلقائياً. (د) تحجيم البيانات (Standardization) قد يساعد في بعض الأحيان في جعل الكوع أكثر وضوحاً. (هـ) تحليل التجميع باستخدام أساليب مختلفة مثل DBSCAN أو التجميع الهرمي الذي لا يتطلب عدداً محدداً مسبقاً من المجموعات. من الناحية العملية، إذا لم تجد كوعاً، فكر في أن بياناتك قد تكون موزعة بشكل موحد أو ذات أبعاد عالية حيث تفقد مقاييس المسافة فعاليتها. في هذه الحالة، حاول تقليل الأبعاد باستخدام PCA قبل التجميع.

طريقة المرفق لـ K-means

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

2في تحليل شرائح العملاء، قمت بحساب القصور الذاتي لأعداد مختلفة من المجموعات وحصلت على [1000, 750, 600, 480, 420, 390, 370, 355, 345, 340]. ما هو K الأمثل؟

أمثلة محسوبة

الأسئلة الشائعة