حجم مؤشر قاعدة البيانات المتجهة

خطوات الاستخدام

أدخل عدد المتجهات (Vectors): عدد النقاط أو العناصر التي ستخزنها في قاعدة البيانات المتجهة. كلما زاد العدد، زاد حجم المؤشر. مثال: إذا كان لديك 1,000,000 وثيقة، أدخل 1000000.

أدخل أبعاد المتجه (Dimensions): عدد الأبعاد لكل متجه، ويعتمد على نموذج التضمين المستخدم. مثلاً، نموذج OpenAI ada-002 ينتج متجهات ذات 1536 بُعداً، بينما ينتج BERT-base متجهات ذات 768 بُعداً. كلما زادت الأبعاد، زاد حجم المؤشر.

اختر نوع المؤشر (Index Type): الأنواع الشائعة: Flat (مؤشر مسطح)، IVF (مؤشر ملفات مقلوبة)، HNSW (مؤشر العالم الصغير القابل للتنقل). لكل نوع حجم تخزين مختلف يُحسب كالتالي: • Flat: size = vectors * dimensions * 4 بايت (للمتجهات من نوع float32) + overhead ثابت صغير. • IVF: size = (نفس flat) + overhead لجداول التجميع (عادة 5-10% إضافية). • HNSW: size = (نفس flat) + معلومات الجيران (لكل متجه: قائمة الجيران حتى M و efConstruction)، مما يزيد الحجم بنسبة 20-50%.

الأسئلة الشائعة

مؤشر Flat هو الأبسط والأكثر دقة (يبحث خطياً في جميع المتجهات) لكنه الأكبر حجماً والأبطأ في الاستعلام. حجمه يساوي مجموع أحجام المتجهات فقط مع القليل من الميتاداتا. أما مؤشر IVF (Inverted File) فيقسم المتجهات إلى مجموعات (clusters) باستخدام خوارزمية k-means. يضيف هذا المؤشر جدول التجمعات (inverted lists) الذي يخزن لكل مجموعة معرفات المتجهات المنتمية إليها. هذا الجدول يزيد الحجم بنسبة 5-10% مقارنة بـ Flat، لكنه يسرع البحث بشكل كبير لأنه يبحث فقط في أقرب المجموعات. حجم المتجهات الأساسي يبقى كما هو. لذا، IVF يوفر حجماً وسطيًا ويوازن بين السرعة والدقة. اختيار عدد المجموعات (nlist) يؤثر على الحجم: كلما زاد nlist، زاد عدد الجداول (لكن كل جدول أصغر حجماً) وبالتالي يزيد الحجم قليلاً. على سبيل المثال، مع 1 مليون متجه، اختيار nlist=100 يضيف حوالي 1 ميغابايت إضافي، بينما nlist=1000 يضيف حوالي 10 ميغابايت.

كلما زاد عدد الأبعاد، يزداد حجم المتجهات نفسه (عدد البايتات = عدد المتجهات × الأبعاد × 4). هذا ينطبق على أي نوع مؤشر. في مؤشر HNSW، بالإضافة إلى المتجهات، نضيف بنية الرسم البياني: كل عقدة (متجه) تخزن قوائم الجيران لمستويات متعددة (تزداد فقط مع معلمة M). حجم هذه القوائم لا يعتمد على الأبعاد، بل على عدد الجيران M وعدد المستويات (الذي يتناسب مع log(n)). لذا، كلما زادت الأبعاد، تزداد نسبة الحجم الإضافي لـ HNSW مقارنة بـ Flat بشكل أقل، لأن الجزء الثابت من HNSW (الرسم البياني) يبقى ثابتاً نسبياً. على سبيل المثال، مع 1 مليون متجه، أبعاد 768، الحجم الأساسي ≈ 3.07 غيغابايت، وحجم HNSW الإضافي ≈ 0.5-1 غيغابايت (اعتماداً على M). أما مع أبعاد 128، الحجم الأساسي ≈ 0.51 غيغابايت، ونفس الإضافي ≈ 0.5-1 غيغابايت، مما يعني أن HNSW يضاعف الحجم تقريباً. لذا، HNSW أكثر كفاءة من حيث الحجم النسبي مع الأبعاد العالية.

1. تقليل دقة البيانات: استخدم float16 (بايتان) بدلاً من float32 (4 بايت). هذا يقلص الحجم إلى النصف. بعض المكتبات تدعم التكميم (quantization) مثل Product Quantization (PQ) الذي يقلص الأبعاد الفرعية. لكن هذا يقلل الدقة (تقريب). 2. اختيار مؤشر مناسب: مؤشر IVF مع عدد قليل من المجموعات (nlist صغير) يضيف overhead صغير، بينما HNSW يزيد الحجم ولكن بسرعة بحث عالية. 3. ضغط المعرفات: استخدم أعداداً صحيحة 32 بت بدلاً من 64 بت إذا كان عدد المتجهات أقل من 4 مليار. 4. إزالة المتجهات الزائدة: حذف المتجهات المكررة أو غير الضرورية. 5. استخدام تقسيم الشارد (sharding) مع عدة مؤشرات أصغر. 6. تفعيل ضغط الملفات (مثل zstd) للتخزين على القرص، لكن هذا لا يقلل الحجم في الذاكرة (RAM).

عادةً لا، لأن البيانات الوصفية (مثل المعرفات، النص الأصلي، التصنيفات) تُخزن بشكل منفصل عن المؤشر. المؤشر يحتوي فقط على المتجهات الرقمية وهياكل الفهرسة (مثل قوائم الجيران أو جداول التجميع). البيانات الوصفية تُحفظ في قاعدة بيانات منفصلة (مثل PostgreSQL أو SQLite) ويتم ربطها عبر معرف المتجه. ومع ذلك، قد تختار بعض الأنظمة تخزين البيانات الوصفية داخل نفس ملف الفهرس لتبسيط الإدارة، مما يزيد الحجم. في هذه الحالة، يجب حساب حجم البيانات الوصفية بشكل منفصل وإضافته إلى التقدير. على سبيل المثال، إذا كان لديك حقل نصي متوسط طوله 100 حرف (UTF-8)، لكل متجه، فهذا يضيف حوالي 100 بايت لكل متجه، مما قد يضيف 100 ميغابايت لكل مليون متجه.

حجم مؤشر قاعدة البيانات المتجهة

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أمثلة محسوبة

الأسئلة الشائعة

أدخل القيم

خطوات الاستخدام

1لدينا 1,000,000 متجه، كل متجه بُعده 768 (مثل نموذج BERT)، ونستخدم مؤشر Flat. ما هو حجم المؤشر؟

2لدينا 10,000,000 متجه، أبعادها 128 (مثل نموذج word2vec)، ونستخدم مؤشر HNSW مع معاملات M=16 و efConstruction=200. ما التقدير التقريبي لحجم المؤشر؟

أمثلة محسوبة

الأسئلة الشائعة