حجم سياق استرجاع RAG

أولاً، queryTokens = 15. ثانياً، topK = 3. ثالثاً، avgDocTokens = 800. تطبيق الصيغة: إجمالي الرموز = 15 + (3 × 800) = 15 + 2400 = 2415 رمزًا مميزًا. هذا يعني أن النموذج سيحتاج إلى معالجة 2415 رمزًا لتوليد الرد. إذا كان حد السياق للنموذج 4096 رمزًا، فإن هذا الحجم مقبول. لكن إذا كان النموذج صغيرًا بـ 2048 رمزًا، ستحتاج إلى تقليل topK إلى 2 أو تقصير المستندات. يمكن أيضًا تحسين الاستعلام لتقليل الرموز، أو ضغط المستندات. هذا المثال يوضح أهمية حساب السياق لتجنب فقدان المعلومات أو زيادة التكلفة.

queryTokens = 120، topK = 5، avgDocTokens = 2000. المجموع = 120 + (5 × 2000) = 120 + 10000 = 10120 رمزًا. هذا كبير جدًا. معظم نماذج اللغة لها حد سياق يتراوح بين 4096 و 8192 رمزًا (بعضها مثل GPT-4 يدعم 8192 أو 32768). لذا سيتجاوز السياق 10120 الحد الشائع. الحلول: 1) تقليل topK إلى 3: 120 + 6000 = 6120 رمزًا (ممكن مع نماذج متوسطة). 2) ضغط المستندات باختصارها إلى متوسط 1000 رمز: 120 + 5000 = 5120 (أفضل). 3) استخدام نموذج بسياق طويل مثل Claude (100k) أو GPT-4-turbo (128k). هذا المثال يبرز أهمية الموازنة بين جودة الاسترجاع وقيود النموذج، وكيف أن حجم السياق يؤثر على الأداء والتكلفة.