تحسين حجم جزء RAG

لحل هذه المشكلة، نبدأ بتحويل طول المستند إلى رموز. في المتوسط، كل كلمة تساوي حوالي 1.3 رمز (بما في ذلك المسافات وعلامات الترقيم). لذا، 15000 كلمة ≈ 19500 رمز. نختار ada-002 بحد 8192 رمزًا. لأقصى استفادة، نستخدم 80% من الحد كحجم أقصى للقطعة: floor(0.8 × 8192) = 6553 رمزًا. وبدون تداخل تحتاج 19500/6553 = 2.98 أي 3 قطع. ولو استهدفت 5 قطع لكان حجمها 19500/5 = 3900 رمزًا، وهو داخل الحد 6553 لكنه يقلل السياق داخل كل قطعة. أما عند التداخل الأقصى 20% فتصبح القطعة المشتركة round(6553 × 0.2) = 1311 رمزًا، أي خطوة فعلية 6553 - 1311 = 5242 رمزًا، ويبلغ العدد ceil(19500/5242) = 4 قطع. هذا يوازن بين عدد القطع وجودة التضمين.

لنموذج E5 (على غرار BERT) الحد الأقصى للرموز هو 512. نأخذ 80% منه كحجم آمن: floor(0.8 × 512) = 409 رمزًا (يقربها بعض الشرح إلى 410). إجمالي الرموز للمستند = 5000 كلمة × 1.3 ≈ 6500 رمز. لحساب عدد القطع: 6500 / 409 = 15.89، أي 16 قطعة. لكن قد يكون عدد القطع كبيرًا جدًا ويؤثر على كفاءة الاسترجاع. يمكننا زيادة حجم القطعة إلى 500 رمز (ما زال أقل من 512) مع خطر تجاوز الحد قليلاً. باستخدام 500 رمز: 6500/500 = 13 قطعة. وإذا التزمنا بحجم الحاسبة 409 مع تداخل 10% كانت القطعة المشتركة round(40.9) = 41 رمزًا والخطوة الفعلية 409 - 41 = 368 رمزًا، فيبلغ العدد ceil(6500/368) = 18 قطعة بدل 16؛ التداخل يحسّن السياق على حساب عدد المتجهات المخزنة.