خطوات الاستخدام
1. أدخل إجمالي طول المستند: قم بإدخال عدد الكلمات أو الأحرف في المستند الذي ترغب في تقسيمه. يحدد هذا الطول الإجمالي عدد القطع المطلوبة بناءً على الحجم الأمثل. على سبيل المثال، إذا كان المستند 10000 كلمة، فالحاسبة ستقسمه إلى قطع متساوية الحجم تقريبًا.
2. اختر نموذج التضمين: اختر نموذج التضمين المستخدم في نظام RAG الخاص بك. كل نموذج له حد أقصى لعدد الرموز (tokens) التي يمكن معالجتها في كل مرة. على سبيل المثال، نموذج OpenAI ada-002 يقبل حتى 8192 رمزًا، بينما نماذج أخرى مثل BERT قد تقبل 512 رمزًا. هذا الحد يحدد الحد الأعلى لحجم القطعة.
3. حساب الحجم الأمثل للقطعة: تقوم الحاسبة تلقائيًا بحساب الحجم الأمثل للقطعة بناءً على حد نموذج التضمين وعدد القطع المطلوبة. يتم ذلك عن طريق قسمة الطول الإجمالي للمستند (بعد تحويله إلى رموز) على عدد القطع المرغوب فيه، مع مراعاة هامش أمان (مثل %80 من الحد الأقصى) لضمان عدم تجاوز الحد.