خطوات الاستخدام
الخطوة 1: إدخال عدد النماذج (Models). يمثل هذا الحقل العدد الإجمالي للنماذج المختلفة في سجل النماذج لديك. كل نموذج هو كيان فريد قد يمثل إصدارًا رئيسيًا أو بنية مختلفة. لفهم حجم التخزين المطلوب، من المهم إحصاء جميع النماذج النشطة والمنتهية الصلاحية إذا كنت تخطط للاحتفاظ بها. كلما زاد عدد النماذج، زادت المساحة اللازمة. على سبيل المثال، فريق يعمل على 5 مشاريع مختلفة قد يكون لديه 20 نموذجًا.
الخطوة 2: إدخال عدد الإصدارات لكل نموذج (Versions). هذا الحقل يحدد متوسط عدد الإصدارات أو المراجعات لكل نموذج. في ممارسات MLOps، غالبًا ما يتم تخزين إصدارات متعددة لنفس النموذج لأغراض التتبع والتجربة. على سبيل المثال، إذا كان لديك 3 نماذج ولكل منها 10 إصدارات، فإجمالي الإصدارات هو 30. الإصدارات قد تختلف في الحجم، لكننا نستخدم متوسطًا هنا. الحاسبة تطلب عددًا صحيحًا من الإصدارات؛ إن كان المتوسط الفعلي 7.5 إصدارًا فاستخدم 8 عند التخطيط للسعة حتى لا يقل التقدير. يُفضل تقدير هذا الرقم بناءً على تاريخ التطوير.
الخطوة 3: إدخال متوسط حجم الإصدار (Average Size per Version) بالميغابايت (MB). هذا هو متوسط حجم ملف النموذج (عادةً ما يكون ملفًا ثنائيًا مثل .h5 أو .pt). الحجم يعتمد على بنية النموذج وعدد المعلمات. على سبيل المثال، نموذج صغير قد يكون 5 ميجابايت، بينما نموذج كبير مثل BERT قد يصل إلى 500 ميجابايت. أدخل القيمة المتوقعة بناءً على نماذجك الحالية.
الخطوة 4: حساب الحجم الإجمالي. تستخدم الآلة الحاسبة الصيغة: الحجم الإجمالي (MB) = عدد النماذج × عدد الإصدارات لكل نموذج × متوسط حجم الإصدار. هذه الصيغة تعطي تقديرًا تقريبيًا يعتمد على المتوسطات. للحصول على تقدير أكثر دقة، يُوصى بتحليل الاستخدام الفعلي. الناتج يمثل المساحة التخزينية المطلوبة في سجل النماذج دون ضغط أو تكرار.
الخطوة 5: تفسير النتائج. بعد الحساب، سترى القيمة الإجمالية بالميغابايت. يمكن تحويلها إلى غيغابايت بقسمة الناتج على 1024. استخدم هذا الرقم لتخطيط سعة التخزين في خدمات مثل AWS S3 أو Azure Blob Storage. إذا كان التخزين مرتفعًا، فكر في استراتيجيات مثل ضغط النماذج أو حذف الإصدارات القديمة.
أمثلة محلولة
تطبيقات عملية على حجم سجل النماذج بخطوات الحل كاملة.
الحل
لحساب الحجم الإجمالي، نستخدم الصيغة: الحجم الكلي (MB) = عدد النماذج × عدد الإصدارات لكل نموذج × متوسط حجم الإصدار. بتطبيق الأرقام: 10 نماذج × 5 إصدارات/نموذج × 150 ميجابايت/إصدار = 10 × 5 × 150 = 7,500 ميجابايت. لتحويلها إلى غيغابايت: 7,500 ÷ 1024 ≈ 7.32 غيغابايت. هذا يعني أن السجل سيحتاج إلى حوالي 7.3 غيغابايت من التخزين. إذا كان الفريق يستخدم خدمة تخزين مثل Amazon S3، يمكنهم تقدير التكلفة بناءً على سعر الغيغابايت الشهري. بالإضافة إلى ذلك، يجب مراعاة إصدارات النماذج المستقبلية عند التخطيط. ينصح الفريق بمراقبة أحجام النماذج بانتظام لأن النماذج الأكبر قد تتطلب ضغطًا أو تقليمًا (pruning) لتقليل التخزين.
الحل
الحساب: 3 نماذج × 20 إصدار/نموذج × 25 ميجابايت/إصدار = 3 × 20 × 25 = 1,500 ميجابايت، أي حوالي 1.46 غيغابايت. بالرغم من أن الحجم ليس ضخمًا، إلا أن الاحتفاظ بـ 20 إصدارًا لكل نموذج قد يكون مبالغًا فيه. توصيات لتقليل التخزين: (1) تحديد سياسة للاحتفاظ بالإصدارات بحيث يتم الاحتفاظ بآخر 5 إصدارات فقط، مما يقلل التخزين إلى 3×5×25=375 ميجابايت. (2) استخدام ضغط النماذج مثل TensorFlow Lite أو ONNX لتقليل الحجم بنسبة 30-50%. (3) أرشفة الإصدارات القديمة إلى طبقة تخزين أرخص مثل Amazon S3 Glacier. (4) مراقبة حجم النماذج بمرور الوقت وإزالة الإصدارات غير المستخدمة. بهذه الطريقة، يمكن للشركة الحفاظ على التكاليف منخفضة.
أمثلة محسوبة
قيم مُدخَلة ونتيجة محسوبة فعليًا بواسطة حجم سجل النماذج.
مثال 1: 10 نماذج × 5 إصدارات × 150 ميجابايت = 7500 ميجابايت
- عدد النماذج
- 10
- عدد الإصدارات
- 5
- متوسط حجم النموذج (MB)
- 150
مثال 2: 3 نماذج × 20 إصدارًا × 25 = 1500 ميجابايت (1.46 غيغابايت)
- عدد النماذج
- 3
- عدد الإصدارات
- 20
- متوسط حجم النموذج (MB)
- 25
سياسة الاحتفاظ بـ 5 إصدارات: 375 ميجابايت بدل 1500
- عدد النماذج
- 3
- عدد الإصدارات
- 5
- متوسط حجم النموذج (MB)
- 25
100 مصفوفة × 50 ميجابايت = 5000 ميجابايت = 4.882813 غيغابايت ثنائي
- عدد النماذج
- 10
- عدد الإصدارات
- 10
- متوسط حجم النموذج (MB)
- 50
نموذج واحد بإصدار واحد حجم 500 ميجابايت
- عدد النماذج
- 1
- عدد الإصدارات
- 1
- متوسط حجم النموذج (MB)
- 500