خطة رئيسية للاختبار والتقييم

يُحدد سيناريو الاختبار شروط الاختبار، ويرتبط عادةً بملف مهمة محدد. بالنسبة للأنظمة العسكرية، يكون هذا سيناريو قتالي، وقد يشمل اختبار وتقييم الذخيرة الحية. أما بالنسبة للأنظمة التجارية، فيشمل هذا سيناريو محدداً يتعلق باستخدام المنتج قيد التطوير.

على سبيل المثال، قد يتطلب التشغيل في الطقس البارد تقييم التشغيل عند درجات حرارة أقل من${\displaystyle -40^{o}}$ج- باستخدام غرفة بيئية . قد يتطلب تقييم التشغيل مع واجهة المركبة إجراء اختبار توافق مع اختبار الاهتزاز . يتطلب تقييم متجر إلكتروني أن يقوم النظام بتوجيه المستخدم خلال عملية شراء منتج بينما يكون النظام مشغولاً بحركة مرور أخرى.

يحدد سيناريو الاختبار ما يلي.

• المواد المطلوبة للاختبار
• تعليمات لإعداد الأدوات التي ستُستخدم أثناء الاختبار
• وصف عام لكيفية تشغيل النظام قيد الاختبار
• الإجراءات والأحداث المحددة التي ستحدث أثناء الاختبار

تُحدد عملية جمع البيانات المعلومات التي يجب جمعها أثناء الاختبار. ويتضمن ذلك إعدادًا أوليًا قبل بدء الاختبار، وقد يشمل ذلك التحضير لأي مما يلي.

• إعدادات النظام قيد الاختبار
• أجهزة قياس منفصلة
• ملاحظات مكتوبة من الملاحظة المباشرة
• مجموعة العينات

تتطلب الأنظمة التي تتضمن جهاز كمبيوتر عادةً القدرة على استخراج وتسجيل أنواع محددة من البيانات من النظام أثناء تشغيله بشكل طبيعي.

يمكن بدء وإيقاف جمع البيانات الإلكترونية كأحد الإجراءات الموضحة في سيناريو الاختبار.

عندما يكون الوصول إلى البيانات مقيداً، فقد يتطلب نقل البيانات بين المؤسسات خطة لجمع البيانات . وهذا قد يحدث مع الأنظمة العسكرية السرية .

يتم تحليل البيانات بعد اكتمال الاختبار. ويسمى هذا التحليل بتقييم الأداء.

تُعد مقاييس الفعالية مؤشرات محددة تُستخدم لقياس النتائج في المهمة العامة وتنفيذ المهام الموكلة.

قد تتمتع هذه الأنظمة بحدود أداء مرنة مرتبطة بنتيجة حدث معين. على سبيل المثال، لن تؤثر الطلقة الأولى التي تُطلق من مدفع موجه بالرادار على موقع محدد، ولكن يمكن قياس الموقع باستخدام الرادار، لذا يجب أن يكون النظام قادرًا على إيصال طلقة ضمن نطاق محدد بعد إطلاق عدة طلقات. يُعرف عدد الطلقات اللازمة لإصابة الهدف داخل هذا النطاق بمتوسط ​​الأداء (MOE). أما نصف القطر فيُعرف بمؤشر الأداء (MOP).

مقاييس الأداء هي مؤشرات محددة لها حد أدنى للنجاح أو الفشل يجب تحقيقه. ويتم تحديدها عادةً باستخدام كلمتي " يجب" أو "ينبغي" في المواصفات.

أحد أنواع MOP هو المسافة التي يجب أن تقطعها مركبة ذات حمولة محددة بسرعة محددة قبل نفاد الوقود.

نوع آخر من أنواع MOP هو المسافة التي يمكن للرادار أن يكتشف بها عاكسًا مساحته متر مربع واحد.

تقيّم مقاييس الملاءمة القدرة على الحصول على الدعم في بيئة التشغيل المقصودة.

على سبيل المثال، قد يكون هذا تقييمًا لمتوسط ​​الوقت بين الأعطال (MTBF) الذي يُقيّم خلال اختبارات أخرى. قد يستوفي نظامٌ ذو أعطال مفرطة جميع المتطلبات الأخرى، ولكنه غير مناسب للاستخدام. كذلك، فإن السلاح الذي يتعطل عند اتساخه غير مناسب للاستخدام العسكري.

ترتبط هذه المتطلبات بالمرافق.

• مصداقية
• التوافر
• قابلية الصيانة
• قابلية الدعم
• سهولة الاستخدام