خصائص تشغيل جهاز الاستقبال

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
📷 يحتوي على 42 صور
الموسوعة الحرة
منحنى ROC لثلاثة مؤشرات تنبؤية لانشطار الببتيد في البروتيازوم

منحنى خصائص تشغيل المستقبل ( ROC ) هو رسم بياني يوضح أداء نموذج التصنيف الثنائي (مع إمكانية تعميمه على فئات متعددة) عند قيم عتبة متغيرة. يُستخدم تحليل ROC بشكل شائع في تقييم أداء الاختبارات التشخيصية في علم الأوبئة السريري.

منحنى ROC هو رسم بياني لمعدل الإيجابية الحقيقية (TPR) مقابل معدل الإيجابية الكاذبة (FPR) عند كل إعداد عتبة.

يمكن اعتبار منحنى ROC بمثابة رسم بياني للقوة الإحصائية كدالة للخطأ من النوع الأول لقاعدة القرار (عندما يتم حساب الأداء من عينة فقط من المجتمع، يمكن اعتباره مقدراً لهذه الكميات). وبالتالي، يمثل منحنى ROC الحساسية كدالة لمعدل النتائج الإيجابية الكاذبة . [ 1 ]

بافتراض معرفة التوزيعات الاحتمالية لكل من النتائج الإيجابية الحقيقية والنتائج الإيجابية الخاطئة، يتم الحصول على منحنى ROC كدالة التوزيع التراكمي (CDF، المساحة تحت التوزيع الاحتمالي من-∞{\displaystyle -\infty }(إلى عتبة التمييز) لاحتمالية الكشف على المحور الصادي مقابل دالة التوزيع التراكمي لاحتمالية الإيجابية الكاذبة على المحور السيني .

يُوفر تحليل منحنى ROC أدوات لاختيار النماذج الأمثل المحتملة واستبعاد النماذج دون المستوى الأمثل، وذلك بشكل مستقل عن (وقبل تحديد) سياق التكلفة أو توزيع الفئات. ويرتبط تحليل منحنى ROC ارتباطًا مباشرًا وطبيعيًا بتحليل التكلفة/العائد في عملية اتخاذ القرارات التشخيصية .

مصطلحات

يُعرف معدل الإيجابية الحقيقية أيضًا بالحساسية أو احتمال الكشف . [ 2 ] ويُعرف معدل الإيجابية الكاذبة أيضًا باحتمال الإنذار الكاذب [ 2 ] ويساوي (1 - النوعية ). يُعرف منحنى ROC أيضًا بمنحنى خصائص التشغيل النسبي، لأنه يقارن بين خاصيتين تشغيليتين (معدل الإيجابية الحقيقية ومعدل الإيجابية الكاذبة) مع تغير المعيار. [ 3 ]

تاريخ

تم تطوير منحنى ROC لأول مرة من قبل مهندسي الكهرباء ومهندسي الرادار خلال الحرب العالمية الثانية للكشف عن أهداف العدو في ساحات المعارك، بدءًا من عام 1941، مما أدى إلى تسميته ("خاصية تشغيل جهاز الاستقبال"). [ 4 ]

سرعان ما تم إدخالها إلى علم النفس لتفسير الكشف الإدراكي عن المحفزات. وقد استُخدم تحليل منحنى ROC في الطب ، وعلم الأشعة ، والقياسات الحيوية ، والتنبؤ بالمخاطر الطبيعية ، [ 5 ] وعلم الأرصاد الجوية ، [ 6 ] وتقييم أداء النماذج، [ 7 ] وغيرها من المجالات لعقود عديدة، ويُستخدم بشكل متزايد في أبحاث التعلم الآلي واستخراج البيانات .

المفهوم الأساسي

نموذج التصنيف ( المصنف أو التشخيص [ 8 ] ) هو عبارة عن ربط بين الحالات وفئات/مجموعات محددة. ولأن نتيجة المصنف أو التشخيص قد تكون قيمة حقيقية عشوائية (مخرجات متصلة)، يجب تحديد حدود التصنيف بين الفئات بقيمة عتبة (على سبيل المثال، لتحديد ما إذا كان الشخص مصابًا بارتفاع ضغط الدم بناءً على قياس ضغط الدم ). أو قد تكون تسمية فئة منفصلة ، ​​تشير إلى إحدى الفئات.

لنفترض مسألة تنبؤ ثنائية ( تصنيف ثنائي )، حيث تُصنف النتائج إما على أنها إيجابية ( p ) أو سلبية ( n ). يوجد أربعة احتمالات لنتائج التصنيف الثنائي. إذا كانت نتيجة التنبؤ p والقيمة الفعلية p أيضًا ، يُطلق عليها إيجابي صحيح (TP)؛ أما إذا كانت القيمة الفعلية n، فيُطلق عليها إيجابي خاطئ (FP). في المقابل، يحدث سلبي صحيح (TN) عندما تكون كل من نتيجة التنبؤ والقيمة الفعلية n ، ويحدث سلبي خاطئ (FN) عندما تكون نتيجة التنبؤ n والقيمة الفعلية p .

للحصول على مثال مناسب في مشكلة واقعية، لنفترض اختبارًا تشخيصيًا يهدف إلى تحديد ما إذا كان الشخص مصابًا بمرض معين. في هذه الحالة، تحدث نتيجة إيجابية خاطئة عندما تكون نتيجة الاختبار إيجابية، بينما لا يكون الشخص مصابًا بالمرض في الواقع. أما النتيجة السلبية الخاطئة، فتحدث عندما تكون نتيجة الاختبار سلبية، مما يوحي بأن الشخص سليم، بينما يكون مصابًا بالمرض في الواقع.

لنفترض تجربة تتضمن P حالة إيجابية و N حالة سلبية لشرط معين. يمكن صياغة النتائج الأربع في جدول توافق 2×2 أو مصفوفة ارتباك ، كما يلي:

الحالة المتوقعةالمصادر: [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ]
  • منظر
  • يتحدث
  • يحرر
إجمالي عدد السكان = P + Nنتيجة إيجابية متوقعةالنتيجة المتوقعة سلبيةمستوى المعلومات ، مستوى معلومات وكيل المراهنات (BM) = TPR + TNR − 1عتبة الانتشار ( PT) = √ TPR × FPR − FPR / TPR − FPR
الحالة الفعلية
موجب حقيقي (P) [ أ ]إيجابي حقيقي (TP)، تم تسجيله [ ب ]النتيجة السلبية الخاطئة ، الخطأ، التقليل من شأن المشكلةمعدل الإيجابية الحقيقية (TPR)، الاستدعاء ، الحساسية (SEN)، احتمال الكشف  ، معدل  الإصابة ، القدرة  = TP / P = 1 − FNRمعدل النتائج السلبية الكاذبة (FNR)، معدل الخطأ  من النوع الثاني [ c ] = FN / P = 1 − TPR
السالب الحقيقي (N) [ d ]إيجابي كاذب ، إنذار كاذب، مبالغة في التقديرسلبي حقيقي (TN)، رفض صحيح [ هـ ]معدل الإنذار الكاذب (FPR)، احتمال  الإنذار  الكاذب  ، خطأ النوع الأول الناتج [ f ] = FP / N = 1 − TNRمعدل السلبية الحقيقية (TNR)، والنوعية (SPC)، والانتقائية = ⁠ TN / N ⁠ = 1 − FPR
الانتشار = P / P + Nالقيمة التنبؤية الإيجابية (PPV)، الدقة = ⁠ TP / TP + FP ⁠ = 1 − FDRمعدل الإغفال الخاطئ (FOR) = FN / TN + FN = 1 − NPVنسبة الاحتمالية الإيجابية (LR+) = ⁠ TPR / FPR ⁠نسبة الاحتمالية السلبية (LR−) = ⁠ FNR / TNR ⁠
الدقة (ACC) = ⁠ TP + TN / P + N ⁠معدل الاكتشاف الخاطئ (FDR) = ⁠ FP / TP + FP ⁠ = 1 − PPVالقيمة التنبؤية السلبية (NPV) = ⁠ TN / TN + FN ⁠ = 1 − FORالتمييز (MK)، دلتا P ( Δ p) = القيمة التنبؤية الإيجابية + القيمة التنبؤية السلبية − 1نسبة احتمالات التشخيص ( DOR ) = LR + / LR− = TP × TN / FP × FN
الدقة المتوازنة (BA) = ⁠ TPR + TNR / 2 ⁠النتيجة F1 = 2 PPV × TPR / PPV + TPR = 2 TP / 2 TP + FP + FNمؤشر فولكس-مالوز (FM) = √ PPV × TPRمعامل ارتباط فاي أو ماثيوز (MCC) = √ معدل الإيجابية الحقيقية × معدل السلبية الحقيقية × القيمة التنبؤية الإيجابية × القيمة التنبؤية السلبية - √ معدل السلبية الكاذبة × معدل الإيجابية الكاذبة × معدل الإيجابية الكاذبة × معدل الاكتشاف الخاطئدرجة التهديد (TS)، مؤشر النجاح الحرج (CSI)، مؤشر جاكارد = ⁠ TP / TP + FN + FP ⁠
  1. ↑ عدد الحالات الإيجابية الحقيقية في البيانات
  2. ↑ نتيجة اختبار تشير بشكل صحيح إلى وجود حالة أو سمة معينة
  3. ↑ خطأ من النوع الثاني: نتيجة اختبار تشير خطأً إلى غياب شرط أو سمة معينة.
  4. ↑ عدد الحالات السلبية الحقيقية في البيانات
  5. ↑ نتيجة اختبار تشير بشكل صحيح إلى عدم وجود حالة أو سمة معينة
  6. ↑ خطأ من النوع الأول: نتيجة اختبار تشير بشكل خاطئ إلى وجود شرط أو سمة معينة.

مساحة ROC

مساحة منحنى ROC ورسومات أمثلة التنبؤ الأربعة
مساحة منحنى ROC لمصنف "أفضل" و"أسوأ".

يمكن لجدول التوافق استخلاص العديد من "مقاييس" التقييم (انظر مربع المعلومات). لرسم منحنى ROC، نحتاج فقط إلى معدل الإيجابية الحقيقية (TPR) ومعدل الإيجابية الكاذبة (FPR) (كدوال لبعض معلمات المصنف). يحدد معدل الإيجابية الحقيقية عدد النتائج الإيجابية الصحيحة من بين جميع العينات الإيجابية المتاحة أثناء الاختبار. أما معدل الإيجابية الكاذبة، فيحدد عدد النتائج الإيجابية الخاطئة من بين جميع العينات السلبية المتاحة أثناء الاختبار.

يُعرَّف فضاء ROC بواسطة معدل الإيجابية الكاذبة (FPR) ومعدل الإيجابية الحقيقية (TPR) على المحورين السيني والصادي ، حيث يُمثلان المفاضلات النسبية بين الإيجابية الحقيقية (الفوائد) والإيجابية الكاذبة (التكاليف). ولأن معدل الإيجابية الحقيقية يُعادل الحساسية، ومعدل الإيجابية الكاذبة يُساوي 1 - النوعية ، يُطلق على رسم ROC أحيانًا اسم رسم الحساسية مقابل (1 - النوعية). تُمثل كل نتيجة تنبؤ أو حالة من مصفوفة الارتباك نقطة واحدة في فضاء ROC.

أفضل طريقة تنبؤ ممكنة تُنتج نقطة في الزاوية العلوية اليسرى أو الإحداثيات (0،1) من فضاء ROC، ما يُمثل حساسية بنسبة 100% (بدون نتائج سلبية خاطئة) وخصوصية بنسبة 100% (بدون نتائج إيجابية خاطئة). تُسمى النقطة (0،1) أيضًا بالتصنيف المثالي . أما التخمين العشوائي فيُعطي نقطة على طول خط قطري (يُسمى خط عدم التمييز ) من الزاوية السفلية اليسرى إلى الزاوية العلوية اليمنى (بغض النظر عن معدلات الأساس الإيجابية والسلبية ). [ 17 ] مثال بديهي على التخمين العشوائي هو اتخاذ القرار عن طريق رمي العملة. مع ازدياد حجم العينة، تميل نقطة ROC للمصنف العشوائي نحو الخط القطري. في حالة العملة المتوازنة، ستميل إلى النقطة (0.5، 0.5).

يقسم الخط القطري مساحة منحنى ROC. تمثل النقاط أعلى الخط القطري نتائج تصنيف جيدة (أفضل من العشوائية)، بينما تمثل النقاط أسفل الخط نتائج سيئة (أسوأ من العشوائية). تجدر الإشارة إلى أنه يمكن ببساطة عكس مخرجات مُتنبئ سيئ باستمرار للحصول على مُتنبئ جيد.

ضع في اعتبارك أربع نتائج تنبؤ من 100 حالة إيجابية و100 حالة سلبية:

أبجج′
TP  =  63FN = 37100
FP  =  28TN = 72100
91109200
TP  =  77FN = 23100
FP  =  77TN = 23100
15446200
TP  =  24FN = 76100
FP  =  88TN = 12100
11288200
TP  =  76FN = 24100
FP  =  12TN = 88100
88112200
معدل الإيجابية الكلية = 0.63معدل الإيجابية الكلية = 0.77TPR = 0.24TPR = 0.76
معدل الإيجابية الكاذبة = 0.28معدل الإيجابية الكاذبة = 0.77معدل الإيجابية الكاذبة = 0.88معدل الإيجابية الكاذبة = 0.12
القيمة التنبؤية الإيجابية = 0.69القيمة التنبؤية الإيجابية = 0.50القيمة التنبؤية الإيجابية = 0.21القيمة التنبؤية الإيجابية = 0.86
F1 = 0.66F1 = 0.61F1 = 0.23F1 = 0.81
ACC = 0.68ACC = 0.50ACC = 0.18ACC = 0.82

تُظهر الرسومات البيانية للنتائج الأربع المذكورة أعلاه في فضاء ROC في الشكل. تُشير نتيجة الطريقة A بوضوح إلى أفضل قدرة تنبؤية بين الطرق A وB وC. تقع نتيجة الطريقة B على خط التخمين العشوائي (الخط القطري)، ويُلاحظ في الجدول أن دقة B تبلغ 50 % . مع ذلك ، عند عكس C حول النقطة المركزية (0.5، 0.5)، تكون الطريقة الناتجة C′ أفضل من A. ببساطة، تعكس هذه الطريقة المعكوسة تنبؤات أي طريقة أو اختبار أنتج جدول التوافق C. على الرغم من أن الطريقة C الأصلية ذات قدرة تنبؤية سلبية، إلا أن عكس قراراتها يؤدي إلى طريقة تنبؤية جديدة C′ ذات قدرة تنبؤية إيجابية. عندما تتنبأ الطريقة C بـ p أو n ، فإن الطريقة C′ ستتنبأ بـ n أو p ، على التوالي. وبهذه الطريقة، يكون أداء اختبار C′ هو الأفضل. كلما اقتربت نتيجة جدول الاحتمالات من الزاوية العلوية اليسرى، كان تنبؤها أفضل، لكن المسافة من خط التخمين العشوائي في أي اتجاه هي أفضل مؤشر على مدى قوة التنبؤ التي تتمتع بها الطريقة. إذا كانت النتيجة أسفل الخط (أي أن الطريقة أسوأ من التخمين العشوائي)، فيجب عكس جميع تنبؤات الطريقة للاستفادة من قوتها، وبالتالي رفع النتيجة فوق خط التخمين العشوائي.

المنحنيات في فضاء ROC

في التصنيف الثنائي، غالبًا ما يتم التنبؤ بالفئة لكل حالة بناءً على متغير عشوائي مستمرX{\displaystyle X}وهي "درجة" يتم حسابها للحالة (مثل الاحتمالية المقدرة في الانحدار اللوجستي). بالنظر إلى معلمة العتبةتي{\displaystyle T}يتم تصنيف الحالة على أنها "إيجابية" إذاX>تي{\displaystyle X>T}و"سلبية" فيما عدا ذلك.X{\displaystyle X}يتبع كثافة احتماليةو1(x){\displaystyle f_{1}(x)}إذا كانت الحالة تنتمي بالفعل إلى فئة "الإيجابي"، وو0(x){\displaystyle f_{0}(x)}وإلا. لذلك، يُعطى معدل الإيجابية الحقيقية بالصيغة التالية:TPR(تي)=∫تي∞و1(x)دx{\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}ويُعطى معدل النتائج الإيجابية الخاطئة بواسطةFPR(تي)=∫تي∞و0(x)دx{\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}يتم رسم منحنى ROC بشكل بارامتري.TPR(تي){\displaystyle {\mbox{TPR}}(T)}عكسFPR(تي){\displaystyle {\mbox{FPR}}(T)}معتي{\displaystyle T}كمعامل متغير.

على سبيل المثال، تخيل أن مستويات بروتينات الدم لدى المرضى والأصحاء موزعة توزيعًا طبيعيًا بمتوسطات 2 غ / ديسيلتر و1 غ/ديسيلتر على التوالي. قد يقيس اختبار طبي مستوى بروتين معين في عينة دم، ويصنف أي رقم أعلى من عتبة معينة على أنه مؤشر على وجود مرض. يمكن للمُجري تعديل هذه العتبة (الخط الأخضر العمودي في الشكل)، مما سيؤدي بدوره إلى تغيير معدل النتائج الإيجابية الخاطئة. زيادة العتبة ستؤدي إلى انخفاض عدد النتائج الإيجابية الخاطئة (وزيادة عدد النتائج السلبية الخاطئة)، وهو ما يتوافق مع حركة المنحنى نحو اليسار. يتحدد الشكل الفعلي للمنحنى بمدى تداخل التوزيعين.

الانتقادات

مثال على منحنى خصائص تشغيل المستقبل (ROC) الذي يسلط الضوء على المساحة تحت المنحنى (AUC) المنطقة الفرعية ذات الحساسية المنخفضة والنوعية المنخفضة باللون الأحمر والمنطقة الفرعية ذات الحساسية والنوعية العالية أو الكافية باللون الأخضر [ 18 ].

تنتقد العديد من الدراسات بعض تطبيقات منحنى ROC ومساحته تحت المنحنى كمقاييس لتقييم التصنيفات الثنائية، عندما لا تُغطي هذه التطبيقات المعلومات ذات الصلة بالتطبيق. [ 19 ] [ 18 ] [ 20 ] [ 21 ] [ 22 ]

يتمثل النقد الرئيسي لمنحنى ROC الموصوف في هذه الدراسات في دمج المناطق ذات الحساسية المنخفضة والنوعية المنخفضة ( كلاهما أقل من 0.5) لحساب المساحة الكلية تحت المنحنى (AUC). [ 20 ] كما هو موضح في الرسم البياني على اليمين.

بحسب مؤلفي هذه الدراسات، فإنّ الجزء من المساحة تحت المنحنى (ذي الحساسية والنوعية المنخفضتين) يتعلق بمصفوفات الارتباك التي تُسفر فيها التنبؤات الثنائية عن نتائج سيئة، وبالتالي لا ينبغي إدراجه في تقييم الأداء العام. علاوة على ذلك، يشير هذا الجزء من المساحة تحت المنحنى إلى نطاق ذي عتبة عالية أو منخفضة لمصفوفة الارتباك، وهو نطاق نادرًا ما يكون ذا أهمية للباحثين الذين يُجرون تصنيفًا ثنائيًا في أي مجال. [ 20 ]

ومن الانتقادات الأخرى الموجهة إلى منحنى ROC ومساحته تحت المنحنى أنه لا يشير إلى الدقة أو القيمة التنبؤية السلبية. [ 18 ]

قد تتوافق قيمة ROC AUC العالية، مثل 0.9 على سبيل المثال، مع قيم منخفضة للدقة والقيمة التنبؤية السلبية، مثل 0.2 و0.1 في النطاق [0، 1]. إذا أجرى شخص ما تصنيفًا ثنائيًا، وحصل على قيمة ROC AUC تبلغ 0.9، وقرر التركيز على هذا المقياس فقط، فقد يعتقد بتفاؤل مفرط أن اختباره الثنائي ممتاز. مع ذلك، إذا نظر هذا الشخص إلى قيم الدقة والقيمة التنبؤية السلبية، فقد يكتشف أن قيمها منخفضة.

يلخص منحنى ROC AUC الحساسية والنوعية، ولكنه لا يقدم معلومات حول الدقة والقيمة التنبؤية السلبية. [ 18 ]

تفسيرات إضافية

أحيانًا، يُستخدم منحنى ROC لإنشاء إحصائية موجزة. ومن الإصدارات الشائعة ما يلي:

  • نقطة تقاطع منحنى ROC مع الخط العمودي بزاوية 45 درجة على خط عدم التمييز - نقطة التوازن حيث تتساوى الحساسية مع النوعية
  • نقطة تقاطع منحنى ROC مع المماس بزاوية 45 درجة موازية لخط عدم التمييز الأقرب إلى النقطة الخالية من الخطأ (0،1) - وتسمى أيضًا إحصائية يودن J وتُعمم باسم المعرفة
  • تُسمى المساحة المحصورة بين منحنى ROC وخط عدم التمييز مضروبة في اثنين بمعامل جيني ، وخاصة في سياق تقييم الجدارة الائتمانية . [ 23 ] يجب عدم الخلط بينه وبين مقياس التشتت الإحصائي الذي يُسمى أيضًا بمعامل جيني .
  • المساحة المحصورة بين منحنى ROC الكامل ومنحنى ROC المثلثي الذي يشمل فقط (0,0) و(1,1) ونقطة تشغيل محددة واحدة(تصر،وصر){\displaystyle (tpr,fpr)}– الاتساق [ 24 ]
  • المساحة تحت منحنى ROC، أو "AUC" ("المساحة تحت المنحنى")، أو A' (تُنطق "ألفا برايم")، [ 25 ] أو "إحصائية التوافق" ("إحصائية التوافق"). [ 26 ]
  • مؤشر الحساسية d′ (يُنطق "دي-برايم")، هو المسافة بين متوسط ​​توزيع النشاط في النظام في ظل ظروف الضوضاء فقط وتوزيعه في ظل ظروف الإشارة فقط، مقسومًا على انحرافهما المعياري ، بافتراض أن كلا التوزيعين طبيعيان ولهما نفس الانحراف المعياري. وبناءً على هذه الافتراضات، يتحدد شكل منحنى ROC بالكامل بواسطة d′ .

ومع ذلك، فإن أي محاولة لتلخيص منحنى ROC في رقم واحد تفقد معلومات حول نمط المقايضات لخوارزمية التمييز المحددة.

التفسير الاحتمالي

المساحة تحت المنحنى (والتي يُشار إليها غالبًا ببساطة بـ AUC) تساوي احتمال أن يُصنِّف المُصنِّف حالةً إيجابيةً مختارةً عشوائيًا أعلى من حالةٍ سلبيةٍ مختارةٍ عشوائيًا (بافتراض أن "الإيجابي" يُصنَّف أعلى من "السلبي"). [ 27 ] بعبارة أخرى، عند إعطاء حالة إيجابية مختارة عشوائيًا وحالة سلبية مختارة عشوائيًا، فإن AUC هي احتمال أن يتمكن المُصنِّف من التمييز بينهما.

يمكن توضيح ذلك على النحو التالي: تُعطى المساحة تحت المنحنى بواسطة (يتم عكس حدود التكامل كعتبة كبيرة)تي{\displaystyle T}(لها قيمة أقل على المحور السيني )

TPR⁡(تي):تي→y(x){\displaystyle \operatorname {TPR} (T):T\to y(x)}
FPR⁡(تي):تي→x{\displaystyle \operatorname {FPR} (T):T\to x}
أ=∫x=01TPR(FPR-1(x))دx=∫∞-∞TPR(تي)FPR′(تي)دتي=∫-∞∞∫-∞∞أنا(تي′≥تي)و1(تي′)و0(تي)دتي′دتي=P(X1≥X0){\displaystyle {\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}}

أينX1{\displaystyle X_{1}}هي النتيجة لحالة إيجابية وX0{\displaystyle X_{0}}هي النتيجة الخاصة بحالة سلبية، وو0{\displaystyle f_{0}}وو1{\displaystyle f_{1}}هي كثافات احتمالية كما هو محدد في القسم السابق.

لوX0{\displaystyle X_{0}}وX1{\displaystyle X_{1}}يتبع توزيعين غاوسيين، ثمأ=Φ((μ1-μ0)/σ12+σ02){\displaystyle A=\Phi \left((\mu _{1}-\mu _{0})/{\sqrt {\sigma _{1}^{2}+\sigma _{0}^{2}}}\right)}.

المساحة تحت المنحنى

يمكن إثبات أن مساحة المنطقة تحت المنحنى (AUC) ترتبط ارتباطًا وثيقًا باختبار مان-ويتني يو ، [ 28 ] [ 29 ] الذي يختبر ما إذا كانت القيم الإيجابية تُصنف أعلى من القيم السلبية. بالنسبة للمتنبئو{\textstyle f}، يمكن التعبير عن تقدير غير متحيز لمساحة المنطقة تحت المنحنى (AUC) بواسطة إحصائية ويلكوكسون-مان-ويتني التالية : [ 30 ]

AUC(و)=∑ت0∈د0∑ت1∈د11[و(ت0)<و(ت1)]|د0|⋅|د1|،$ {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},}

أين1[و(ت0)<و(ت1)]{\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}تشير إلى دالة مؤشر تُرجع 1 إذاو(ت0)<و(ت1){\displaystyle f(t_{0})<f(t_{1})}وإلا فأرجع 0؛د0{\displaystyle {\mathcal {D}}^{0}}هي مجموعة الأمثلة السلبية، ود1{\displaystyle {\mathcal {D}}^{1}}هي مجموعة الأمثلة الإيجابية.

في سياق تقييم الجدارة الائتمانية ، غالباً ما يتم استخدام نسخة معاد قياسها من AUC:

جي1=2AUC-1{\displaystyle G_{1}=2\operatorname {AUC} -1}.

جي1{\displaystyle G_{1}}ويشار إليه باسم مؤشر جيني أو معامل جيني، [ 31 ] ولكن لا ينبغي الخلط بينه وبين مقياس التشتت الإحصائي الذي يسمى أيضًا معامل جيني .جي1{\displaystyle G_{1}}هي حالة خاصة من سومرز د .

من الشائع أيضًا حساب المساحة تحت الغلاف المحدب لمنطقة ROC (ROC AUCH = ROCH AUC)، حيث يمكن الحصول على أي نقطة على القطعة المستقيمة بين نتيجتي تنبؤ عشوائيًا باستخدام أحد النظامين باحتمالات تتناسب مع الطول النسبي للمكون المقابل من القطعة. [ 32 ] كما يمكن عكس التقعرات - كما هو موضح في الشكل، يمكن عكس الحل الأسوأ ليصبح حلاً أفضل؛ يمكن عكس التقعرات في أي قطعة مستقيمة، ولكن هذا الشكل الأكثر تطرفًا من الدمج يُرجّح أن يُفرط في ملاءمة البيانات. [ 33 ]

يستخدم مجتمع تعلم الآلة في أغلب الأحيان إحصائية ROC AUC لمقارنة النماذج. [ 34 ] وقد أُثيرت تساؤلات حول هذه الممارسة نظرًا لأن تقديرات AUC تتسم بالتشويش وتعاني من مشاكل أخرى. [ 35 ] [ 36 ] [ 37 ] ومع ذلك، فقد ثبتت صحة استخدام AUC كمقياس لأداء التصنيف الإجمالي، من حيث توزيع المعدل المنتظم، [ 38 ] كما تم ربط AUC بعدد من مقاييس الأداء الأخرى مثل درجة بريير . [ 39 ]

تتمثل إحدى مشكلات مساحة المنطقة تحت منحنى ROC (AUC) في أن اختزال منحنى ROC إلى رقم واحد يتجاهل حقيقة أنه يتعلق بالمفاضلات بين الأنظمة المختلفة أو نقاط الأداء المرسومة، وليس بأداء نظام فردي، كما يتجاهل إمكانية تصحيح التقعر، لذا يُوصى باستخدام مقاييس بديلة ذات صلة مثل Informedness أو DeltaP. [ 24 ] [ 40 ] هذه المقاييس تُعادل تقريبًا معامل جيني لنقطة تنبؤ واحدة، حيث DeltaP' = Informedness = 2AUC-1، بينما يُمثل DeltaP = Markedness الازدواجية (أي التنبؤ بالتنبؤ من الفئة الحقيقية)، ومتوسطهما الهندسي هو معامل ارتباط ماثيوز .

بينما تتراوح قيمة ROC AUC بين 0 و1 - حيث يُعطي المصنف غير المُفيد قيمة 0.5 - فإن المقاييس البديلة المعروفة باسم "المعلوماتية" و "اليقين" [ 24 ] ومعامل جيني (في حالة المعلمة الواحدة أو النظام الواحد) تتميز جميعها بأن 0 يُمثل أداءً عشوائيًا، بينما يُمثل 1 أداءً مثاليًا، و-1 يُمثل الحالة "المعكوسة" للمعلوماتية الكاملة التي تُعطي دائمًا استجابة خاطئة. [ 41 ] إن جعل الأداء العشوائي يساوي صفرًا يسمح بتفسير هذه المقاييس البديلة على أنها إحصائيات كابا. وقد ثبت أن للمعلوماتية خصائص مرغوبة في التعلم الآلي مقارنةً بتعريفات كابا الشائعة الأخرى مثل كابا كوهين وكابا فليس . [ 42 ]

أحيانًا يكون من الأجدى النظر إلى منطقة محددة من منحنى ROC بدلًا من النظر إلى المنحنى بأكمله. من الممكن حساب المساحة الجزئية تحت المنحنى (AUC) . [ 43 ] على سبيل المثال، يمكن التركيز على منطقة المنحنى ذات معدل النتائج الإيجابية الخاطئة المنخفض، والتي غالبًا ما تكون ذات أهمية قصوى لاختبارات فحص السكان. [ 44 ] هناك نهج شائع آخر لمشاكل التصنيف التي يكون فيها P ≪ N (وهو أمر شائع في تطبيقات المعلوماتية الحيوية) وهو استخدام مقياس لوغاريتمي للمحور السيني . [ 45 ]

تُسمى مساحة منحنى ROC أيضًا إحصائية c أو إحصائية c . [ 46 ]

تدابير أخرى

منحنى TOC

تُحدد خاصية التشغيل الكلية (TOC) أيضًا القدرة التشخيصية، مع كشفها عن معلومات أكثر من منحنى ROC. لكل عتبة، يكشف منحنى ROC عن نسبتين، هما TP/(TP + FN) و FP/(FP + TN). بعبارة أخرى، يكشف منحنى ROC عنالأغاني الناجحةالأغاني الناجحة+يفوت{\displaystyle {\frac {\text{الإصابات}}{{\text{الإصابات}}+{\text{الأخطاء}}}}}وإنذارات كاذبةإنذارات كاذبة+الرفض الصحيح{\displaystyle {\frac {\text{الإنذارات الكاذبة}}{{\text{الإنذارات الكاذبة}}+{\text{الرفض الصحيح}}}}}من جهة أخرى، يُظهر تحليل TOC إجمالي المعلومات في جدول التوافق لكل عتبة. [ 47 ] يكشف تحليل TOC جميع المعلومات التي يوفرها تحليل ROC، بالإضافة إلى معلومات إضافية مهمة لا يكشفها تحليل ROC، مثل حجم كل مدخل في جدول التوافق لكل عتبة. كما يوفر تحليل TOC أيضًا مساحة المنطقة تحت المنحنى (AUC) الشائعة لتحليل ROC. [ 48 ]

منحنى ROC

هذه الأشكال هي منحنيات TOC وROC باستخدام نفس البيانات والعتبات. لنفترض النقطة التي تُقابل عتبة 74. يُظهر منحنى TOC عدد مرات التطابق، وهو 3، وبالتالي عدد مرات الفشل، وهو 7. بالإضافة إلى ذلك، يُظهر منحنى TOC أن عدد الإنذارات الكاذبة هو 4 وعدد حالات الرفض الصحيحة هو 16. عند أي نقطة مُحددة في منحنى ROC، يُمكن استخلاص قيم نسبإنذارات كاذبةإنذارات كاذبة+الرفض الصحيح{\displaystyle {\frac {\text{الإنذارات الكاذبة}}{{\text{الإنذارات الكاذبة}}+{\text{الرفض الصحيح}}}}}والأغاني الناجحةالأغاني الناجحة+يفوت{\displaystyle {\frac {\text{الإصابات}}{{\text{الإصابات}}+{\text{الأخطاء}}}}}على سبيل المثال، عند العتبة 74، من الواضح أن الإحداثي السيني هو 0.2 والإحداثي الصادي هو 0.3. ومع ذلك، فإن هاتين القيمتين غير كافيتين لإنشاء جميع مدخلات جدول التوافق الأساسي المكون من صفين في صفين.

رسم بياني لمفاضلة خطأ الكشف

مثال على رسم بياني DET

يُعدّ رسم بياني لمفاضلة خطأ الكشف (DET) بديلاً لمنحنى ROC ، حيث يرسم معدل السلبيات الكاذبة (الكشفات الفائتة) مقابل معدل الإيجابيات الكاذبة (الإنذارات الكاذبة) على محوري x وy بعد تحويلهما بشكل غير خطي. دالة التحويل هي دالة الكمية للتوزيع الطبيعي، أي معكوس التوزيع الطبيعي التراكمي. في الواقع، هو نفس تحويل zROC المذكور أدناه، باستثناء استخدام مكمل معدل الإصابة، أي معدل الخطأ أو معدل السلبيات الكاذبة. يُخصّص هذا البديل مساحة أكبر من الرسم البياني للمنطقة محل الاهتمام. معظم مساحة ROC غير مهمة؛ إذ يُركّز الاهتمام بشكل أساسي على المنطقة الملاصقة لمحور y والزاوية العلوية اليسرى - والتي تُمثّل، نظرًا لاستخدام معدل الخطأ بدلاً من مكمله، معدل الإصابة، الزاوية السفلية اليسرى في رسم DET. علاوة على ذلك، تتميّز رسومات DET بخاصية الخطية وسلوك العتبة الخطية للتوزيعات الطبيعية. [ 49 ] يُستخدم مخطط DET على نطاق واسع في مجال التعرف التلقائي على المتحدثين ، حيث استُخدم اسم DET لأول مرة. وقد استخدم علماء النفس تحليل أداء منحنى ROC في الرسوم البيانية مع هذا التشوه في المحاور في دراسات الإدراك في منتصف القرن العشرين، حيث أُطلق على ذلك اسم "ورقة الاحتمالية المزدوجة". [ 50 ]

الدرجة المعيارية Z

إذا طُبِّقَت درجة معيارية على منحنى ROC، فسيتحول المنحنى إلى خط مستقيم. [ 51 ] تستند هذه الدرجة المعيارية (z-score) إلى توزيع طبيعي بمتوسط ​​صفر وانحراف معياري واحد. في نظرية قوة الذاكرة ، يُفترض أن منحنى z-ROC ليس خطيًا فحسب، بل ميله يساوي 1.0. إن التوزيعات الطبيعية للأهداف (الأشياء المدروسة التي يحتاج المشاركون إلى تذكرها) والمشتتات (الأشياء غير المدروسة التي يحاول المشاركون تذكرها) هي العامل الذي يجعل منحنى z-ROC خطيًا.

تعتمد خطية منحنى zROC على الانحرافات المعيارية لتوزيعات قوة الهدف وقوة الطعم. إذا تساوى الانحراف المعياري، يكون الميل 1.0. أما إذا كان الانحراف المعياري لتوزيع قوة الهدف أكبر من الانحراف المعياري لتوزيع قوة الطعم، فإن الميل يكون أقل من 1.0. في معظم الدراسات، وُجد أن ميل منحنى zROC يقل باستمرار عن 1، ويتراوح عادةً بين 0.5 و0.9. [ 52 ] وقد أسفرت العديد من التجارب عن ميل zROC قدره 0.8. يشير الميل 0.8 إلى أن تباين توزيع قوة الهدف أكبر بنسبة 25% من تباين توزيع قوة الطعم. [ 53 ]

يُستخدم متغير آخر هو d ' (d') (المذكور أعلاه في قسم "مقاييس أخرى")، والذي يمكن التعبير عنه بسهولة بدلالة قيم z. على الرغم من أن d ' مُعامل شائع الاستخدام، إلا أنه يجب إدراك أنه لا يكون ذا صلة إلا عند الالتزام التام بالافتراضات القوية لنظرية القوة المذكورة أعلاه. [ 54 ]  

تكون قيمة z لمنحنى ROC خطية دائمًا، كما هو مفترض، باستثناء حالات خاصة. يُعد نموذج يونيليناس للألفة والتذكر وصفًا ثنائي الأبعاد لذاكرة التعرف. فبدلًا من أن يجيب الشخص ببساطة بنعم أو لا على مُدخل مُحدد، يُعطي الشخص هذا المُدخل شعورًا بالألفة، وهو ما يعمل مثل منحنى ROC الأصلي. لكن ما يتغير هو مُعامل التذكر (R). يُفترض أن التذكر إما كلي أو معدوم، وهو يتفوق على الألفة. إذا لم يكن هناك مُكوّن للتذكر، فسيكون لمنحنى zROC ميل مُتوقع يساوي 1. ومع ذلك، عند إضافة مُكوّن التذكر، سيصبح منحنى zROC مُقعّرًا لأعلى، مع انخفاض في الميل. ينتج هذا الاختلاف في الشكل والميل عن عنصر إضافي من التباين بسبب تذكر بعض العناصر. لا يستطيع المرضى الذين يُعانون من فقدان الذاكرة التقدمي التذكر، لذا سيكون لمنحنى يونيليناس zROC الخاص بهم ميل قريب من 1.0. [ 55 ]

تاريخ

استُخدم منحنى ROC لأول مرة خلال الحرب العالمية الثانية لتحليل إشارات الرادار قبل توظيفه في نظرية كشف الإشارات . [ 56 ] بعد الهجوم على بيرل هاربر عام 1941، بدأ الجيش الأمريكي أبحاثًا جديدة لزيادة دقة التنبؤ بالطائرات اليابانية التي يتم رصدها من إشارات الرادار. ولتحقيق هذه الغاية، قاسوا قدرة مشغل جهاز استقبال الرادار على إجراء هذه الفروقات المهمة، وهو ما يُعرف بخاصية تشغيل جهاز الاستقبال. [ 57 ]

في خمسينيات القرن العشرين، استُخدمت منحنيات ROC في علم النفس الفيزيائي لتقييم قدرة الإنسان (وأحيانًا الحيوانات) على كشف الإشارات الضعيفة. [ 56 ] وفي الطب ، استُخدم تحليل ROC على نطاق واسع في تقييم الاختبارات التشخيصية . [ 58 ] [ 59 ] كما تُستخدم منحنيات ROC بكثرة في علم الأوبئة والبحوث الطبية ، وكثيرًا ما تُذكر في سياق الطب المبني على البراهين . وفي علم الأشعة ، يُعد تحليل ROC أسلوبًا شائعًا لتقييم تقنيات الأشعة الجديدة. [ 60 ] وفي العلوم الاجتماعية، يُطلق على تحليل ROC غالبًا اسم نسبة دقة ROC، وهي تقنية شائعة لتقييم دقة نماذج الاحتمالية الافتراضية. وتُستخدم منحنيات ROC على نطاق واسع في الطب المخبري لتقييم الدقة التشخيصية للاختبار، واختيار القيمة الحدية المثلى له، ومقارنة الدقة التشخيصية لعدة اختبارات.

أثبتت منحنيات ROC أيضًا فائدتها في تقييم تقنيات التعلم الآلي . وكان سباكمان أول من استخدم منحنيات ROC في التعلم الآلي، حيث أوضح قيمتها في مقارنة وتقييم خوارزميات التصنيف المختلفة . [ 61 ]

تُستخدم منحنيات ROC أيضًا في التحقق من صحة التنبؤات في علم الأرصاد الجوية. [ 62 ]

الرادار بالتفصيل

كما ذُكر سابقاً، تُعدّ منحنيات ROC أساسيةً لعمل الرادار ونظريته. غالباً ما تكون الإشارات المُستقبلة في محطة الاستقبال، والمنعكسة من الهدف، ذات طاقة منخفضة جداً مقارنةً بمستوى الضوضاء . تُعتبر نسبة الإشارة إلى الضوضاء مقياساً هاماً لتحديد إمكانية رصد الهدف. ترتبط هذه النسبة ارتباطاً مباشراً بخصائص تشغيل جهاز الاستقبال في نظام الرادار ككل، والتي تُستخدم لتقييم كفاءة نظام الرادار.

لنفترض تطوير نظام رادار. يمكن تحديد مواصفات قدرات النظام من حيث احتمالية الكشف،Pد{\displaystyle P_{D}}مع قدر من التسامح مع الإنذارات الكاذبة،PFأ{\displaystyle P_{FA}}يمكن حساب تقريب مبسط لنسبة الإشارة إلى الضوضاء المطلوبة في محطة الاستقبال عن طريق حل [ 63 ]

Pد=12erfc⁡(erfc-1⁡(2PFأ)-X/2){\displaystyle P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X/2}}}\right)}

نسبة الإشارة إلى الضوضاءX{\displaystyle {\mathcal {X}}}. هنا،X{\displaystyle {\mathcal {X}}}لا تُقاس الإشارة بالديسيبل ، كما هو شائع في العديد من تطبيقات الرادار. ويتم التحويل إلى الديسيبل من خلالXدب=10سجل10⁡X{\displaystyle {\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}}ومن هذا الشكل، يمكن حل المدخلات المشتركة في معادلة مدى الرادار (مع عوامل الضوضاء) لتقدير القدرة الإشعاعية الفعالة المطلوبة .

منحنيات ROC تتجاوز التصنيف الثنائي

يُعدّ توسيع منحنيات ROC لمسائل التصنيف التي تضم أكثر من فئتين أمرًا معقدًا. ومن الطرق الشائعة في هذه الحالة: (1) حساب متوسط ​​قيم AUC لكل زوج من الفئات [ 64 ] ، و(2) حساب الحجم تحت السطح (VUS) [ 65 ] [ 66 ] . لحساب المتوسط ​​لكل زوج من الفئات، تُحسب قيمة AUC لكل زوج من الفئات، باستخدام الأمثلة من هاتين الفئتين فقط كما لو لم تكن هناك فئات أخرى، ثم يُحسب متوسط ​​قيم AUC هذه لجميع الأزواج الممكنة. عند وجود c فئة، سيكون هناك c ( c - 1)/2 زوجًا ممكنًا من الفئات.

تعتمد طريقة الحجم تحت السطح على رسم سطح فائق بدلاً من منحنى، ثم قياس الحجم الفائق تحته. يمكن وصف كل قاعدة قرار ممكنة لمصنف لـ c فئة بدلالة معدلاتها الإيجابية الحقيقية (TPR 1 ، ...  ، TPR c ) . تحدد هذه المعدلات نقطة، وتُنتج مجموعة جميع قواعد القرار الممكنة سحابة من النقاط التي     تحدد السطح الفائق. وفقًا لهذا التعريف، فإن VUS هو احتمال قدرة المصنف على تصنيف جميع الأمثلة c بشكل صحيح عند إعطائه مجموعة تحتوي على مثال واحد مختار عشوائيًا من كل فئة. قد يقوم تطبيق مصنف يعلم أن مجموعة الإدخال الخاصة به تتكون من مثال واحد من كل فئة ، أولاً بحساب درجة جودة المطابقة لكل زوج من أزواج c² الممكنة لتصنيف مثال إلى فئة، ثم يستخدم خوارزمية هنغارية لزيادة مجموع درجات التصنيف المختارة c إلى أقصى حد ممكن عبر جميع الطرق الممكنة c ! لتخصيص مثال واحد فقط لكل فئة.

نظراً لنجاح منحنيات ROC في تقييم نماذج التصنيف، فقد تمّ استكشاف إمكانية تطبيقها على مهام أخرى تتطلب إشرافاً. ومن أبرز المقترحات لحلّ مشكلات الانحدار ما يُعرف بمنحنيات خصائص خطأ الانحدار (REC) [ 67 ] ومنحنيات ROC للانحدار (RROC) [ 68 ] . في الحالة الأخيرة، تُصبح منحنيات RROC شديدة الشبه بمنحنيات ROC للتصنيف، مع مراعاة مفاهيم عدم التماثل، والسيطرة، والغطاء المحدب. كما أن المساحة تحت منحنيات RROC تتناسب طردياً مع تباين خطأ نموذج الانحدار.

انظر أيضاً

مراجع

  1. ↑ جونج، مارك آر جيه؛ ديتوري، جوزيف آر. (يونيو 2018). "ROC Solid: منحنيات خصائص تشغيل المستقبل (ROC) كأساس لاختبارات تشخيصية أفضل" . مجلة العمود الفقري العالمية . 8 (4): 424-429 . doi : 10.1177/2192568218778294 . ISSN 2192-5682 . PMC 6022965. PMID 29977728 .   
  2. 1 2 "تحليل أداء الكاشف باستخدام منحنيات ROC - مثال باستخدام MATLAB وSimulink" . www.mathworks.com . مؤرشف من الأصل بتاريخ 14 يونيو 2020. تم الاطلاع عليه بتاريخ 11 أغسطس 2016 .
  3. ↑ سويتس، جون أ.؛ نظرية كشف الإشارة وتحليل منحنى ROC في علم النفس والتشخيص  : أوراق بحثية مجمعة. مؤرشفة بتاريخ 2005-01-05 في Wayback Machine ، دار نشر لورانس إيرلبوم أسوشيتس، ماهاوا، نيوجيرسي، 1996
  4. ↑ يونغ، إم آر؛ ديتوري، جيه آر (3 مايو 2024). "منحنى ROC الصلب: منحنيات خصائص تشغيل المستقبل (ROC) كأساس لاختبارات تشخيصية أفضل" . مجلة العمود الفقري العالمية . 8 (4): 424-429 . doi : 10.1177/2192568218778294 . PMC 6022965. PMID 29977728 .  
  5. ↑ بيريز، دي جيه؛ كانسيليير، أ. (2014-12-08). "استنباط وتقييم عتبات التسبب في الانهيارات الأرضية باستخدام منهج مونت كارلو" . مجلة علوم نظام الأرض المائية . 18 (12): 4913-4931 . رمز Bibcode : 2014HESS...18.4913P . doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938 . 
  6. ↑ مورفي، آلان هـ. (1996-03-01). "قضية فينلي: حدث بارز في تاريخ التحقق من التنبؤات" . الطقس والتنبؤات . 11 (1): 3-20 . Bibcode : 1996WtFor..11....3M . doi : 10.1175 /1520-0434(1996)011 < 0003:tfaase > 2.0.co ; 2. ISSN 0882-8156 . 
  7. ↑ بيريز، دي جيه؛ إيوبا، سي؛ كافالارو، إل؛ كانسيلييري، إيه؛ فوتي، إي. (2015-10-01). "توسيع نطاق سجلات ارتفاع الموجة الكبير باستخدام الشبكات العصبية وبيانات إعادة تحليل الرياح". نمذجة المحيطات . 94 : 128-140 . Bibcode : 2015OcMod..94..128P . doi : 10.1016/j.ocemod.2015.08.002 .
  8. ↑ سوشكوفا، أولغا؛ موروزوف، أليكسي؛ غابوفا، ألكسندرا؛ كارابانوف، أليكسي؛ إيلاريوشكين، سيرجي (2021). " طريقة إحصائية لتحليل البيانات الاستكشافية بناءً على مخططات المساحة تحت المنحنى ثنائية وثلاثية الأبعاد: دراسة مرض باركنسون" . مجلة الحساسات . 21 (14): 4700. Bibcode : 2021Senso..21.4700S . doi : 10.3390/s21144700 . PMC 8309570. PMID 34300440 .  
  9. ↑ فوسيت، توم (2006). "مقدمة في تحليل منحنى ROC" (ملف PDF) . رسائل التعرف على الأنماط . 27 (8): 861-874 . doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 . 
  10. ↑ بروفوست، فوستر؛ توم فاوست (2013-08-01). "علم البيانات للأعمال: ما تحتاج إلى معرفته حول استخراج البيانات والتفكير التحليلي للبيانات" . أورايلي ميديا، إنك .
  11. ↑ باورز، ديفيد إم دبليو (2011). "التقييم: من الدقة والاستدعاء ومقياس F إلى منحنى ROC والمعلوماتية والتمييز والارتباط" . مجلة تقنيات التعلم الآلي . 2 (1): 37-63 .
  12. ↑ تينغ، كاي مينغ (2011). ساموت، كلود؛ ويب، جيفري آي. (محرران). موسوعة تعلم الآلة . سبرينغر. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8.
  13. ↑ بروكس، هارولد؛ براون، بارب؛ إيبرت، بيث؛ فيرو، كريس؛ جوليف، إيان؛ كوه، تيه-يونغ؛ روبير، بول؛ ستيفنسون، ديفيد (26 يناير 2015). "الفريق العامل المشترك بين برنامج أبحاث الطقس العالمي (WWRP) وبرنامج أبحاث الأرصاد الجوية الوطنية (WGNE) المعني بأبحاث التحقق من التنبؤات" . التعاون من أجل أبحاث الطقس والمناخ الأسترالية . المنظمة العالمية للأرصاد الجوية . تاريخ الاسترجاع: 17 يوليو 2019 .
  14. ↑ شيكو د، جورمان ج (يناير 2020). "مزايا معامل ارتباط ماثيوز (MCC) مقارنةً بدرجة F1 ودقة تقييم التصنيف الثنائي" . بي إم سي جينوميكس . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312. PMID 31898477 .  
  15. ↑ شيكو د، تويتش ن، جورمان ج (فبراير 2021). "معامل ارتباط ماثيوز (MCC) أكثر موثوقية من دقة التوازن، ومعلومات وكيل المراهنات، والتمييز في تقييم مصفوفة الارتباك ثنائية الفئة" . BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449. PMID 33541410 .  
  16. ↑ ثروت أ. (أغسطس 2018). "أساليب تقييم التصنيف" . الحوسبة التطبيقية والمعلوماتية . 17 : 168-192 . doi : 10.1016/j.aci.2018.08.003 .
  17. ↑ "التصنيف - مساحة تحت منحنى ROC لمصنف عشوائي" . موقع Data Science Stack Exchange . تم الاطلاع عليه بتاريخ 30 نوفمبر 2020 .
  18. 1 2 3 4 شيكو، دافيد؛ جورمان، جوزيبي (17 فبراير 2023). "يجب استبدال معامل ارتباط ماثيوز (MCC) بمساحة منحنى ROC تحت المنحنى (AUC) كمقياس معياري لتقييم التصنيف الثنائي" . BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381 . PMC 9938573. PMID 36800973 .   
  19. ↑ موشيلي، جون (23 ديسمبر 2019). "منحنى ROC ومساحة تحت المنحنى مع مُتنبئ ثنائي: مقياس قد يكون مُضللاً" . مجلة التصنيف . 37 (3). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 696-708 . doi : 10.1007 / s00357-019-09345-1 . ISSN 0176-4268 . PMC 7695228. PMID 33250548 .   
  20. ١ ٢ ٣ لوبو، خورخي م.؛ خيمينيز-فالفيردي، ألبرتو؛ ريال، رايموندو (٢٠٠٨). "مساحة تحت المنحنى: مقياس مضلل لأداء نماذج التوزيع التنبؤية". علم البيئة العالمي والجغرافيا الحيوية . ١٧ (٢). وايلي: ١٤٥-١٥١ . Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . ISSN 1466-822X . 
  21. ↑ هاليجان، ستيف؛ ألتمان، دوغلاس ج.؛ ماليت، سوزان (20 يناير 2015). "مساوئ استخدام المساحة تحت منحنى خصائص تشغيل المستقبل لتقييم اختبارات التصوير: مناقشة واقتراح لنهج بديل" . المجلة الأوروبية للأشعة . 25 (4) . سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 932-939 . doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994 . PMC 4356897. PMID 25599932 .   
  22. ↑ بيرار، د.؛ فلاش، ب. (21 مارس 2011). "محاذير ومزالق تحليل منحنى ROC في أبحاث المصفوفات الدقيقة السريرية (وكيفية تجنبها)" . موجزات في المعلوماتية الحيوية . 13 (1). مطبعة جامعة أكسفورد (OUP): 83-97 . doi : 10.1093/bib/bbr008 . ISSN 1467-5463 . PMID 21422066 .  
  23. ^ زيزاك، م.، زيزاك، ف. (2011). “كيفية قياس جودة نماذج التصنيف الائتماني”. المجلة التشيكية للاقتصاد والمالية (التمويل في úvěr) . 61 (5). جامعة تشارلز براغ، كلية العلوم الاجتماعية: 486-507 .
  24. 1 2 3 باورز، ديفيد إم دبليو (2012). "ROC-ConCert: قياس الاتساق واليقين باستخدام منحنى ROC" (ملف PDF) . المؤتمر الربيعي للهندسة والتكنولوجيا (SCET) . المجلد 2. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 238-241 .  
  25. ↑ فوغارتي، جيمس؛ بيكر، رايان س.؛ هدسون، سكوت إي. (2005). "دراسات حالة في استخدام تحليل منحنى ROC للتقديرات القائمة على أجهزة الاستشعار في التفاعل بين الإنسان والحاسوب" . سلسلة وقائع مؤتمر ACM الدولي، وقائع واجهة الرسومات 2005. واترلو، أونتاريو: الجمعية الكندية للاتصالات بين الإنسان والحاسوب.
  26. ↑ هاستي، تريفور ؛ تيبشيراني، روبرت ؛ فريدمان، جيروم هـ. (2009). عناصر التعلم الإحصائي: استخراج البيانات، والاستدلال، والتنبؤ ( الطبعة الثانية). 
  27. ↑ فاوست، توم (2006)؛ مقدمة في تحليل ROC ، رسائل التعرف على الأنماط، 27، 861-874.
  28. ↑ هانلي، جيمس أ.؛ ماكنيل، باربرا ج. (1982). "معنى واستخدام المساحة تحت منحنى خصائص تشغيل المستقبل (ROC)". علم الأشعة . 143 (1): 29-36 . doi : 10.1148/radiology.143.1.7063747 . PMID 7063747. S2CID 10511727 .  
  29. ↑ ماسون، سيمون جيه؛ غراهام، نيكولاس إي. (2002). "المساحات أسفل منحنيات خصائص التشغيل النسبية (ROC) ومستويات التشغيل النسبية (ROL): الدلالة الإحصائية والتفسير" (ملف PDF) . المجلة الفصلية للجمعية الملكية للأرصاد الجوية . 128 (584): 2145-2166 . Bibcode : 2002QJRMS.128.2145M . CiteSeerX 10.1.1.458.8392 . doi : 10.1256/003590002320603584 . S2CID 121841664. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 20 نوفمبر 2008.  
  30. ^ كالدرز، تون. ياروسزيفيتش، سيمون (2007). “تحسين كفاءة AUC للتصنيف”. في كوك، جوست ن. كوروناكي، جاسيك؛ لوبيز دي مانتاراس، رامون؛ ماتوين، ستان؛ ملادينيتش، دنيا؛ سكورون، أندريه (محرران). اكتشاف المعرفة في قواعد البيانات: PKDD 2007 . ملاحظات محاضرة في علوم الكمبيوتر. المجلد. 4702. برلين، هايدلبرغ: سبرينغر. ص 42 – 53. دوى : 10.1007 / 978-3-540-74976-9_8 . رقم ISBN   978-3-540-74976-9.
  31. ↑ هاند، ديفيد جيه؛ وتيل، روبرت جيه (2001)؛ تعميم بسيط للمساحة تحت منحنى ROC لمشاكل تصنيف الفئات المتعددة ، تعلم الآلة، 45، 171-186.
  32. ↑ بروفوست، ف.؛ فوسيت، ت. (2001). "التصنيف القوي للبيئات غير الدقيقة". تعلم الآلة . 42 (3): 203-231 . arXiv : cs/0009007 . Bibcode : 2001MLear..42..203P . doi : 10.1023/a:1007601015854 . S2CID 5415722 . 
  33. ↑ فلاش، ب.أ.؛ وو، س. (2005). "إصلاح التقعرات في منحنيات ROC." (ملف PDF) . المؤتمر الدولي المشترك التاسع عشر حول الذكاء الاصطناعي (IJCAI'05) . الصفحات 702-707 . 
  34. ↑ هانلي، جيمس أ.؛ ماكنيل، باربرا ج. (1983-09-01). "طريقة لمقارنة المساحات تحت منحنيات خصائص تشغيل المستقبل المستمدة من نفس الحالات" . علم الأشعة . 148 (3): 839-843 . doi : 10.1148/radiology.148.3.6878708 . PMID 6878708 . 
  35. ↑ هانزار، بليز؛ هوا، جيان بينغ؛ سيما، تشاو؛ وينشتاين، جون؛ بيتنر، مايكل؛ دوغيرتي، إدوارد ر. (2010). "دقة تقديرات منحنى ROC في العينات الصغيرة" . المعلوماتية الحيوية . 26 (6): 822-830 . doi : 10.1093/bioinformatics/btq037 . PMID 20130029 . 
  36. ↑ لوبو، خورخي م.؛ خيمينيز-فالفيردي، ألبرتو؛ ريال، رايموندو (2008). "مساحة تحت المنحنى: مقياس مضلل لأداء نماذج التوزيع التنبؤية". علم البيئة العالمي والجغرافيا الحيوية . 17 (2): 145-151 . Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . S2CID 15206363 . 
  37. ↑ هاند، ديفيد ج. (2009). "قياس أداء المصنف: بديل متماسك للمساحة تحت منحنى ROC" . تعلم الآلة . 77 : 103-123 . doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
  38. ↑ فلاش، ب.أ.؛ هيرنانديز-أورالو، ج.؛ فيري، س. (2011). "تفسير متماسك لمساحة تحت المنحنى كمقياس لأداء التصنيف المجمع." (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي (ICML-11) . الصفحات 657-664 . 
  39. ↑ هيرنانديز-أورالو، ج.؛ فلاخ، ب.أ.؛ فيري، س. (2012). "نظرة موحدة لمقاييس الأداء: ترجمة اختيار العتبة إلى خسارة التصنيف المتوقعة" (ملف PDF) . مجلة أبحاث تعلم الآلة . 13 : 2813-2869 .
  40. ↑ باورز، ديفيد إم دبليو (2012). "مشكلة المساحة تحت المنحنى". المؤتمر الدولي لعلوم وتكنولوجيا المعلومات .
  41. ↑ باورز، ديفيد إم دبليو (2003). "الاستدعاء والدقة مقابل المراهن" (ملف PDF) . وقائع المؤتمر الدولي للعلوم المعرفية (ICSC-2003)، سيدني، أستراليا، 2003، ص 529-534 . 
  42. ↑ باورز، ديفيد إم دبليو (2012). "مشكلة كابا" (ملف PDF) . مؤتمر الفرع الأوروبي لجمعية اللغويات الحاسوبية (EACL2012)، ورشة عمل مشتركة بين روبوس وUNSUP . مؤرشف من الأصل (ملف PDF) بتاريخ 18 مايو 2016. تاريخ الاسترجاع: 20 يوليو 2012 .
  43. ↑ ماكليش، دونا كاتزمان (1989-08-01). " تحليل جزء من منحنى ROC". اتخاذ القرارات الطبية . 9 (3): 190-195 . doi : 10.1177/0272989X8900900307 . PMID 2668680. S2CID 24442201 .  
  44. ↑ دود، لوري إي؛ بيبي، مارغريت إس. (2003). "تقدير وانحدار المساحة تحت المنحنى الجزئي" . القياسات الحيوية . 59 (3): 614-623 . doi : 10.1111/1541-0420.00071 . PMID 14601762. S2CID 23054670 .  
  45. ↑ كاربلوس، كيفن (2011)؛ أفضل من الصدفة: أهمية النماذج الصفرية ، جامعة كاليفورنيا، سانتا كروز، في وقائع ورشة العمل الدولية الأولى حول التعرف على الأنماط في علم البروتينات، وعلم الأحياء الهيكلي، والمعلوماتية الحيوية (PR PS BB 2011).
  46. ↑ "إحصائية C: التعريف، الأمثلة، الترجيح، والدلالة الإحصائية" . موقع "الإحصاء كيف ". 28 أغسطس 2016.
  47. ↑ بونتيوس، روبرت جيلمور؛ بارمنتييه، بينوا (2014). "توصيات لاستخدام منحنى خصائص التشغيل النسبي (ROC)". علم بيئة المناظر الطبيعية . 29 (3): 367-382 . Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 . 
  48. ↑ بونتيوس، روبرت جيلمور؛ سي، كانغبينغ (2014). "الخاصية التشغيلية الكلية لقياس القدرة التشخيصية لعتبات متعددة". المجلة الدولية لعلوم المعلومات الجغرافية . 28 (3): 570-583 . Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 . 
  49. ↑ نافراتيل، ج.؛ كلوساك، د. (1 أبريل 2007). "حول مُحَدِّدات الإشارات الخطية". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2007 - ICASSP '07 . المجلد 4. الصفحات IV-229–IV-232. doi : 10.1109/ICASSP.2007.367205 . ISBN   978-1-4244-0727-9. S2CID 18173315 . 
  50. ↑ ديف ب. تشاكرابورتي (14 ديسمبر 2017). "ورقة بحثية حول الاحتمالية المزدوجة"&pg=PT214 أساليب أداء المراقب للتصوير التشخيصي: الأسس والنمذجة والتطبيقات مع أمثلة قائمة على لغة R. مطبعة CRC. ص 214. ISBN  9781351230711تم الاطلاع عليه بتاريخ 11 يوليو 2019 .
  51. ↑ ماكميلان، نيل أ.؛ كريلمان، سي. دوغلاس (2005). نظرية الكشف: دليل المستخدم ( الطبعة الثانية). ماوا، نيوجيرسي: لورانس إيرلبوم أسوشيتس. ISBN  978-1-4106-1114-7.
  52. ↑ غلانزر، موراي؛ كيسوك، كيم؛ هيلفورد، آندي؛ آدامز، جون ك. (1999). "ميل منحنى خصائص التشغيل للمستقبل في ذاكرة التعرف". مجلة علم النفس التجريبي: التعلم والذاكرة والإدراك . 25 (2): 500-513 . doi : 10.1037/0278-7393.25.2.500 .
  53. ↑ راتكليف، روجر؛ ماكون، غيل؛ تيندال، مايكل (1994). "التعميم التجريبي للبيانات المستقاة من دوال ROC لذاكرة التعرف وآثارها على نماذج GMM". مجلة علم النفس التجريبي: التعلم والذاكرة والإدراك . 20 (4): 763-785 . CiteSeerX 10.1.1.410.2114 . doi : 10.1037/0278-7393.20.4.763 . PMID 8064246 .  
  54. ↑ تشانغ، جون؛ مولر، شين ت. (2005). "ملاحظة حول تحليل منحنى ROC والتقدير غير البارامتري للحساسية". مجلة القياس النفسي . 70 : 203-212 . CiteSeerX 10.1.1.162.1515 . doi : 10.1007/s11336-003-1119-8 . S2CID 122355230 .  
  55. ↑ يونيليناس، أندرو ب.؛ كرول، نيل إي. أ.؛ دوبينز، إيان ج.؛ لازارا، ميشيل؛ نايت، روبرت ت. (1998). "قصور التذكر والألفة في فقدان الذاكرة: تقارب بيانات التذكر والمعرفة، وانفصال العمليات، وخصائص تشغيل المستقبل". علم النفس العصبي . 12 (3): 323-339 . doi : 10.1037/0894-4105.12.3.323 . PMID 9673991 . 
  56. 1 2 غرين، ديفيد م.؛ سويتس، جون أ. (1966). نظرية كشف الإشارة وعلم النفس الفيزيائي . نيويورك، نيويورك: جون وايلي وأولاده. ISBN 978-0-471-32420-1.
  57. ↑ "استخدام منحنى خصائص تشغيل المستقبل (ROC) لتحليل نموذج تصنيف: ملاحظة أخيرة ذات أهمية تاريخية" (ملف PDF) . قسم الرياضيات، جامعة يوتا . مؤرشف (ملف PDF) من الأصل بتاريخ 22 أغسطس 2020. تم الاطلاع عليه بتاريخ 25 مايو 2017 .
  58. ↑ زويج، مارك هـ.؛ كامبل، غريغوري (1993). "مخططات خصائص تشغيل المستقبل (ROC): أداة تقييم أساسية في الطب السريري" (ملف PDF) . الكيمياء السريرية . 39 (8): 561-577 . doi : 10.1093/clinchem/39.4.561 . PMID 8472349 . 
  59. ↑ بيبي، مارغريت س. (2003). التقييم الإحصائي للاختبارات الطبية للتصنيف والتنبؤ . نيويورك، نيويورك: أكسفورد. ISBN 978-0-19-856582-6.
  60. ↑ أوبوشوفسكي، نانسي أ. (2003). "منحنيات خصائص تشغيل المستقبل واستخدامها في علم الأشعة". مجلة علم الأشعة . 229 (1): 3-8 . doi : 10.1148/radiol.2291010898 . PMID 14519861 . 
  61. ↑ سباكمان، كينت أ. (1989). "نظرية كشف الإشارة: أدوات قيّمة لتقييم التعلم الاستقرائي". وقائع ورشة العمل الدولية السادسة حول التعلم الآلي . سان ماتيو، كاليفورنيا: مورغان كوفمان . ص 160-163 . 
  62. ↑ خارين، فياتشيسلاف (2003). "حول درجة ROC للتنبؤات الاحتمالية" . مجلة المناخ . 16 (24): 4145-4150 . Bibcode : 2003JCli...16.4145K . doi : 10.1175/1520-0442(2003)016 < 4145:OTRSOP > 2.0.CO ; 2 .
  63. ↑ مارك أ. ريتشارد (2022). أساسيات معالجة إشارات الرادار، الطبعة الثالثة . ماكجرو هيل. ISBN 978-1-260-46871-7.
  64. ↑ تيل، دي جيه؛ هاند، آر جيه (2001). "تعميم بسيط للمساحة تحت منحنى ROC لمشاكل تصنيف الفئات المتعددة" . تعلم الآلة . 45 (2): 171-186 . doi : 10.1023/A:1010920819831 .
  65. ↑ موسمان، د . (1999). "منحنيات ROC ثلاثية الاتجاهات". اتخاذ القرارات الطبية . 19 (1): 78-89 . doi : 10.1177/0272989x9901900110 . PMID 9917023. S2CID 24623127 .  
  66. ↑ فيري، سي.؛ هيرنانديز-أورالو، ج.؛ ساليدو، إم. إيه. (2003). "الحجم تحت سطح ROC لمسائل التصنيف المتعدد". تعلم الآلة: ECML 2003. ص 108-120 . 
  67. ↑ بي، ج.؛ بينيت، ك.ب. (2003). "منحنيات خصائص خطأ الانحدار" (ملف PDF) . المؤتمر الدولي العشرون للتعلم الآلي (ICML-2003). واشنطن العاصمة .
  68. ↑ هيرنانديز-أورالو، ج. (2013). "منحنيات ROC للانحدار". التعرف على الأنماط . 46 (12): 3395-3411 . arXiv : 1211.2359 . Bibcode : 2013PatRe..46.3395H . doi : 10.1016 /j.patcog.2013.06.014 . hdl : 10251/40252 . S2CID 15651724 . 

للمزيد من القراءة