شاذ

قد يكون للقيم الشاذة أسبابٌ شاذةٌ عديدة. فقد يكون جهاز القياس قد تعرض لعطلٍ مؤقت. أو ربما حدث خطأٌ في نقل البيانات أو نسخها. وتنشأ القيم الشاذة نتيجةً لتغيراتٍ في سلوك النظام، أو سلوكٍ احتيالي، أو خطأٍ بشري، أو خللٍ في الجهاز، أو ببساطةٍ نتيجةً لانحرافاتٍ طبيعيةٍ في المجتمعات. وقد تكون العينة ملوثةً بعناصر من خارج المجتمع قيد الدراسة. أو قد تكون القيمة الشاذة ناتجةً عن خللٍ في النظرية المفترضة، مما يستدعي مزيدًا من البحث من قِبل الباحث. إضافةً إلى ذلك، يظهر نمطٌ مرضيٌ للقيم الشاذة في مجموعةٍ متنوعةٍ من مجموعات البيانات، مما يشير إلى أن الآلية المسببة للبيانات قد تختلف عند الطرف المتطرف ( تأثير كينغ ).

يُقترح تحديد ذلك في سلسلة من${\displaystyle m}$تُحدد الملاحظات حد الخطأ، الذي يمكن بعده رفض جميع الملاحظات التي تنطوي على هذا القدر الكبير من الخطأ، شريطة أن يكون هناك عدد كافٍ منها.${\displaystyle n}$مثل هذه الملاحظات. ويتمثل المبدأ الذي يُقترح على أساسه حل هذه المشكلة في رفض الملاحظات المقترحة عندما يكون احتمال نظام الأخطاء الناتج عن الاحتفاظ بها أقل من احتمال نظام الأخطاء الناتج عن رفضها مضروبًا في احتمال إجراء هذا العدد من الملاحظات الشاذة، لا أكثر. (مقتبس من الملاحظة التحريرية في الصفحة 516 من كتاب بيرس (طبعة 1982) من كتاب " دليل علم الفلك 2: 558" لشوفينيه.) ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

تُشير طرق أخرى إلى الملاحظات بناءً على مقاييس مثل المدى الربيعي . على سبيل المثال، إذا${\displaystyle Q_{1}}$و${\displaystyle Q_{3}}$إذا كانت القيمتان تمثلان الربعين الأدنى والأعلى على التوالي، فيمكن تعريف القيمة الشاذة بأنها أي قيمة خارج النطاق:

${\displaystyle {\big [}Q_{1}-k(Q_{3}-Q_{1}),Q_{3}+k(Q_{3}-Q_{1}){\big ]}}$

لبعض الثوابت غير السالبة${\displaystyle k}$اقترح جون توكي هذا الاختبار، حيث${\displaystyle k=1.5}$يشير إلى "قيمة شاذة"، و${\displaystyle k=3}$يشير إلى بيانات "بعيدة عن الواقع". ^{[ 17 ]}

في مجالات متنوعة ، كالإحصاء ومعالجة الإشارات والتمويل والاقتصاد القياسي والتصنيع والشبكات واستخراج البيانات ^، قد تتخذ مهمة كشف الشذوذ مناهج مختلفة. بعض هذه المناهج يعتمد على المسافة [ ^{18 ] [ 19 ]} ، وبعضها الآخر يعتمد على الكثافة، مثل عامل الشذوذ المحلي ( LOF ) ^{[ 20 ]} . وقد تستخدم بعض المناهج المسافة إلى أقرب k جار لتصنيف الملاحظات كقيم شاذة أو غير شاذة ^{[ 21 ] .}

اختبار تومسون تاو المُعدَّل هو طريقة تُستخدم لتحديد ما إذا كانت هناك قيمة شاذة في مجموعة بيانات. ^{[ 22 ]} تكمن قوة هذه الطريقة في أنها تأخذ في الاعتبار الانحراف المعياري ومتوسط ​​مجموعة البيانات، وتُحدد منطقة رفض إحصائيًا؛ مما يوفر طريقة موضوعية لتحديد ما إذا كانت نقطة بيانات ما قيمة شاذة. ^{[ 23 ]} آلية العمل: أولًا، يُحدد متوسط ​​مجموعة البيانات. ثانيًا، يُحدد الانحراف المطلق بين كل نقطة بيانات والمتوسط. ثالثًا، تُحدد منطقة الرفض باستخدام الصيغة التالية:

${\displaystyle {\text{Rejection Region}}{=}{\frac {{t_{\alpha /2}}{\left(n-1\right)}}{{\sqrt {n}}{\sqrt {n-2+{t_{\alpha /2}^{2}}}}}}}$؛

أين${\displaystyle \scriptstyle {t_{\alpha /2}}}$القيمة الحرجة هي القيمة الحرجة لتوزيع t للطالب بدرجات حرية n - 2، حيث n هو حجم العينة، وs هو الانحراف المعياري للعينة. لتحديد ما إذا كانت القيمة شاذة: احسب${\displaystyle \scriptstyle \delta =|(X-mean(X))/s|}$إذا كانت قيمة δ أكبر من منطقة الرفض، فإن نقطة البيانات تُعتبر قيمة شاذة. أما إذا كانت قيمة δ أصغر من أو تساوي منطقة الرفض، فإن نقطة البيانات لا تُعتبر قيمة شاذة.

يُستخدم اختبار تومسون تاو المُعدَّل للكشف عن قيمة شاذة واحدة في كل مرة (تُحذف أكبر قيمة لـ δ إذا كانت قيمة شاذة). بمعنى آخر، إذا وُجدت نقطة بيانات شاذة، تُحذف من مجموعة البيانات، ويُعاد تطبيق الاختبار بمتوسط ​​جديد ومنطقة رفض جديدة. تستمر هذه العملية حتى لا تبقى أي قيم شاذة في مجموعة البيانات.

تناولت بعض الدراسات أيضًا القيم الشاذة للبيانات الاسمية (أو الفئوية). وفي سياق مجموعة من الأمثلة (أو الحالات) في مجموعة بيانات، يقيس مدى صعوبة الحالة احتمال تصنيف حالة ما بشكل خاطئ.${\displaystyle 1-p(y|x)}$حيث يمثل y تصنيف الفئة المعين، ويمثل x قيمة سمة الإدخال لمثال في مجموعة التدريب t ). ^{[ 24 ]} من الناحية المثالية، يتم حساب صعوبة المثال عن طريق جمع جميع الفرضيات الممكنة H :

${\displaystyle {\begin{aligned}IH(\langle x,y\rangle )&=\sum _{H}(1-p(y,x,h))p(h|t)\\&=\sum _{H}p(h|t)-p(y,x,h)p(h|t)\\&=1-\sum _{H}p(y,x,h)p(h|t).\end{aligned}}}$

من الناحية العملية، هذه الصيغة غير قابلة للتطبيق لأن H قد تكون لانهائية، والحسابات${\displaystyle p(h|t)}$غير معروف بالنسبة للعديد من الخوارزميات. وبالتالي، يمكن تقريب صعوبة الحالة باستخدام مجموعة فرعية متنوعة${\displaystyle L\subset H}$:

${\displaystyle IH_{L}(\langle x,y\rangle )=1-{\frac {1}{|L|}}\sum _{j=1}^{|L|}p(y|x,g_{j}(t,\alpha ))}$

أين${\displaystyle g_{j}(t,\alpha )}$هي الفرضية التي تم التوصل إليها بواسطة خوارزمية التعلم${\displaystyle g_{j}}$تم تدريبها على مجموعة التدريب t باستخدام المعلمات الفائقة${\displaystyle \alpha }$توفر صلابة الحالة قيمة متصلة لتحديد ما إذا كانت الحالة حالة شاذة.

حتى عندما يكون نموذج التوزيع الطبيعي مناسبًا للبيانات قيد التحليل، فمن المتوقع وجود قيم متطرفة في العينات الكبيرة، ولا ينبغي استبعادها تلقائيًا في هذه الحالة. ^{[ 25 ]} بدلًا من ذلك، ينبغي استخدام طريقة قوية في التعامل مع القيم المتطرفة لنمذجة أو تحليل البيانات التي تحتوي على قيم متطرفة طبيعية. ^{[ 25 ]}

عند اتخاذ قرار بشأن إزالة قيمة شاذة، يجب مراعاة السبب. وكما ذُكر سابقًا، إذا كان من الممكن عزو أصل القيمة الشاذة إلى خطأ تجريبي، أو إذا أمكن تحديد أن نقطة البيانات الشاذة خاطئة، يُنصح عمومًا بإزالتها. ^{[ 25 ] [ 26 ]} ومع ذلك، يُفضّل تصحيح القيمة الخاطئة، إن أمكن.

من ناحية أخرى، يُعدّ حذف نقطة بيانات لمجرد كونها شاذة ممارسةً مثيرةً للجدل، وغالبًا ما يرفضها العديد من العلماء ومدرّسي العلوم، لأنها تُبطل النتائج الإحصائية في أغلب الأحيان. ^{[ 25 ] [ 26 ]} في حين أن المعايير الرياضية تُوفّر طريقةً موضوعيةً وكميةً لرفض البيانات، إلا أنها لا تجعل هذه الممارسة أكثر سلامةً من الناحية العلمية أو المنهجية، خاصةً في المجموعات الصغيرة أو عندما لا يُمكن افتراض التوزيع الطبيعي. يُعدّ رفض القيم الشاذة أكثر قبولًا في مجالات الممارسة التي يكون فيها النموذج الأساسي للعملية المقاسة والتوزيع المعتاد لخطأ القياس معروفين بدقة.

هناك طريقتان شائعتان لاستبعاد القيم الشاذة، وهما التقطيع (أو الحذف) وتعديل وينسور . يتخلص التقطيع من القيم الشاذة، بينما يستبدلها تعديل وينسور بأقرب بيانات "غير مشتبه بها". ^{[ 27 ]} قد يكون الاستبعاد أيضًا نتيجة لعملية القياس، كما في حالة عدم قدرة التجربة على قياس هذه القيم المتطرفة بشكل كامل، مما يؤدي إلى بيانات خاضعة للرقابة . ^{[ 28 ]}

في مسائل الانحدار ، قد يكون النهج البديل هو استبعاد النقاط التي تظهر درجة كبيرة من التأثير على المعاملات المقدرة فقط، باستخدام مقياس مثل مسافة كوك . ^{[ 29 ]}

إذا تم استبعاد نقطة بيانات (أو نقاط بيانات) من تحليل البيانات ، فيجب ذكر ذلك بوضوح في أي تقرير لاحق.

ينبغي مراعاة احتمال أن التوزيع الأساسي للبيانات ليس توزيعًا طبيعيًا تقريبًا، أي أنه ذو " ذيول سميكة ". على سبيل المثال، عند أخذ عينة من توزيع كوشي ^{[ 30 ]} ، يزداد تباين العينة مع ازدياد حجمها، ولا يتقارب متوسط ​​العينة مع ازدياد حجمها، ومن المتوقع وجود قيم متطرفة بمعدلات أعلى بكثير مما هو عليه الحال في التوزيع الطبيعي. حتى اختلاف طفيف في سُمك الذيول قد يُحدث فرقًا كبيرًا في العدد المتوقع للقيم المتطرفة.

تعتمد طريقة عضوية المجموعة على اعتبار عدم اليقين المقابل للقياس رقم i لمتجه عشوائي مجهول x ممثلاً بمجموعة Xi (بدلاً من دالة كثافة احتمالية). في حال عدم وجود قيم شاذة، ينبغي _{أن ينتمي} x إلى تقاطع جميع _{مجموعات} Xi . عند وجود قيم شاذة، قد يكون هذا التقاطع فارغًا، ولذا ينبغي تخفيف عدد صغير من مجموعات Xi ₍ أصغر ما يمكن) لتجنب أي تناقض. ^{[ 31 ]} يمكن تحقيق ذلك باستخدام مفهوم التقاطع المُخفف q . كما هو موضح في الشكل، يتوافق التقاطع المُخفف q مع مجموعة جميع قيم x التي تنتمي إلى جميع المجموعات باستثناء q منها. قد يُشتبه في أن المجموعات Xi _التي لا تتقاطع مع التقاطع المُخفف q هي قيم شاذة.

في الحالات التي يكون فيها سبب القيم الشاذة معروفاً، قد يكون من الممكن دمج هذا التأثير في بنية النموذج، على سبيل المثال باستخدام نموذج بايز هرمي ، أو نموذج خليط . ^{[ 32 ] [ 33 ]}

في تحليل التجميع ، يمكن للقيم المتطرفة أن تشوه النتائج بشكل كبير. ولذلك، كانت معالجة القيم المتطرفة موضوع نقاش واسع.

يعتمد تحليل التجميع بشكل كبير على مقاييس المسافة. وقد أشير إلى أن مسافة مانهاتن ، نظرًا لعدم تربيعها لقيم الفروق الكبيرة بشكل غير متناسب، من المرجح أن تتعامل مع القيم الشاذة بشكل أفضل من المسافة الإقليدية . ^{[ 34 ]}