إحصائيات قوية

Gelman et al. in Bayesian Data Analysis (2004) consider a data set relating to speed-of-light measurements made by Simon Newcomb. The data sets for that book can be found via the Classic data sets page, and the book's website contains more information on the data.

Although the bulk of the data looks to be more or less normally distributed, there are two obvious outliers. These outliers have a large effect on the mean, dragging it towards them, and away from the center of the bulk of the data. Thus, if the mean is intended as a measure of the location of the center of the data, it is, in a sense, biased when outliers are present.

Also, the distribution of the mean is known to be asymptotically normal due to the central limit theorem. However, outliers can make the distribution of the mean non-normal, even for fairly large data sets. Besides this non-normality, the mean is also inefficient in the presence of outliers and less variable measures of location are available.

The plot below shows a density plot of the speed-of-light data, together with a rug plot (panel (a)). Also shown is a normal Q–Q plot (panel (b)). The outliers are visible in these plots.

Panels (c) and (d) of the plot show the bootstrap distribution of the mean (c) and the 10% trimmed mean (d). The trimmed mean is a simple, robust estimator of location that deletes a certain percentage of observations (10% here) from each end of the data, then computes the mean in the usual way. The analysis was performed in R and 10,000 bootstrap samples were used for each of the raw and trimmed means.

The distribution of the mean is clearly much wider than that of the 10% trimmed mean (the plots are on the same scale). Also whereas the distribution of the trimmed mean appears to be close to normal, the distribution of the raw mean is quite skewed to the left. So, in this sample of 66 observations, only 2 outliers cause the central limit theorem to be inapplicable.

Robust statistical methods, of which the trimmed mean is a simple example, seek to outperform classical statistical methods in the presence of outliers, or, more generally, when underlying parametric assumptions are not quite correct.

Whilst the trimmed mean performs well relative to the mean in this example, better robust estimates are available. In fact, the mean, median and trimmed mean are all special cases of M-estimators. Details appear in the sections below.

The outliers in the speed-of-light data have more than just an adverse effect on the mean; the usual estimate of scale is the standard deviation, and this quantity is even more badly affected by outliers because the squares of the deviations from the mean go into the calculation, so the outliers' effects are exacerbated.

تُظهر الرسوم البيانية أدناه توزيعات بوتستراب للانحراف المعياري، والانحراف المطلق الوسيط (MAD)، ومُقدِّر روسيو-كرو (Qn) للمقياس. ^{[ 4 ]} تستند هذه الرسوم البيانية إلى 10000 عينة بوتستراب لكل مُقدِّر، مع إضافة بعض الضوضاء الغاوسية إلى البيانات المُعاد أخذ عينات منها ( بوتستراب مُنعَّم ). يُظهر الشكل (أ) توزيع الانحراف المعياري، والشكل (ب) توزيع الانحراف المطلق الوسيط، والشكل (ج) توزيع مُقدِّر روسيو-كرو.

يتسم توزيع الانحراف المعياري بالتذبذب والاتساع، نتيجةً لوجود القيم المتطرفة. أما متوسط ​​الانحراف المطلق (MAD) فهو أكثر انتظامًا، وQn أكثر كفاءةً منه بقليل. يوضح هذا المثال البسيط أنه في حال وجود قيم متطرفة، لا يُنصح باستخدام الانحراف المعياري كتقدير للمقياس.

تقليديًا، كان الإحصائيون يفحصون البيانات يدويًا بحثًا عن القيم الشاذة ، ويزيلونها، وعادةً ما يتحققون من مصدر البيانات للتأكد من عدم تسجيل هذه القيم الشاذة بشكل خاطئ. في الواقع، في مثال سرعة الضوء المذكور أعلاه، من السهل تحديد القيمتين الشاذتين وإزالتهما قبل المضي قدمًا في أي تحليل إضافي. مع ذلك، في العصر الحديث، غالبًا ما تتكون مجموعات البيانات من عدد كبير من المتغيرات التي تُقاس على عدد كبير من الوحدات التجريبية. لذلك، غالبًا ما يكون الفحص اليدوي للقيم الشاذة غير عملي.

قد تتفاعل القيم الشاذة أحيانًا بطريقة تحجب بعضها بعضًا. على سبيل المثال، لنفترض مجموعة بيانات أحادية المتغير صغيرة تحتوي على قيمة شاذة متوسطة وأخرى شاذة كبيرة. سيرتفع الانحراف المعياري المُقدَّر بشكل كبير بسبب القيمة الشاذة الكبيرة، مما يجعل القيمة الشاذة المتوسطة تبدو طبيعية نسبيًا. بمجرد إزالة القيمة الشاذة الكبيرة، ينخفض ​​الانحراف المعياري المُقدَّر، وتصبح القيمة الشاذة المتوسطة غير طبيعية.

تتفاقم مشكلة إخفاء القيم الشاذة مع ازدياد تعقيد البيانات. فعلى سبيل المثال، في مسائل الانحدار ، تُستخدم مخططات التشخيص لتحديد القيم الشاذة. ومع ذلك، من الشائع أنه بمجرد إزالة بعض القيم الشاذة، تظهر قيم أخرى. وتزداد المشكلة سوءًا في الأبعاد الأعلى.

توفر الأساليب القوية طرقًا آلية للكشف عن القيم الشاذة، وتقليل وزنها (أو إزالتها)، ووضع علامات عليها، مما يقلل الحاجة إلى الفحص اليدوي إلى حد كبير. مع ذلك، يجب توخي الحذر؛ فقد رُفضت البيانات الأولية التي أظهرت ظهور ثقب الأوزون فوق القارة القطبية الجنوبية باعتبارها قيمًا شاذة عند فحصها آليًا. ^{[ 5 ]}

على الرغم من أن هذه المقالة تتناول المبادئ العامة للأساليب الإحصائية أحادية المتغير، إلا أن هناك أيضًا أساليب قوية لمشاكل الانحدار، والنماذج الخطية المعممة، وتقدير معلمات التوزيعات المختلفة.

بشكل بديهي، تُعرَّف نقطة انهيار المُقدِّر بأنها نسبة المشاهدات غير الصحيحة (مثل المشاهدات الكبيرة جدًا) التي يستطيع المُقدِّر التعامل معها قبل إعطاء نتيجة غير صحيحة (مثل نتيجة كبيرة جدًا). ​​عادةً ما يُشار إلى الحد التقاربي (للعينات اللانهائية) على أنه نقطة الانهيار، على الرغم من أن نقطة الانهيار للعينات المحدودة قد تكون أكثر فائدة. ^{[ 6 ]} على سبيل المثال، بالنظر إلى${\displaystyle n}$متغيرات عشوائية مستقلة${\displaystyle (X_{1},\dots ,X_{n})}$والتحقيقات المقابلة${\displaystyle x_{1},\dots ,x_{n}}$، يمكننا استخدام${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$لتقدير المتوسط. يمتلك هذا المُقدِّر نقطة انهيار تساوي صفرًا (أو نقطة انهيار العينة المحدودة تساوي صفرًا).${\displaystyle 1/n}$لأننا نستطيع أن نصنع${\displaystyle {\overline {x}}}$كبيرة بشكل تعسفي بمجرد تغيير أي من${\displaystyle x_{1},\dots ,x_{n}}$.

كلما ارتفعت نقطة انهيار المُقدِّر، زادت متانته. وبشكل بديهي، يُمكننا أن نفهم أن نقطة الانهيار لا يُمكن أن تتجاوز 50%، لأنه إذا كانت أكثر من نصف المشاهدات ملوثة، فلن يكون من الممكن التمييز بين التوزيع الأصلي والتوزيع المُلوِّث ( Rousseeuw & Leroy، 1987) . لذلك، فإن أقصى نقطة انهيار هي 0.5، وهناك مُقدِّرات تصل إلى هذه النقطة. على سبيل المثال، الوسيط له نقطة انهيار تبلغ 0.5. المتوسط ​​المُقَلَّص بنسبة X% له نقطة انهيار تبلغ X%، عند المستوى المُختار X. يحتوي Huber (1981) و Maronna et al. (2019) على مزيد من التفاصيل. تم بحث مستوى ونقاط انهيار قوة الاختبارات في He, Simpson & Portnoy (1990) .

تُسمى الإحصاءات ذات نقاط الانهيار العالية أحيانًا بالإحصاءات المقاومة. ^{[ 7 ]}

دالة التأثير التجريبي هي مقياس لمدى اعتماد المُقدِّر على قيمة أي نقطة من نقاط العينة. وهي مقياس لا يعتمد على نموذج محدد، إذ يعتمد ببساطة على إعادة حساب المُقدِّر باستخدام عينة مختلفة. على اليمين، تظهر دالة توكي ثنائية الوزن، والتي، كما سنرى لاحقًا، تُعد مثالًا لما ينبغي أن تبدو عليه دالة التأثير التجريبي "الجيدة" (بالمعنى الذي سيُحدد لاحقًا).

من الناحية الرياضية، تُعرَّف دالة التأثير على أنها متجه في فضاء المُقدِّر، والذي يُعرَّف بدوره لعينة تُشكِّل مجموعة فرعية من المجتمع:

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$هو فضاء احتمالي،
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$هو فضاء قابل للقياس (فضاء الحالة)،
3. ${\displaystyle \Theta }$هو فضاء معلمات ذو بُعد${\displaystyle p\in \mathbb {N} ^{*}}$،
4. ${\displaystyle (\Gamma ,S)}$هو مساحة قابلة للقياس،

على سبيل المثال،

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$أي فضاء احتمالي،
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$،
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$،

يتم تعريف دالة التأثير التجريبي على النحو التالي.

يترك${\displaystyle n\in \mathbb {N} ^{*}}$و${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\to ({\mathcal {X}},\Sigma )}$مستقلان ومتطابقان في التوزيع${\displaystyle (x_{1},\dots ,x_{n})}$هي عينة من هذه المتغيرات.${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\to (\Gamma ,S)}$هو مُقدِّر. ليكن${\displaystyle i\in \{1,\dots ,n\}}$دالة التأثير التجريبي${\displaystyle EIF_{i}}$أثناء المراقبة${\displaystyle i}$يُعرَّف بما يلي:

$${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$$

هذا يعني أننا نستبدل القيمة رقم i في العينة بقيمة عشوائية وننظر إلى ناتج المُقدِّر. أو بدلاً من ذلك، يُعرَّف تأثير إضافة النقطة (EIF) بأنه التأثير، مُقاسًا بـ n+1 بدلاً من n، على المُقدِّر.${\displaystyle x}$إلى العينة.

بدلاً من الاعتماد على البيانات فقط، يمكننا استخدام توزيع المتغيرات العشوائية. يختلف هذا النهج تمامًا عن النهج المذكور في الفقرة السابقة. ما نحاول فعله الآن هو معرفة تأثير تغيير طفيف في توزيع البيانات على المُقدِّر: فهو يفترض وجود توزيع معين، ويقيس مدى حساسيته للتغيرات في هذا التوزيع. في المقابل، يفترض التأثير التجريبي وجود مجموعة عينات، ويقيس مدى حساسيته للتغيرات في العينات. ^{[ 8 ]}

يترك${\displaystyle A}$لتكن مجموعة جزئية محدبة من مجموعة جميع المقاييس الموقعة المنتهية على${\displaystyle \Sigma }$نريد تقدير المعلمة${\displaystyle \theta \in \Theta }$توزيع${\displaystyle F}$في${\displaystyle A}$. دع الدالة${\displaystyle T:A\to \Gamma }$لتكن القيمة التقاربية لمتتالية تقديرية ما${\displaystyle (T_{n})_{n\in \mathbb {N} }}$سنفترض أن هذه الدالة متسقة وفقًا لفيشر ، أي${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$وهذا يعني أنه في النموذج${\displaystyle F}$، يقوم تسلسل التقدير بقياس الكمية الصحيحة بشكل تقاربي.

يترك${\displaystyle G}$يكون هناك توزيع ما في${\displaystyle A}$ماذا يحدث عندما لا تتبع البيانات النموذج؟${\displaystyle F}$بالضبط، ولكن بطريقة أخرى، مختلفة قليلاً، "تتجه نحو"${\displaystyle G}$؟

نحن ننظر في: $${\displaystyle dT_{GF}(F)=\lim _{t\to 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}},}$$

وهو مشتق غاتو أحادي الجانب من${\displaystyle T}$في${\displaystyle F}$، في اتجاه${\displaystyle GF}$.

يترك${\displaystyle x\in {\mathcal {X}}}$.${\displaystyle \Delta _{x}}$هو مقياس الاحتمالية الذي يعطي الكتلة 1 لـ${\displaystyle \{x\}}$نختار${\displaystyle G=\Delta _{x}}$ثم تُعرَّف دالة التأثير على النحو التالي:

$${\displaystyle IF(x;T;F):=\lim _{t\to 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$$

يصف ذلك تأثير التلوث المتناهي الصغر عند النقطة${\displaystyle x}$بناءً على التقدير الذي نسعى إليه، موحدًا حسب الكتلة${\displaystyle t}$بسبب التلوث (الانحياز التقاربي الناتج عن التلوث في المشاهدات). وللحصول على مُقدِّر قوي، نريد دالة تأثير محدودة، أي دالة لا تؤول إلى اللانهاية عندما تصبح قيمة x كبيرة بشكل تعسفي.

تستخدم دالة التأثير التجريبية دالة التوزيع التجريبية${\displaystyle {\hat {F}}}$بدلاً من دالة التوزيع${\displaystyle F}$، وذلك بالاستفادة من مبدأ الحضور المباشر .

من خصائص دالة التأثير التي تمنحها أداءً مرغوبًا فيه ما يلي:

1. نقطة رفض نهائية${\displaystyle \rho ^{*}}$،
2. حساسية الخطأ الإجمالي الصغير${\displaystyle \gamma ^{*}}$،
3. حساسية الإزاحة المحلية الصغيرة${\displaystyle \lambda ^{*}}$.

M-estimators do not necessarily relate to a probability density function. Therefore, off-the-shelf approaches to inference that arise from likelihood theory can not, in general, be used.

It can be shown that M-estimators are asymptotically normally distributed so that as long as their standard errors can be computed, an approximate approach to inference is available.

Since M-estimators are normal only asymptotically, for small sample sizes it might be appropriate to use an alternative approach to inference, such as the bootstrap. However, M-estimates are not necessarily unique (i.e., there might be more than one solution that satisfies the equations). Also, it is possible that any particular bootstrap sample can contain more outliers than the estimator's breakdown point. Therefore, some care is needed when designing bootstrap schemes.

Of course, as we saw with the speed-of-light example, the mean is only normally distributed asymptotically and when outliers are present the approximation can be very poor even for quite large samples. However, classical statistical tests, including those based on the mean, are typically bounded above by the nominal size of the test. The same is not true of M-estimators and the type I error rate can be substantially above the nominal level.

These considerations do not "invalidate" M-estimation in any way. They merely make clear that some care is needed in their use, as is true of any other method of estimation.

It can be shown that the influence function of an M-estimator ${\displaystyle T}$ is proportional to ${\displaystyle \psi }$,^[9] which means we can derive the properties of such an estimator (such as its rejection point, gross-error sensitivity or local-shift sensitivity) when we know its ${\displaystyle \psi }$ function.

$${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$$

with the ${\displaystyle p\times p}$ given by:

$${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$$

In many practical situations, the choice of the ${\displaystyle \psi }$ function is not critical to gaining a good robust estimate, and many choices will give similar results that offer great improvements, in terms of efficiency and bias, over classical estimates in the presence of outliers.^[10]

Theoretically, ${\displaystyle \psi }$ functions are to be preferred, and Tukey's biweight (also known as bisquare) function is a popular choice. Maronna et al.^[11] recommend the biweight function with efficiency at the normal set to 85%.

بالنسبة لبيانات سرعة الضوء، مع السماح لمعامل التفرطح بالتغير وتعظيم الاحتمالية، نحصل على

$${\displaystyle {\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.}$$

تحديد${\displaystyle \nu =4}$وتؤدي زيادة الاحتمالية إلى

$${\displaystyle {\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.}$$