إحصائيات قوية

في كتاب "تحليل البيانات البايزية" (2004)، تناول جيلمان وآخرون مجموعة بيانات تتعلق بقياسات سرعة الضوء التي أجراها سيمون نيوكومب . ويمكن الاطلاع على مجموعات البيانات الخاصة بهذا الكتاب عبر صفحة " مجموعات البيانات الكلاسيكية" ، كما يحتوي موقع الكتاب الإلكتروني على مزيد من المعلومات حول هذه البيانات.

على الرغم من أن معظم البيانات تبدو موزعة توزيعًا طبيعيًا تقريبًا، إلا أن هناك قيمتين متطرفتين واضحتين. تؤثر هاتان القيمتان المتطرفتان تأثيرًا كبيرًا على المتوسط، إذ تجذبانه نحوهما وتبعدانه عن مركز معظم البيانات. وبالتالي، إذا كان يُقصد بالمتوسط ​​قياس موقع مركز البيانات، فإنه يكون، بمعنى ما، متحيزًا عند وجود القيم المتطرفة.

كما أن توزيع المتوسط ​​معروف بأنه طبيعي تقاربياً وفقاً لنظرية النهاية المركزية. مع ذلك، قد تؤدي القيم المتطرفة إلى عدم طبيعية توزيع المتوسط، حتى بالنسبة لمجموعات البيانات الكبيرة نسبياً. إضافةً إلى هذه اللاطبيعية، يصبح المتوسط ​​غير فعال في وجود القيم المتطرفة، وتصبح مقاييس الموقع المتاحة أقل تبايناً.

يُظهر الرسم البياني أدناه مخطط كثافة بيانات سرعة الضوء، بالإضافة إلى مخطط التوزيع (اللوحة (أ)). كما يُظهر مخطط Q-Q عادي (اللوحة (ب)). وتظهر القيم الشاذة بوضوح في هذه المخططات.

تُظهر اللوحتان (ج) و(د) من الرسم البياني توزيع بوتستراب للمتوسط ​​(ج) والمتوسط ​​المُقَصَّر بنسبة 10% (د). يُعد المتوسط ​​المُقَصَّر مُقدِّرًا بسيطًا وقويًا للموقع، حيث يحذف نسبة مُحدَّدة من المشاهدات (10% هنا) من طرفي البيانات، ثم يحسب المتوسط ​​بالطريقة المعتادة. أُجري التحليل باستخدام برنامج R ، واستُخدمت 10000 عينة بوتستراب لكلٍّ من المتوسطات الخام والمُقَصَّرة.

من الواضح أن توزيع المتوسط ​​أوسع بكثير من توزيع المتوسط ​​بعد اقتطاع 10% من القيم (الرسوم البيانية بنفس المقياس). كما أن توزيع المتوسط ​​بعد الاقتطاع يبدو قريبًا من التوزيع الطبيعي، بينما توزيع المتوسط ​​الخام منحرف بشدة نحو اليسار. لذا، في هذه العينة المكونة من 66 مشاهدة، حالتان شاذتان فقط تجعلان نظرية النهاية المركزية غير قابلة للتطبيق.

تسعى الأساليب الإحصائية القوية، والتي يعتبر المتوسط ​​المقتطع مثالاً بسيطاً عليها، إلى التفوق على الأساليب الإحصائية الكلاسيكية في وجود القيم المتطرفة، أو بشكل عام، عندما لا تكون الافتراضات البارامترية الأساسية صحيحة تماماً.

على الرغم من أن المتوسط ​​المقتطع يُظهر أداءً جيدًا مقارنةً بالمتوسط ​​في هذا المثال، إلا أن هناك تقديرات أكثر دقةً وموثوقيةً متاحة. في الواقع، يُعد كل من المتوسط ​​والوسيط والمتوسط ​​المقتطع حالات خاصة من تقديرات M. تظهر التفاصيل في الأقسام التالية.

إن القيم المتطرفة في بيانات سرعة الضوء لها تأثير سلبي على المتوسط ​​أكثر من مجرد التأثير السلبي؛ فالتقدير المعتاد للمقياس هو الانحراف المعياري، وهذه الكمية تتأثر بشكل أسوأ بالقيم المتطرفة لأن مربعات الانحرافات عن المتوسط ​​تدخل في الحساب، وبالتالي تتفاقم آثار القيم المتطرفة.

تُظهر الرسوم البيانية أدناه توزيعات بوتستراب للانحراف المعياري، والانحراف المطلق الوسيط (MAD)، ومُقدِّر روسيو-كرو (Qn) للمقياس. ^{[ 4 ]} تستند هذه الرسوم البيانية إلى 10000 عينة بوتستراب لكل مُقدِّر، مع إضافة بعض الضوضاء الغاوسية إلى البيانات المُعاد أخذ عينات منها ( بوتستراب مُنعَّم ). يُظهر الشكل (أ) توزيع الانحراف المعياري، والشكل (ب) توزيع الانحراف المطلق الوسيط، والشكل (ج) توزيع مُقدِّر روسيو-كرو.

يتسم توزيع الانحراف المعياري بالتذبذب والاتساع، نتيجةً لوجود القيم المتطرفة. أما متوسط ​​الانحراف المطلق (MAD) فهو أكثر انتظامًا، وQn أكثر كفاءةً منه بقليل. يوضح هذا المثال البسيط أنه في حال وجود قيم متطرفة، لا يُنصح باستخدام الانحراف المعياري كتقدير للمقياس.

تقليديًا، كان الإحصائيون يفحصون البيانات يدويًا بحثًا عن القيم الشاذة ، ويزيلونها، وعادةً ما يتحققون من مصدر البيانات للتأكد من عدم تسجيل هذه القيم الشاذة بشكل خاطئ. في الواقع، في مثال سرعة الضوء المذكور أعلاه، من السهل تحديد القيمتين الشاذتين وإزالتهما قبل المضي قدمًا في أي تحليل إضافي. مع ذلك، في العصر الحديث، غالبًا ما تتكون مجموعات البيانات من عدد كبير من المتغيرات التي تُقاس على عدد كبير من الوحدات التجريبية. لذا، فإن الفحص اليدوي للقيم الشاذة غالبًا ما يكون غير عملي.

قد تتفاعل القيم الشاذة أحيانًا بطريقة تحجب بعضها بعضًا. على سبيل المثال، لنفترض مجموعة بيانات أحادية المتغير صغيرة تحتوي على قيمة شاذة متوسطة وأخرى شاذة كبيرة. سيرتفع الانحراف المعياري المُقدَّر بشكل كبير بسبب القيمة الشاذة الكبيرة، ما يجعل القيمة الشاذة المتوسطة تبدو طبيعية نسبيًا. بمجرد إزالة القيمة الشاذة الكبيرة، يتقلص الانحراف المعياري المُقدَّر، فتصبح القيمة الشاذة المتوسطة غير طبيعية.

تتفاقم مشكلة إخفاء القيم الشاذة مع ازدياد تعقيد البيانات. فعلى سبيل المثال، في مسائل الانحدار ، تُستخدم مخططات التشخيص لتحديد القيم الشاذة. ومع ذلك، من الشائع أنه بمجرد إزالة بعض القيم الشاذة، تظهر قيم أخرى. وتزداد المشكلة سوءًا في الأبعاد الأعلى.

توفر الأساليب القوية طرقًا آلية للكشف عن القيم الشاذة، وتقليل وزنها (أو إزالتها)، ووضع علامات عليها، مما يقلل الحاجة إلى الفحص اليدوي إلى حد كبير. مع ذلك، يجب توخي الحذر؛ فقد رُفضت البيانات الأولية التي أظهرت ظهور ثقب الأوزون فوق القارة القطبية الجنوبية باعتبارها قيمًا شاذة عند فحصها آليًا. ^{[ 5 ]}

على الرغم من أن هذه المقالة تتناول المبادئ العامة للأساليب الإحصائية أحادية المتغير، إلا أن هناك أيضًا أساليب قوية لمشاكل الانحدار، والنماذج الخطية المعممة، وتقدير معلمات التوزيعات المختلفة.

بشكل بديهي، تُعرَّف نقطة انهيار المُقدِّر بأنها نسبة المشاهدات غير الصحيحة (مثل المشاهدات الكبيرة جدًا) التي يستطيع المُقدِّر التعامل معها قبل إعطاء نتيجة غير صحيحة (مثل نتيجة كبيرة جدًا). ​​عادةً ما يُشار إلى الحد التقاربي (للعينات اللانهائية) على أنه نقطة الانهيار، على الرغم من أن نقطة الانهيار للعينات المحدودة قد تكون أكثر فائدة. ^{[ 6 ]} على سبيل المثال، بالنظر إلى${\displaystyle n}$متغيرات عشوائية مستقلة${\displaystyle (X_{1},\dots ,X_{n})}$والتحقيقات المقابلة${\displaystyle x_{1},\dots ,x_{n}}$، يمكننا استخدام${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$لتقدير المتوسط. يمتلك هذا المُقدِّر نقطة انهيار تساوي صفرًا (أو نقطة انهيار العينة المحدودة تساوي صفرًا).${\displaystyle 1/n}$لأننا نستطيع أن نصنع${\displaystyle {\overline {x}}}$كبيرة بشكل تعسفي بمجرد تغيير أي من${\displaystyle x_{1},\dots ,x_{n}}$.

كلما ارتفعت نقطة انهيار المُقدِّر، زادت متانته. وبشكل بديهي، يُمكننا أن نفهم أن نقطة الانهيار لا يُمكن أن تتجاوز 50%، لأنه إذا كانت أكثر من نصف المشاهدات ملوثة، فلن يكون من الممكن التمييز بين التوزيع الأصلي والتوزيع المُلوِّث ( Rousseeuw & Leroy، 1987) . لذلك، فإن أقصى نقطة انهيار هي 0.5، وهناك مُقدِّرات تصل إلى هذه النقطة. على سبيل المثال، الوسيط له نقطة انهيار تبلغ 0.5. المتوسط ​​المُقَلَّص بنسبة X% له نقطة انهيار تبلغ X%، عند المستوى المُختار X. يحتوي Huber (1981) و Maronna et al. (2019) على مزيد من التفاصيل. تم بحث مستوى ونقاط انهيار قوة الاختبارات في He, Simpson & Portnoy (1990) .

تُسمى الإحصاءات ذات نقاط الانهيار العالية أحيانًا بالإحصاءات المقاومة. ^{[ 7 ]}

دالة التأثير التجريبي هي مقياس لمدى اعتماد المُقدِّر على قيمة أي نقطة من نقاط العينة. وهي مقياس لا يعتمد على نموذج محدد، إذ يعتمد ببساطة على إعادة حساب المُقدِّر باستخدام عينة مختلفة. على اليمين، تظهر دالة توكي ثنائية الوزن، والتي، كما سنرى لاحقًا، تُعد مثالًا لما ينبغي أن تبدو عليه دالة التأثير التجريبي "الجيدة" (بالمعنى الذي سيُحدد لاحقًا).

من الناحية الرياضية، تُعرَّف دالة التأثير على أنها متجه في فضاء المُقدِّر، والذي يُعرَّف بدوره لعينة تُشكِّل مجموعة فرعية من المجتمع:

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$هو فضاء احتمالي،
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$هو فضاء قابل للقياس (فضاء الحالة)،
3. ${\displaystyle \Theta }$هو فضاء معلمات ذو بُعد${\displaystyle p\in \mathbb {N} ^{*}}$،
4. ${\displaystyle (\Gamma ,S)}$هو مساحة قابلة للقياس،

على سبيل المثال،

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$أي فضاء احتمالي،
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$،
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$،

يتم تعريف دالة التأثير التجريبي على النحو التالي.

يترك${\displaystyle n\in \mathbb {N} ^{*}}$و${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\to ({\mathcal {X}},\Sigma )}$مستقلان ومتطابقان في التوزيع${\displaystyle (x_{1},\dots ,x_{n})}$هي عينة من هذه المتغيرات.${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\to (\Gamma ,S)}$هو مُقدِّر. ليكن${\displaystyle i\in \{1,\dots ,n\}}$دالة التأثير التجريبي${\displaystyle EIF_{i}}$أثناء المراقبة${\displaystyle i}$يُعرَّف بما يلي:

$${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$$

هذا يعني أننا نستبدل القيمة رقم i في العينة بقيمة عشوائية وننظر إلى ناتج المُقدِّر. أو بدلاً من ذلك، يُعرَّف تأثير إضافة النقطة (EIF) بأنه التأثير، مُقاسًا بـ n+1 بدلاً من n، على المُقدِّر.${\displaystyle x}$إلى العينة.

بدلاً من الاعتماد على البيانات فقط، يمكننا استخدام توزيع المتغيرات العشوائية. يختلف هذا النهج تمامًا عن النهج المذكور في الفقرة السابقة. ما نحاول فعله الآن هو معرفة تأثير تغيير طفيف في توزيع البيانات على المُقدِّر: فهو يفترض وجود توزيع معين، ويقيس مدى حساسيته للتغيرات في هذا التوزيع. في المقابل، يفترض التأثير التجريبي وجود مجموعة عينات، ويقيس مدى حساسيته للتغيرات في العينات. ^{[ 8 ]}

يترك${\displaystyle A}$لتكن مجموعة جزئية محدبة من مجموعة جميع المقاييس الموقعة المنتهية على${\displaystyle \Sigma }$نريد تقدير المعلمة${\displaystyle \theta \in \Theta }$توزيع${\displaystyle F}$في${\displaystyle A}$. ليكن الوظيفي${\displaystyle T:A\to \Gamma }$لتكن القيمة التقاربية لمتتالية تقديرية ما${\displaystyle (T_{n})_{n\in \mathbb {N} }}$سنفترض أن هذه الدالة متسقة وفقًا لفيشر ، أي${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$وهذا يعني أنه في النموذج${\displaystyle F}$، يقوم تسلسل التقدير بقياس الكمية الصحيحة بشكل تقاربي.

يترك${\displaystyle G}$يكون هناك توزيع ما في${\displaystyle A}$ماذا يحدث عندما لا تتبع البيانات النموذج؟${\displaystyle F}$بالضبط، ولكن بطريقة أخرى، مختلفة قليلاً، "تتجه نحو"${\displaystyle G}$؟

نحن ننظر في: $${\displaystyle dT_{GF}(F)=\lim _{t\to 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}},}$$

وهو مشتق جاتو أحادي الجانب من${\displaystyle T}$في${\displaystyle F}$، في اتجاه${\displaystyle GF}$.

يترك${\displaystyle x\in {\mathcal {X}}}$.${\displaystyle \Delta _{x}}$هو مقياس الاحتمالية الذي يعطي الكتلة 1 لـ${\displaystyle \{x\}}$نختار${\displaystyle G=\Delta _{x}}$ثم تُعرَّف دالة التأثير على النحو التالي:

$${\displaystyle IF(x;T;F):=\lim _{t\to 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$$

يصف ذلك تأثير التلوث المتناهي الصغر عند النقطة${\displaystyle x}$بناءً على التقدير الذي نسعى إليه، موحدًا حسب الكتلة${\displaystyle t}$بسبب التلوث (الانحياز التقاربي الناتج عن التلوث في المشاهدات). وللحصول على مُقدِّر قوي، نريد دالة تأثير محدودة، أي دالة لا تؤول إلى اللانهاية عندما تصبح قيمة x كبيرة بشكل تعسفي.

تستخدم دالة التأثير التجريبية دالة التوزيع التجريبية${\displaystyle {\hat {F}}}$بدلاً من دالة التوزيع${\displaystyle F}$، وذلك بالاستفادة من مبدأ الحضور المباشر .

من خصائص دالة التأثير التي تمنحها أداءً مرغوبًا فيه ما يلي:

1. نقطة رفض نهائية${\displaystyle \rho ^{*}}$،
2. حساسية الخطأ الإجمالي الصغير${\displaystyle \gamma ^{*}}$،
3. حساسية الإزاحة المحلية الصغيرة${\displaystyle \lambda ^{*}}$.

لا ترتبط مُقدِّرات M بالضرورة بدالة كثافة الاحتمال. لذلك، لا يمكن، بشكل عام، استخدام أساليب الاستدلال الجاهزة التي تنشأ من نظرية الاحتمال.

يمكن إثبات أن تقديرات M موزعة توزيعًا طبيعيًا تقاربيًا بحيث أنه طالما يمكن حساب أخطائها المعيارية، فإن نهجًا تقريبيًا للاستدلال متاح.

بما أن تقديرات M تتبع التوزيع الطبيعي تقاربياً فقط، فقد يكون من المناسب، في حالة أحجام العينات الصغيرة، استخدام أسلوب استدلال بديل، مثل أسلوب إعادة التوزيع (Bootstrap). مع ذلك، فإن تقديرات M ليست بالضرورة فريدة (أي قد يكون هناك أكثر من حل واحد يحقق المعادلات). كذلك، من الممكن أن تحتوي أي عينة إعادة توزيع معينة على قيم شاذة أكثر من نقطة انهيار التقدير. لذا، يلزم توخي الحذر عند تصميم مخططات إعادة التوزيع.

بالطبع، كما رأينا في مثال سرعة الضوء، فإن المتوسط ​​يتبع التوزيع الطبيعي تقاربياً فقط، وعند وجود قيم متطرفة، قد يكون التقريب ضعيفاً جداً حتى مع العينات الكبيرة. مع ذلك، فإن الاختبارات الإحصائية التقليدية، بما فيها تلك القائمة على المتوسط، عادةً ما تكون محدودة من الأعلى بحجم العينة الاسمي. لا ينطبق هذا على مقدرات M، وقد يكون معدل الخطأ من النوع الأول أعلى بكثير من المستوى الاسمي.

لا تُبطل هذه الاعتبارات تقدير M بأي شكل من الأشكال. إنما توضح فقط ضرورة توخي الحذر عند استخدامه، كما هو الحال مع أي طريقة تقدير أخرى.

يمكن إثبات أن دالة التأثير لمقدر M${\displaystyle T}$يتناسب مع${\displaystyle \psi }$[ ^{9 ] مما يعني أنه يمكننا استنتاج خصائص هذا المُقدِّر (مثل نقطة رفضه، أو} حساسيته للخطأ الإجمالي، أو حساسيته للإزاحة المحلية) عندما نعرفه${\displaystyle \psi }$وظيفة.

$${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$$

مع${\displaystyle p\times p}$مقدم من:

$${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$$

في العديد من المواقف العملية، يُعد اختيار${\displaystyle \psi }$لا تُعدّ الدالة عاملاً حاسماً للحصول على تقدير جيد ودقيق، وستعطي العديد من الخيارات نتائج مماثلة توفر تحسينات كبيرة، من حيث الكفاءة والتحيز، مقارنةً بالتقديرات الكلاسيكية في وجود القيم الشاذة. ^{[ 10 ]}

نظريا،${\displaystyle \psi }$يُفضّل استخدام الدوال، وتُعدّ دالة توكي ثنائية الوزن (المعروفة أيضًا باسم دالة التربيع الثنائي) خيارًا شائعًا. يوصي مارونا وآخرون ^{[ 11 ]} باستخدام دالة ثنائية الوزن بكفاءة تصل إلى 85% عند ضبطها على الوضع الطبيعي.

بالنسبة لبيانات سرعة الضوء، مع السماح لمعامل التفرطح بالتغير وتعظيم الاحتمالية، نحصل على

$${\displaystyle {\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.}$$

تحديد${\displaystyle \nu =4}$وتؤدي زيادة الاحتمالية إلى

$${\displaystyle {\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.}$$