إحصائيات قوية

الإحصاءات القوية هي الإحصاءات التي تحافظ على خصائصها حتى لو كانت الافتراضات التوزيعية الأساسية غير صحيحة. تم تطوير أساليب إحصائية قوية للعديد من المشاكل الشائعة ، مثل تقدير الموقع والحجم ومعلمات الانحدار . أحد الدوافع هو إنتاج أساليب إحصائية لا تتأثر بشكل غير ملائم بالقيم المتطرفة . دافع آخر هو توفير أساليب ذات أداء جيد عندما تكون هناك انحرافات صغيرة عن التوزيع المعلمي . على سبيل المثال، تعمل الأساليب القوية بشكل جيد لمزيج من توزيعين طبيعيين مع انحرافات معيارية مختلفة ؛ بموجب هذا النموذج، تعمل الأساليب غير القوية مثل اختبار t بشكل سيئ. ^{[1] [2]}

تسعى الإحصاءات القوية إلى توفير أساليب تحاكي الأساليب الإحصائية الشائعة، ولكنها لا تتأثر بشكل غير ملائم بالقيم المتطرفة أو غيرها من الانحرافات الصغيرة عن افتراضات النموذج . في الإحصاءات، تعتمد أساليب التقدير الكلاسيكية بشكل كبير على الافتراضات التي غالبًا ما لا يتم الوفاء بها في الممارسة العملية. على وجه الخصوص، غالبًا ما يُفترض أن أخطاء البيانات موزعة بشكل طبيعي، على الأقل تقريبًا، أو أنه يمكن الاعتماد على نظرية الحد المركزي لإنتاج تقديرات موزعة بشكل طبيعي. لسوء الحظ، عندما تكون هناك قيم متطرفة في البيانات، غالبًا ما يكون أداء المقدرين الكلاسيكيين ضعيفًا للغاية، عند الحكم باستخدام نقطة الانهيار ودالة التأثير الموضحة أدناه.

يمكن دراسة التأثير العملي للمشاكل التي تظهر في دالة التأثير تجريبياً من خلال فحص توزيع العينات للمقدرين المقترحين في ظل نموذج خليط ، حيث يتم خلط كمية صغيرة (1-5% غالبًا ما تكون كافية) من التلوث. على سبيل المثال، قد يستخدم المرء خليطًا من 95% توزيعًا طبيعيًا، و5% توزيعًا طبيعيًا بنفس المتوسط ​​ولكن بانحراف معياري أعلى بشكل ملحوظ (يمثل القيم المتطرفة).

يمكن للإحصائيات المعلمية القوية أن تتم بطريقتين:

• من خلال تصميم المقدرين بحيث يتم تحقيق سلوك محدد مسبقًا لوظيفة التأثير
• عن طريق استبدال المقدرين الذين هم مثاليون تحت افتراض التوزيع الطبيعي بمقدرين مثاليين، أو على الأقل مشتقين من توزيعات أخرى؛ على سبيل المثال، باستخدام توزيع t مع درجات منخفضة من الحرية (تجانف مرتفع) أو مع مزيج من توزيعين أو أكثر.

لقد تمت دراسة تقديرات قوية للمشاكل التالية:

• تقدير معلمات الموقع
• تقدير معلمات المقياس
• تقدير معاملات الانحدار ^[3]
• تقدير حالات النموذج في النماذج المعبر عنها في شكل فضاء الحالة ، حيث تكون الطريقة القياسية مكافئة لمرشح كالمان .

هذا القسم يحتاج إلى التوسعة . يمكنك المساعدة بإضافة المزيد إليه. ( يوليو 2008 )

هناك تعريفات مختلفة لـ " الإحصاء القوي ". بالمعنى الدقيق للكلمة، فإن الإحصاء القوي مقاوم للأخطاء في النتائج، الناتجة عن الانحرافات عن الافتراضات ^[4] (على سبيل المثال، الانحراف عن الطبيعية). وهذا يعني أنه إذا تم استيفاء الافتراضات تقريبًا فقط، فإن المقدر القوي سيظل يتمتع بكفاءة معقولة، وتحيز صغير بشكل معقول ، بالإضافة إلى كونه غير متحيز بشكل مقارب ، مما يعني وجود تحيز يميل نحو 0 حيث يميل حجم العينة نحو اللانهاية.

عادةً، تكون الحالة الأكثر أهمية هي قوة التحمل التوزيعية - قوة التحمل لكسر الافتراضات حول التوزيع الأساسي للبيانات. ^[4] عادةً ما تكون الإجراءات الإحصائية الكلاسيكية حساسة لـ "الذيل الطويل" (على سبيل المثال، عندما يكون توزيع البيانات له ذيول أطول من التوزيع الطبيعي المفترض). وهذا يعني أنها ستتأثر بشدة بوجود القيم المتطرفة في البيانات، وقد تكون التقديرات التي تنتجها مشوهة بشدة إذا كانت هناك قيم متطرفة متطرفة في البيانات، مقارنة بما ستكون عليه إذا لم يتم تضمين القيم المتطرفة في البيانات.

وعلى النقيض من ذلك، فإن المقدرين الأكثر قوة والذين لا يتسمون بالحساسية الشديدة للتشوهات التوزيعية مثل الذيل الطويل يقاومون أيضًا وجود القيم المتطرفة. وبالتالي، في سياق الإحصاءات القوية، فإن القوة التوزيعية والمقاومة للقيم المتطرفة مترادفتان فعليًا. ^[4] للحصول على منظور واحد حول البحث في الإحصاءات القوية حتى عام 2000، انظر Portnoy & He (2000).

يفضل بعض الخبراء استخدام مصطلح " الإحصاءات المقاومة " للدلالة على المتانة التوزيعية، ويخصصون مصطلح "المتانة" للدلالة على المتانة غير التوزيعية، على سبيل المثال، المتانة في حالة انتهاك الافتراضات المتعلقة بنموذج الاحتمال أو المقدر، ولكن هذا الاستخدام من جانب الأقلية. ومن الشائع استخدام مصطلح "المتانة" بمعنى "المتانة التوزيعية".

عند النظر في مدى قوة المقدر لوجود القيم المتطرفة، من المفيد اختبار ما يحدث عند إضافة قيمة متطرفة متطرفة إلى مجموعة البيانات، واختبار ما يحدث عندما تحل قيمة متطرفة متطرفة محل إحدى نقاط البيانات الموجودة، ثم النظر في تأثير الإضافات أو الاستبدالات المتعددة.

المتوسط ​​ليس مقياسًا قويًا للاتجاه المركزي . إذا كانت مجموعة البيانات، على سبيل المثال، القيم {2،3،5،6،9}، فإذا أضفنا نقطة بيانات أخرى بقيمة -1000 أو +1000 إلى البيانات، فسيكون المتوسط ​​الناتج مختلفًا تمامًا عن متوسط ​​البيانات الأصلية. وبالمثل، إذا استبدلنا إحدى القيم بنقطة بيانات بقيمة -1000 أو +1000، فسيكون المتوسط ​​الناتج مختلفًا تمامًا عن متوسط ​​البيانات الأصلية.

المتوسط ​​هو مقياس قوي للاتجاه المركزي . إذا أخذنا نفس مجموعة البيانات {2،3،5،6،9}، إذا أضفنا نقطة بيانات أخرى بقيمة -1000 أو +1000، فسيتغير المتوسط ​​قليلاً، لكنه سيظل مشابهًا لمتوسط ​​البيانات الأصلية. إذا استبدلنا إحدى القيم بنقطة بيانات بقيمة -1000 أو +1000، فسيظل المتوسط ​​الناتج مشابهًا لمتوسط ​​البيانات الأصلية.

عند وصفه من حيث نقاط الانهيار، فإن المتوسط ​​له نقطة انهيار تبلغ 50%، مما يعني أن نصف النقاط يجب أن تكون قيم متطرفة قبل أن يمكن نقل المتوسط ​​خارج نطاق القيم غير المتطرفة، في حين أن المتوسط ​​له نقطة انهيار تبلغ 0، حيث يمكن لملاحظة كبيرة واحدة أن تخرجه عن نطاقه.

إن الانحراف المطلق المتوسط ​​والنطاق الربعي هما مقياسان قويان للتشتت الإحصائي ، في حين أن الانحراف المعياري والنطاق ليسا كذلك.

تعتبر المقدرة المقصوصة والمقدرة المنسقة طرقًا عامة لجعل الإحصاءات أكثر قوة. المقدرة L هي فئة عامة من الإحصاءات البسيطة، وغالبًا ما تكون قوية، في حين أن المقدرة M هي فئة عامة من الإحصاءات القوية، وهي الآن الحل المفضل، على الرغم من أن حسابها قد يكون معقدًا للغاية.

في كتاب تحليل البيانات البايزية (2004) يدرس جلمان وآخرون مجموعة بيانات تتعلق بقياسات سرعة الضوء التي أجراها سيمون نيوكومب . ويمكن العثور على مجموعات البيانات الخاصة بهذا الكتاب عبر صفحة مجموعات البيانات الكلاسيكية ، ويحتوي موقع الكتاب على مزيد من المعلومات حول البيانات.

على الرغم من أن الجزء الأكبر من البيانات يبدو موزعًا بشكل طبيعي إلى حد ما، إلا أن هناك قيمتين شاذتين واضحتين. تؤثر هاتان القيمتان الشاذتان بشكل كبير على المتوسط، حيث تجذبه نحوهما، وتبعده عن مركز الجزء الأكبر من البيانات. وبالتالي، إذا كان المقصود من المتوسط ​​أن يكون مقياسًا لموقع مركز البيانات، فإنه يكون متحيزًا إلى حد ما عندما تكون القيم الشاذة موجودة.

كما أن توزيع المتوسط ​​معروف بأنه طبيعي بشكل مقارب بسبب نظرية الحد المركزي. ومع ذلك، يمكن للقيم المتطرفة أن تجعل توزيع المتوسط ​​غير طبيعي، حتى بالنسبة لمجموعات البيانات الكبيرة إلى حد ما. وبجانب هذا عدم الطبيعية، فإن المتوسط ​​غير فعال أيضًا في وجود القيم المتطرفة وتوافر مقاييس أقل تنوعًا للموقع.

يوضح الرسم البياني أدناه مخطط كثافة بيانات سرعة الضوء، إلى جانب مخطط السجادة (اللوحة (أ)). كما يظهر أيضًا مخطط Q–Q الطبيعي (اللوحة (ب)). تظهر القيم المتطرفة في هذه المخططات البيانية.

تُظهر اللوحتان (ج) و(د) من الرسم البياني توزيع إعادة التوزيع للمتوسط ​​(ج) والمتوسط ​​المقصوص بنسبة 10% (د). المتوسط ​​المقصوص هو مقدر بسيط وقوي للموقع يحذف نسبة معينة من الملاحظات (10% هنا) من كل طرف من طرفي البيانات، ثم يحسب المتوسط ​​بالطريقة المعتادة. تم إجراء التحليل في R وتم استخدام 10000 عينة إعادة توزيع لكل من المتوسطات الخام والمقصوصة.

من الواضح أن توزيع المتوسط ​​أوسع بكثير من توزيع المتوسط ​​المقتطع بنسبة 10% (المخططات على نفس المقياس). وبينما يبدو توزيع المتوسط ​​المقتطع قريبًا من الطبيعي، فإن توزيع المتوسط ​​الخام منحرف تمامًا إلى اليسار. لذا، في هذه العينة المكونة من 66 ملاحظة، هناك قيمتان شاذتان فقط تجعلان نظرية الحد المركزي غير قابلة للتطبيق.

تسعى الأساليب الإحصائية القوية، والتي يعتبر المتوسط ​​المقتطع مثالاً بسيطاً عليها، إلى التفوق على الأساليب الإحصائية الكلاسيكية في وجود القيم المتطرفة، أو بشكل عام، عندما لا تكون الافتراضات المعيارية الأساسية صحيحة تمامًا.

في حين أن المتوسط ​​المقتطع يؤدي أداءً جيدًا نسبيًا مقارنة بالمتوسط ​​في هذا المثال، إلا أن هناك تقديرات أكثر قوة متاحة. في الواقع، المتوسط ​​والوسيط والمتوسط ​​المقتطع هي حالات خاصة من مقدرات M. تظهر التفاصيل في الأقسام أدناه.

إن القيم المتطرفة في بيانات سرعة الضوء لها أكثر من مجرد تأثير سلبي على المتوسط؛ التقدير المعتاد للمقياس هو الانحراف المعياري، وهذه الكمية تتأثر بشكل أسوأ بالقيم المتطرفة لأن مربعات الانحرافات عن المتوسط ​​تدخل في الحساب، وبالتالي تتفاقم تأثيرات القيم المتطرفة.

تُظهر المخططات أدناه توزيعات إعادة التشكيل للانحراف المعياري والانحراف المطلق المتوسط ​​(MAD) ومقدر روسيو-كرو (Qn) للمقياس. ^[5] تستند المخططات إلى 10000 عينة إعادة تشكيل لكل مقدر، مع إضافة بعض الضوضاء الغوسية إلى البيانات المعاد أخذ العينات منها ( إعادة التشكيل الملساء ). تُظهر اللوحة (أ) توزيع الانحراف المعياري، (ب) للانحراف المطلق المتوسط ​​(MAD) و(ج) لـ Qn.

إن توزيع الانحراف المعياري غير منتظم وواسع النطاق، نتيجة للقيم المتطرفة. إن الانحراف المعياري المتوسط ​​يتصرف بشكل أفضل، كما أن Qn أكثر كفاءة قليلاً من الانحراف المعياري المتوسط. يوضح هذا المثال البسيط أنه عندما تكون القيم المتطرفة موجودة، لا يمكن التوصية بالانحراف المعياري كتقدير للمقياس.

تقليديًا، يقوم الإحصائيون بفحص البيانات يدويًا بحثًا عن القيم المتطرفة وإزالتها، وعادةً ما يتحققون من مصدر البيانات لمعرفة ما إذا كانت القيم المتطرفة قد تم تسجيلها بشكل خاطئ. في الواقع، في مثال سرعة الضوء أعلاه، من السهل رؤية القيمتين المتطرفتين وإزالتهما قبل المضي قدمًا في أي تحليل إضافي. ومع ذلك، في العصر الحديث، تتكون مجموعات البيانات غالبًا من أعداد كبيرة من المتغيرات التي يتم قياسها على أعداد كبيرة من الوحدات التجريبية. لذلك، غالبًا ما يكون الفحص اليدوي للقيم المتطرفة غير عملي.

يمكن للقيم المتطرفة أن تتفاعل غالبًا بطريقة تخفي بعضها البعض. كمثال بسيط، ضع في اعتبارك مجموعة بيانات أحادية المتغير صغيرة تحتوي على قيمة متطرفة متواضعة وأخرى كبيرة. سيتضخم الانحراف المعياري المقدر بشكل كبير بسبب القيمة المتطرفة الكبيرة. والنتيجة هي أن القيمة المتطرفة المتواضعة تبدو طبيعية نسبيًا. بمجرد إزالة القيمة المتطرفة الكبيرة، يتقلص الانحراف المعياري المقدر، وتبدو القيمة المتطرفة المتواضعة الآن غير عادية.

تزداد مشكلة الإخفاء سوءًا مع زيادة تعقيد البيانات. على سبيل المثال، في مشكلات الانحدار ، تُستخدم المخططات التشخيصية لتحديد القيم المتطرفة. ومع ذلك، من الشائع أنه بمجرد إزالة عدد قليل من القيم المتطرفة، تصبح القيم المتطرفة الأخرى مرئية. وتزداد المشكلة سوءًا في الأبعاد الأعلى.

توفر الأساليب القوية طرقًا آلية للكشف عن القيم الشاذة وتخفيض وزنها (أو إزالتها) ووضع علامات عليها، مما يلغي إلى حد كبير الحاجة إلى الفحص اليدوي. يجب توخي الحذر؛ فقد تم رفض البيانات الأولية التي أظهرت ظهور ثقب الأوزون لأول مرة فوق القارة القطبية الجنوبية باعتبارها قيمًا شاذة من خلال الفحص غير البشري. ^[6]

على الرغم من أن هذه المقالة تتناول المبادئ العامة للطرق الإحصائية أحادية المتغير، إلا أن هناك أيضًا طرقًا قوية لمشاكل الانحدار، والنماذج الخطية المعممة، وتقدير معلمات التوزيعات المختلفة.

الأدوات الأساسية المستخدمة لوصف وقياس المتانة هي نقطة الانهيار ودالة التأثير ومنحنى الحساسية .

حدسيًا، نقطة انهيار المقدر هي نسبة الملاحظات غير الصحيحة (على سبيل المثال الملاحظات الكبيرة بشكل تعسفي) التي يمكن للمقدر التعامل معها قبل إعطاء نتيجة غير صحيحة (على سبيل المثال، كبيرة بشكل تعسفي). عادةً، يُقتبس الحد المقارب (العينة اللانهائية) كنقطة انهيار، على الرغم من أن نقطة انهيار العينة المحدودة قد تكون أكثر فائدة. ^[7] على سبيل المثال، بالنظر إلى المتغيرات العشوائية المستقلة والإدراكات المقابلة ، يمكننا استخدامها لتقدير المتوسط. مثل هذا المقدر له نقطة انهيار 0 (أو نقطة انهيار العينة المحدودة ) لأنه يمكننا جعلها كبيرة بشكل تعسفي بمجرد تغيير أي من . ${\displaystyle n}$${\displaystyle (X_{1},\dots ,X_{n})}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$${\displaystyle 1/n}$${\displaystyle {\overline {x}}}$${\displaystyle x_{1},\dots ,x_{n}}$

كلما ارتفعت نقطة انهيار المقدر، زادت قوته. بديهيًا، يمكننا أن نفهم أن نقطة الانهيار لا يمكن أن تتجاوز 50٪ لأنه إذا كان أكثر من نصف الملاحظات ملوثة، فليس من الممكن التمييز بين التوزيع الأساسي والتوزيع الملوث Rousseeuw & Leroy (1987). لذلك، فإن نقطة الانهيار القصوى هي 0.5 وهناك مقدرون يحققون نقطة الانهيار هذه. على سبيل المثال، يحتوي الوسيط على نقطة انهيار 0.5. يحتوي المتوسط ​​المقتطع بنسبة X٪ على نقطة انهيار X٪، للمستوى المختار لـ X. يحتوي Huber (1981) و Maronna et al. (2019) على مزيد من التفاصيل. تم التحقيق في مستوى ونقاط انهيار الطاقة للاختبارات في He و Simpson & Portnoy (1990).

تُسمى الإحصائيات ذات نقاط الانهيار العالية أحيانًا بالإحصائيات المقاومة. ^[8]

في مثال سرعة الضوء، يؤدي إزالة أدنى ملاحظتين إلى تغير المتوسط ​​من 26.2 إلى 27.75، وهو تغير قدره 1.55. وتقدير المقياس الناتج عن طريقة Qn هو 6.3. ويمكننا قسمة هذا على الجذر التربيعي لحجم العينة للحصول على خطأ معياري قوي، ونجد أن هذه الكمية تساوي 0.78. وبالتالي، فإن التغير في المتوسط ​​الناتج عن إزالة قيمتين شاذتين هو ضعف الخطأ المعياري القوي تقريبًا.

المتوسط ​​المقتطع بنسبة 10% لبيانات سرعة الضوء هو 27.43. وبإزالة أدنى ملاحظتين وإعادة الحساب نحصل على 27.67. والمتوسط ​​المقتطع أقل تأثرًا بالقيم المتطرفة وله نقطة انهيار أعلى.

إذا استبدلنا أدنى ملاحظة، −44، بـ −1000، يصبح المتوسط ​​11.73، في حين يظل المتوسط ​​المقتطع بنسبة 10% 27.43. في العديد من مجالات الإحصاء التطبيقي، من الشائع تحويل البيانات إلى لوغاريتم لجعلها متماثلة تقريبًا. تصبح القيم الصغيرة جدًا سلبية كبيرة عند تحويلها إلى لوغاريتم، وتصبح الأصفار سلبية لا نهائية. لذلك، فإن هذا المثال ذو أهمية عملية.

This article may be too technical for most readers to understand. Please help improve it to make it understandable to non-experts, without removing the technical details. (June 2010) (Learn how and when to remove this message)

This section does not cite any sources. Please help improve this section by adding citations to reliable sources. Unsourced material may be challenged and removed. (February 2012) (Learn how and when to remove this message)

إن دالة التأثير التجريبي هي مقياس لاعتماد المقدر على قيمة أي نقطة من النقاط في العينة. وهي مقياس خالٍ من النماذج بمعنى أنها تعتمد ببساطة على حساب المقدر مرة أخرى بعينة مختلفة. على اليمين توجد دالة توكي ثنائية الوزن، والتي كما سنرى لاحقًا، هي مثال على الشكل الذي ينبغي أن تبدو عليه دالة التأثير التجريبي "الجيدة" (بمعنى محدد لاحقًا).

في المصطلحات الرياضية، يتم تعريف دالة التأثير كمتجه في فضاء المقدر، والذي يتم تعريفه بدوره لعينة تشكل مجموعة فرعية من السكان:

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$هي فضاء احتمالي،
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$هي مساحة قابلة للقياس (مساحة الحالة)،
3. ${\displaystyle \Theta }$هي مساحة معلمة ذات بعد ،${\displaystyle p\in \mathbb {N} ^{*}}$
4. ${\displaystyle (\Gamma ,S)}$هي مساحة قابلة للقياس،

على سبيل المثال،

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$هي أي مساحة احتمالية،
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$,
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$,

يتم تعريف دالة التأثير التجريبي على النحو التالي.

ليكن و iid و هي عينة من هذه المتغيرات. هي مقدر. ليكن . دالة التأثير التجريبي عند الملاحظة محددة بواسطة: ${\displaystyle n\in \mathbb {N} ^{*}}$${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\rightarrow ({\mathcal {X}},\Sigma )}$${\displaystyle (x_{1},\dots ,x_{n})}$${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\rightarrow (\Gamma ,S)}$${\displaystyle i\in \{1,\dots ,n\}}$${\displaystyle EIF_{i}}$${\displaystyle i}$

${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$

ما يعنيه هذا هو أننا نستبدل القيمة i في العينة بقيمة عشوائية وننظر إلى مخرجات المقدر. بدلاً من ذلك، يتم تعريف EIF على أنه التأثير، المقيس بـ n+1 بدلاً من n، على المقدر لإضافة النقطة إلى العينة. ^{[ بحاجة لمصدر ]}${\displaystyle x}$

بدلاً من الاعتماد على البيانات فقط، يمكننا استخدام توزيع المتغيرات العشوائية. النهج مختلف تمامًا عن النهج المتبع في الفقرة السابقة. ما نحاول القيام به الآن هو معرفة ما يحدث للمقدر عندما نغير توزيع البيانات قليلاً: فهو يفترض توزيعًا ، ويقيس الحساسية للتغيير في هذا التوزيع. وعلى النقيض من ذلك، يفترض التأثير التجريبي مجموعة عينات، ويقيس الحساسية للتغيير في العينات. ^[9]

ليكن مجموعة محدبة من مجموعة جميع المقاييس الموقعة المحدودة على . نريد تقدير معلمة التوزيع في . لتكن الدالة هي القيمة المقاربة لبعض متوالية التقدير . سنفترض أن هذه الدالة متسقة مع فيشر ، أي . وهذا يعني أنه في النموذج ، تقيس متوالية التقدير الكمية الصحيحة بشكل مقارب. ${\displaystyle A}$${\displaystyle \Sigma }$${\displaystyle \theta \in \Theta }$${\displaystyle F}$${\displaystyle A}$${\displaystyle T:A\rightarrow \Gamma }$${\displaystyle (T_{n})_{n\in \mathbb {N} }}$${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$${\displaystyle F}$

ليكن هناك توزيع في . ماذا يحدث عندما لا تتبع البيانات النموذج تمامًا ولكن تتبع نموذجًا آخر مختلفًا قليلاً "يتجه نحو" ؟ ${\displaystyle G}$${\displaystyle A}$${\displaystyle F}$${\displaystyle G}$

نحن ننظر إلى:

${\displaystyle dT_{G-F}(F)=\lim _{t\rightarrow 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}}}$,

وهو المشتق الجاتوه أحادي الجانب لـ عند ، في اتجاه . ${\displaystyle T}$${\displaystyle F}$${\displaystyle G-F}$

ليكن . هو مقياس الاحتمال الذي يعطي كتلة 1 إلى . نختار . ثم يتم تعريف دالة التأثير على النحو التالي: ${\displaystyle x\in {\mathcal {X}}}$${\displaystyle \Delta _{x}}$${\displaystyle \{x\}}$${\displaystyle G=\Delta _{x}}$

${\displaystyle IF(x;T;F):=\lim _{t\rightarrow 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$

يصف تأثير التلوث اللامتناهي الصغر عند النقطة على التقدير الذي نسعى إليه، والذي يتم توحيده بواسطة كتلة التلوث (التحيز المقارب الناجم عن التلوث في الملاحظات). بالنسبة للمقدر القوي، نريد دالة تأثير محدودة، أي دالة لا تتجه إلى ما لا نهاية عندما يصبح x كبيرًا بشكل تعسفي. ${\displaystyle x}$${\displaystyle t}$

تستخدم دالة التأثير التجريبي دالة التوزيع التجريبية بدلاً من دالة التوزيع ، وذلك باستخدام مبدأ الإدخال. ${\displaystyle {\hat {F}}}$${\displaystyle F}$

خصائص دالة التأثير التي تمنحها الأداء المرغوب هي:

1. نقطة الرفض المحدودة${\displaystyle \rho ^{*}}$
2. حساسية صغيرة للخطأ الجسيم ،${\displaystyle \gamma ^{*}}$
3. حساسية التحول المحلي الصغيرة .${\displaystyle \lambda ^{*}}$

${\displaystyle \rho ^{*}:=\inf _{r>0}\{r:IF(x;T;F)=0,|x|>r\}}$

${\displaystyle \gamma ^{*}(T;F):=\sup _{x\in {\mathcal {X}}}|IF(x;T;F)|}$

${\displaystyle \lambda ^{*}(T;F):=\sup _{(x,y)\in {\mathcal {X}}^{2} \atop x\neq y}\left\|{\frac {IF(y;T;F)-IF(x;T;F)}{y-x}}\right\|}$

هذه القيمة، والتي تشبه إلى حد كبير ثابت ليبشيتز ، تمثل تأثير تحويل ملاحظة قليلاً من إلى نقطة مجاورة ، أي إضافة ملاحظة عند وإزالة واحدة عند . ${\displaystyle x}$${\displaystyle y}$${\displaystyle y}$${\displaystyle x}$

(السياق الرياضي لهذه الفقرة موضح في القسم الخاص بدالات التأثير التجريبية.)

تاريخيًا، تم اقتراح عدة طرق للتقدير القوي، بما في ذلك مقدرات R ومقدرات L. ومع ذلك، يبدو أن مقدرات M تهيمن الآن على هذا المجال نتيجة لعموميتها وإمكانية نقاط الانهيار العالية والكفاءة العالية نسبيًا. انظر هوبر (1981).

لا تتمتع مقدرات M بالقوة بطبيعتها. ومع ذلك، يمكن تصميمها لتحقيق خصائص مواتية، بما في ذلك القوة. تعد مقدرات M تعميمًا لمقدرات أقصى احتمال (MLEs) والتي يتم تحديدها من خلال تعظيم أو تقليل . في عام 1964، اقترح هوبر تعميم هذا على تقليل ، حيث تكون دالة ما. وبالتالي، تعد مقدرات MLE حالة خاصة من مقدرات M (ومن هنا جاء الاسم: مقدرات " نوع أقصى احتمال"). ${\textstyle \prod _{i=1}^{n}f(x_{i})}$${\textstyle \sum _{i=1}^{n}-\log f(x_{i})}$${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$

يمكن في كثير من الأحيان التقليل عن طريق التفاضل والحل ، حيث (إذا كان له مشتق). ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$${\textstyle \sum _{i=1}^{n}\psi (x_{i})=0}$${\textstyle \psi (x)={\frac {d\rho (x)}{dx}}}$${\displaystyle \rho }$

تم اقتراح عدة خيارات لـ و . يوضح الشكلان أدناه أربع وظائف والوظائف المقابلة لها. ${\displaystyle \rho }$${\displaystyle \psi }$${\displaystyle \rho }$${\displaystyle \psi }$

بالنسبة للأخطاء التربيعية، تزداد بمعدل متسارع، بينما تزداد بمعدل ثابت بالنسبة للأخطاء المطلقة. عند استخدام Winsorizing، يتم تقديم مزيج من هذين التأثيرين: بالنسبة للقيم الصغيرة لـ x، تزداد بمعدل تربيعي، ولكن بمجرد الوصول إلى الحد الأقصى المختار (1.5 في هذا المثال)، يصبح معدل الزيادة ثابتًا. يُعرف مقدر Winsorizing هذا أيضًا باسم دالة خسارة هوبر . ${\displaystyle \rho (x)}$${\displaystyle \rho }$

تتصرف دالة Tukey ثنائية الوزن (المعروفة أيضًا باسم ثنائية المربع) بطريقة مماثلة لدالة الخطأ التربيعي في البداية، ولكن بالنسبة للأخطاء الأكبر، تتضاءل الدالة.

لا ترتبط مقدرات M بالضرورة بدالة كثافة الاحتمال. لذلك، لا يمكن استخدام الأساليب الجاهزة للاستدلال والتي تنشأ من نظرية الاحتمال بشكل عام.

من الممكن إظهار أن مقدرات M موزعة بشكل طبيعي مقارب بحيث طالما يمكن حساب أخطائها المعيارية، يكون هناك نهج تقريبي للاستدلال.

نظرًا لأن تقديرات M طبيعية فقط بشكل مقارب، فقد يكون من المناسب بالنسبة لأحجام العينات الصغيرة استخدام نهج بديل للاستدلال، مثل إعادة التشغيل. ومع ذلك، فإن تقديرات M ليست بالضرورة فريدة (أي أنه قد يكون هناك أكثر من حل واحد يلبي المعادلات). ومن الممكن أيضًا أن تحتوي أي عينة إعادة تشغيل معينة على قيم متطرفة أكثر من نقطة انهيار المقدر. لذلك، يلزم توخي بعض الحذر عند تصميم مخططات إعادة التشغيل.

بالطبع، وكما رأينا في مثال سرعة الضوء، فإن المتوسط ​​لا يتوزع إلا بشكل مقارب، وعندما تكون القيم المتطرفة موجودة، فقد يكون التقريب ضعيفًا للغاية حتى بالنسبة للعينات الكبيرة جدًا. ومع ذلك، فإن الاختبارات الإحصائية الكلاسيكية، بما في ذلك تلك القائمة على المتوسط، تكون محدودة عادةً بالحجم الاسمي للاختبار. ولا ينطبق نفس الشيء على مقدرات M، وقد يكون معدل الخطأ من النوع الأول أعلى بكثير من المستوى الاسمي.

لا تبطل هذه الاعتبارات تقديرات M بأي حال من الأحوال. بل إنها توضح فقط أن الأمر يتطلب بعض الحذر عند استخدامها، كما هو الحال مع أي طريقة أخرى للتقدير.

يمكن إظهار أن دالة تأثير مقدر M تتناسب مع ، ^[10] مما يعني أنه يمكننا استنتاج خصائص مثل هذا المقدر (مثل نقطة الرفض أو حساسية الخطأ الإجمالي أو حساسية التحول المحلي) عندما نعرف وظيفته . ${\displaystyle T}$${\displaystyle \psi }$${\displaystyle \psi }$

${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$

مع ما قدمه: ${\displaystyle p\times p}$

${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$

في العديد من المواقف العملية، لا يكون اختيار الوظيفة أمرًا بالغ الأهمية للحصول على تقدير جيد وقوي، وستعطي العديد من الخيارات نتائج مماثلة تقدم تحسينات كبيرة، من حيث الكفاءة والتحيز، مقارنة بالتقديرات الكلاسيكية في وجود القيم المتطرفة. ^[11]${\displaystyle \psi }$

من الناحية النظرية، يجب تفضيل الوظائف، ^{[ يحتاج إلى توضيح ]} ووظيفة Tukey ثنائية الوزن (المعروفة أيضًا باسم bisquare) هي خيار شائع. ^[12] أوصي بوظيفة ثنائية الوزن بكفاءة عند التعيين الطبيعي إلى 85٪. ${\displaystyle \psi }$

لا ترتبط مقدرات M بالضرورة بدالة الكثافة وبالتالي فهي ليست معاملية بالكامل. تتعامل الأساليب المعاملية بالكامل للنمذجة القوية والاستدلال، سواء الأساليب البايزية أو أساليب الاحتمالية، عادةً مع توزيعات الذيل الثقيل مثل توزيع t الخاص بـ Student .

بالنسبة لتوزيع t بدرجات الحرية، يمكن إظهار أن ${\displaystyle \nu }$

${\displaystyle \psi (x)={\frac {x}{x^{2}+\nu }}.}$

بالنسبة لـ ، فإن توزيع t يعادل توزيع كوشي. تُعرف درجات الحرية أحيانًا باسم معامل التجانف . إنه المعامل الذي يتحكم في مدى ثقل الذيل. من حيث المبدأ، يمكن تقديره من البيانات بنفس الطريقة مثل أي معامل آخر. من الناحية العملية، من الشائع وجود قيم قصوى محلية متعددة عندما يُسمح بالتغير. على هذا النحو، من الشائع التثبيت عند قيمة حول 4 أو 6. يعرض الشكل أدناه الدالة - لـ 4 قيم مختلفة لـ . ${\displaystyle \nu =1}$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \psi }$${\displaystyle \nu }$

بالنسبة لبيانات سرعة الضوء، مما يسمح لمعامل التجانف بالتغير وتعظيم الاحتمالية، نحصل على

${\displaystyle {\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.}$

إصلاح وتعظيم الاحتمالية يعطي ${\displaystyle \nu =4}$

${\displaystyle {\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.}$

الكمية المحورية هي دالة للبيانات، حيث يكون توزيعها السكاني الأساسي عضوًا في عائلة معلمات، لا تعتمد على قيم المعلمات. والإحصاء المساعد هو دالة تكون أيضًا إحصائية، مما يعني أنها تُحسب من حيث البيانات وحدها. وتكون مثل هذه الدوال قوية تجاه المعلمات بمعنى أنها مستقلة عن قيم المعلمات، ولكنها ليست قوية تجاه النموذج بمعنى أنها تفترض نموذجًا أساسيًا (عائلة معلمات)، وفي الواقع، غالبًا ما تكون مثل هذه الدوال حساسة للغاية لانتهاكات افتراضات النموذج. وبالتالي فإن إحصاءات الاختبار ، التي يتم إنشاؤها غالبًا من حيث هذه الافتراضات بحيث لا تكون حساسة للافتراضات حول المعلمات، لا تزال حساسة للغاية لافتراضات النموذج.

يُطلق على استبدال البيانات المفقودة اسم الاستنباط . إذا كان هناك عدد قليل نسبيًا من النقاط المفقودة، فهناك بعض النماذج التي يمكن استخدامها لتقدير القيم لإكمال السلسلة، مثل استبدال القيم المفقودة بمتوسط ​​أو متوسط ​​البيانات. يمكن أيضًا استخدام الانحدار الخطي البسيط لتقدير القيم المفقودة. ^[13] بالإضافة إلى ذلك، يمكن أحيانًا استيعاب القيم المتطرفة في البيانات من خلال استخدام المتوسطات المقصوصة، ومقدري المقياس الآخرين بعيدًا عن الانحراف المعياري (على سبيل المثال، MAD) وWinsorization. ^[14] في حسابات المتوسط ​​المقصوص، يتم إسقاط نسبة ثابتة من البيانات من كل طرف من طرفي البيانات المرتبة، وبالتالي القضاء على القيم المتطرفة. ثم يتم حساب المتوسط ​​باستخدام البيانات المتبقية. تتضمن Winsorizing استيعاب القيمة المتطرفة عن طريق استبدالها بالقيمة الأعلى التالية أو الأصغر التالية حسب الاقتضاء. ^[15]

ومع ذلك، فإن استخدام هذه الأنواع من النماذج للتنبؤ بالقيم المفقودة أو القيم المتطرفة في سلسلة زمنية طويلة أمر صعب وغالبًا ما يكون غير موثوق به، خاصة إذا كان عدد القيم المراد ملؤها مرتفعًا نسبيًا مقارنة بطول السجل الإجمالي. تعتمد دقة التقدير على مدى جودة النموذج وتمثيله ومدة امتداد فترة القيم المفقودة. ^[16] عندما يُفترض التطور الديناميكي في سلسلة، تصبح مشكلة نقطة البيانات المفقودة تمرينًا في التحليل المتعدد المتغيرات (بدلاً من النهج أحادي المتغير لمعظم الطرق التقليدية لتقدير القيم المفقودة والقيم المتطرفة). في مثل هذه الحالات، سيكون النموذج المتعدد المتغيرات أكثر تمثيلاً من النموذج أحادي المتغير للتنبؤ بالقيم المفقودة. تقدم خريطة كوهونين ذاتية التنظيم (KSOM) نموذجًا متعدد المتغيرات بسيطًا وقويًا لتحليل البيانات، وبالتالي توفر إمكانيات جيدة لتقدير القيم المفقودة، مع مراعاة علاقتها أو ارتباطها بمتغيرات أخرى ذات صلة في سجل البيانات. ^[15]

لا تتمتع مرشحات كالمان القياسية بالقدرة على التعامل مع القيم المتطرفة. ولتحقيق هذه الغاية، أظهر تينج وتيودورو وشال (2007) مؤخرًا أن تعديل نظرية ماسريليز يمكن أن يتعامل مع القيم المتطرفة.

أحد الأساليب الشائعة للتعامل مع القيم المتطرفة في تحليل البيانات هو إجراء اكتشاف القيم المتطرفة أولاً، متبوعًا بطريقة تقدير فعالة (على سبيل المثال، المربعات الصغرى). وفي حين أن هذا النهج مفيد غالبًا، يجب على المرء أن يضع في اعتباره تحديين. أولاً، يمكن أن تعاني طريقة اكتشاف القيم المتطرفة التي تعتمد على ملاءمة أولية غير قوية من تأثير الإخفاء، أي أن مجموعة من القيم المتطرفة يمكن أن تخفي بعضها البعض وتفلت من الاكتشاف. ^[17] ثانيًا، إذا تم استخدام ملاءمة أولية عالية الانهيار لاكتشاف القيم المتطرفة، فقد يرث التحليل المتابع بعض عدم كفاءة المقدر الأولي. ^[18]

على الرغم من أن وظائف التأثير لها تاريخ طويل في الإحصاء، إلا أنها لم تُستخدم على نطاق واسع في التعلم الآلي بسبب العديد من التحديات. تتمثل إحدى العقبات الأساسية في أن وظائف التأثير التقليدية تعتمد على حسابات مشتقات الدرجة الثانية باهظة الثمن وتفترض قابلية النموذج للتفاضل والتحدب. هذه الافتراضات محدودة، خاصة في التعلم الآلي الحديث، حيث تكون النماذج غالبًا غير قابلة للتفاضل وغير محدبة وتعمل في مساحات عالية الأبعاد.

تناول كوه وليانج (2017) هذه التحديات من خلال تقديم أساليب لتقريب وظائف التأثير بكفاءة باستخدام تقنيات التحسين من الدرجة الثانية، مثل تلك التي طورها بيرلموتر (1994)، ومارتنز (2010)، وأغاروال وبولينز وهازان (2017). يظل نهجهم فعالاً حتى عندما تتدهور افتراضات التفاضل والتقوس، مما يتيح استخدام وظائف التأثير في سياق نماذج التعلم العميق غير المحدبة. لقد أثبتوا أن وظائف التأثير هي أداة قوية ومتعددة الاستخدامات يمكن تطبيقها على مجموعة متنوعة من المهام في التعلم الآلي، بما في ذلك:

• فهم سلوك النموذج: تساعد وظائف التأثير في تحديد نقاط التدريب الأكثر "مسؤولية" عن تنبؤ معين، مما يوفر رؤى حول كيفية تعميم النماذج من بيانات التدريب.

• تصحيح أخطاء النماذج: يمكن أن تساعد وظائف التأثير في تحديد عدم تطابق النطاقات - عندما لا يتطابق توزيع بيانات التدريب مع توزيع بيانات الاختبار - مما قد يتسبب في ضعف أداء النماذج ذات دقة التدريب العالية على بيانات الاختبار، كما هو موضح بواسطة Ben-David et al. (2010). من خلال الكشف عن أمثلة التدريب التي تساهم بشكل أكبر في حدوث الأخطاء، يمكن للمطورين معالجة هذه التناقضات.

• اكتشاف أخطاء مجموعة البيانات: تعد العلامات المشوشة أو الفاسدة أمرًا شائعًا في البيانات الواقعية، وخاصةً عند جمعها من الجمهور أو مهاجمتها بشكل عدائي. تتيح وظائف التأثير للخبراء البشريين إعطاء الأولوية لمراجعة الأمثلة الأكثر تأثيرًا فقط في مجموعة التدريب، مما يسهل اكتشاف الأخطاء وتصحيحها بكفاءة.

• الهجمات المعادية: النماذج التي تعتمد بشكل كبير على عدد صغير من نقاط التدريب المؤثرة تكون عرضة للاضطرابات المعادية. يمكن لهذه المدخلات المضطربة أن تغير التوقعات بشكل كبير وتشكل مخاطر أمنية في أنظمة التعلم الآلي حيث يمكن للمهاجمين الوصول إلى بيانات التدريب (انظر التعلم الآلي المعادي ).

لقد فتحت مساهمات كوه وليانج الباب أمام استخدام وظائف التأثير في تطبيقات مختلفة في مجال التعلم الآلي، من القدرة على التفسير إلى الأمان، مما يمثل تقدمًا كبيرًا في قابلية تطبيقها.

• فترات الثقة القوية
• الانحدار القوي
• الانحدار المرجح بالوحدة

• فاركوميني، أ.؛ جريكو، ل. (2013)، طرق قوية لتقليص البيانات ، بوكا راتون، فلوريدا: تشابمان وهول/سي آر سي برس، رقم ISBN 978-1-4665-9062-5.
• هامبل، فرانك ر .؛ رونشيتي، إلفزيو م.؛ روسيو، بيتر ج .؛ ستاهل، فيرنر أ. (1986)، إحصاءات قوية ، سلسلة وايلي في الاحتمالات والإحصاءات الرياضية: الاحتمالات والإحصاءات الرياضية، نيويورك: جون وايلي وأولاده، رقم ISBN 0-471-82921-8السيد 0829458 ​أعيد نشره في غلاف ورقي، 2005.
• هارفي، إيه سي؛ فرنانديز، سي. (أكتوبر 1989)، "نماذج السلاسل الزمنية للملاحظات العددية أو النوعية"، مجلة إحصاءات الأعمال والاقتصاد ، 7 (4)، تايلور وفرانسيس: 407-417، doi :10.1080/07350015.1989.10509750، JSTOR  1391639
• He, Xuming ؛ Portnoy, Stephen (1992)، "تتقارب مقدرات LS المعاد ترجيحها بنفس معدل المقدر الأولي"، حوليات الإحصاء ، 20 (4): 2161-2167، doi : 10.1214/aos/1176348910 ، MR  1193333.
• He, Xuming ; Simpson, Douglas G.; Portnoy, Stephen L. (1990), "Breakdown strengthness of tests", Journal of the American Statistical Association , 85 (410): 446–452, doi :10.2307/2289782, JSTOR  2289782, MR  1141746.
• Hettmansperger, TP; McKean, JW (1998)، Robust nonparametric statistical methods ، مكتبة كيندال للإحصاء، المجلد 5، نيويورك: John Wiley & Sons, Inc.، ISBN 0-340-54937-8السيد 1604954 ​. الطبعة الثانية، مطبعة CRC، 2011.
• هوبر، بيتر جيه. (1981)، إحصائيات قوية ، نيويورك: جون وايلي وأولاده، رقم ISBN 0-471-41805-6السيد 0606374 ​أعيد نشره في غلاف ورقي، 2004. الطبعة الثانية، وايلي، 2009.
• ماكدونالد، إيان إل.؛ زوكيني، والتر (1997)، ماركوف المخفي ونماذج أخرى للسلاسل الزمنية ذات القيمة المنفصلة ، ​​تايلور وفرانسيس، رقم ISBN 9780412558504
• مارونا، ريكاردو أ؛ مارتن، ر. دوغلاس؛ يوهاي، فيكتور J.؛ Salibián-Barrera، Matías (2019) [2006]، الإحصائيات القوية: النظرية والأساليب (مع R) ، سلسلة وايلي في الاحتمالية والإحصاء (الطبعة الثانية)، تشيتشيستر: John Wiley & Sons, Ltd.، دوى :10.1002/9781119214656 ، رقم ISBN 978-1-119-21468-7.
• ماكبين، إدوارد أ.؛ روفرز، فرانك (1998)، الإجراءات الإحصائية لتحليل بيانات الرصد البيئي والتقييم ، برنتيس هول.
• بورتنوي، ستيفن؛ هي، زومينج (2000)، "رحلة قوية في الألفية الجديدة"، مجلة الجمعية الإحصائية الأمريكية ، 95 (452): 1331-1335، doi :10.2307/2669782، JSTOR  2669782، MR  1825288.
• Press, William H .; Teukolsky, Saul A .; Vetterling, William T.; Flannery, Brian P. (2007), "Section 15.7. Robust Estimation", Numerical Recipes: The Art of Scientific Computing (3rd ed.), Cambridge University Press, ISBN 978-0-521-88068-8السيد 2371990 ​.
• روزن، سي؛ لينوكس، جيه إيه (أكتوبر 2001)، "المراقبة المتعددة المتغيرات ومتعددة المقاييس لعملية معالجة مياه الصرف الصحي"، أبحاث المياه ، 35 (14): 3402-3410، رمز Bibcode : 2001WatRe..35.3402R، doi : 10.1016/s0043-1354(01)00069-0، PMID  11547861.
• Rousseeuw، Peter J.؛ Croux، Christophe (1993)، "بدائل الانحراف المطلق المتوسط"، مجلة الجمعية الإحصائية الأمريكية ، 88 (424): 1273-1283، doi :10.2307/2291267، JSTOR  2291267، MR  1245360.
• Rousseeuw، Peter J .؛ Leroy، Annick M. (1987)، الانحدار القوي واكتشاف القيم المتطرفة ، سلسلة Wiley في الاحتمالات والإحصاءات الرياضية: الاحتمالات التطبيقية والإحصاءات، نيويورك: John Wiley & Sons, Inc.، doi :10.1002/0471725382، ISBN 0-471-85233-3السيد 0914792 ​أعيد نشره في غلاف ورقي، 2003.
• Rousseeuw، Peter J .؛ Hubert، Mia (2011)، "إحصائيات قوية للكشف عن القيم المتطرفة"، مراجعات Wiley متعددة التخصصات: استخراج البيانات واكتشاف المعرفة ، 1 (1): 73-79، doi :10.1002/widm.2، S2CID  17448982. طباعة مسبقة
• رستم، رابي؛ أديلوي، أديبايو جيه. (سبتمبر 2007)، "استبدال القيم المتطرفة والقيم المفقودة من بيانات الحمأة المنشطة باستخدام خريطة كوهونين ذاتية التنظيم"، مجلة الهندسة البيئية ، 133 (9): 909-916، doi :10.1061/(asce)0733-9372(2007)133:9(909).
• ستيجلر، ستيفن م. (2010)، "التاريخ المتغير للصلابة"، الإحصائي الأمريكي ، 64 (4): 277-281، doi :10.1198/tast.2010.10159، MR  2758558، S2CID  10728417.
• تينج، جو آن؛ ثيودورو، إيفانجيلوس؛ شال، ستيفان (2007)، "مرشح كالمان للكشف القوي عن القيم المتطرفة"، المؤتمر الدولي حول الروبوتات والأنظمة الذكية - IROS ، ص 1514-1519.
• فون ميزس، ر. (1947)، "حول التوزيع المقارب للوظائف الإحصائية القابلة للتفاضل"، حوليات الإحصاء الرياضي ، 18 (3): 309-348، doi : 10.1214/aoms/1177730385 ، MR  0022330.
• ويلكوكس، راند (2012)، مقدمة إلى التقدير القوي واختبار الفرضيات ، النمذجة الإحصائية وعلم القرار (الطبعة الثالثة)، أمستردام: إلسفير/أكاديميك برس، ص. 1-22، doi :10.1016/B978-0-12-386983-8.00001-9، ISBN 978-0-12-386983-8السيد 3286430 ​.
• كوه، بانج وي؛ ليانج، بيرسي (2017). فهم تنبؤات الصندوق الأسود عبر وظائف التأثير . المؤتمر الدولي حول التعلم الآلي. PMLR.
• بيرلموتر، باراك أ. (1994)، "الضرب الدقيق السريع باستخدام الهسيان"، الحوسبة العصبية ، 6 (1): 147-160، doi :10.1162/neco.1994.6.1.147، ISSN  0899-7667
• مارتنز، جيمس (2010). التعلم العميق عبر التحسين الخالي من الهسيان . المؤتمر الدولي حول التعلم الآلي. حيفا، إسرائيل: PMLR. ص 735-742. ISBN 9781605589077.
• أجراوال، نعمان؛ بولينز، برايان؛ هازان، إيلاد (2017)، "التحسين العشوائي من الدرجة الثانية للتعلم الآلي في الوقت الخطي"، مجلة أبحاث التعلم الآلي ، 18 (116): 1-40، arXiv : 1602.03943
• بن ديفيد، شاي؛ بليتزر، جون؛ كرامر، كوبي؛ كوليزا، أليكس؛ بيريرا، فرناندو؛ فوغان، جينيفر ورتمان (2010)، "نظرية التعلم من مجالات مختلفة"، التعلم الآلي ، 79 (1): 151-175، doi : 10.1007/s10994-009-5152-4 ، ISSN  1573-0565

• ملاحظات دورة الإحصاء القوية لبريان ريبلي .
• تحتوي ملاحظات دورة نيك فيلر في النمذجة الإحصائية والحساب على مواد حول الانحدار القوي.
• يحتوي موقع ديفيد أوليف على ملاحظات الدورة التدريبية حول الإحصائيات القوية وبعض مجموعات البيانات.
• التجارب عبر الإنترنت باستخدام R وJSXGraph