الإحصاءات اللامعلمية

الإحصاءات اللامعلمية هي نوع من التحليل الإحصائي يعتمد على افتراضات قليلة حول التوزيع الأساسي للبيانات المدروسة. غالبًا ما تكون هذه النماذج لا نهائية الأبعاد، على عكس الإحصاءات المعلمية التي تكون محدودة الأبعاد . ^{[ 1 ]} يمكن استخدام الإحصاءات اللامعلمية في الإحصاءات الوصفية أو الاستدلال الإحصائي . تُستخدم الاختبارات اللامعلمية عادةً عندما تكون افتراضات الاختبارات المعلمية غير محققة بشكل واضح. ^{[ 2 ]}

تم تعريف مصطلح "الإحصاءات غير البارامترية" بشكل غير دقيق بالطريقتين التاليتين، من بين طرق أخرى:

يشير المعنى الأول للمصطلح غير البارامتري إلى التقنيات التي لا تعتمد على بيانات تنتمي إلى أي عائلة بارامترية محددة من التوزيعات الاحتمالية. وتشمل هذه التقنيات، على سبيل المثال لا الحصر:

• الأساليب التي لا تعتمد على التوزيع ، والتي لا تعتمد على افتراضات أن البيانات مستمدة من عائلة بارامترية معينة من التوزيعات الاحتمالية .
• تُعرَّف الإحصاءات بأنها دالة على عينة، دون الاعتماد على معلمة .

ومن الأمثلة على ذلك إحصاءات الترتيب ، والتي تعتمد على الترتيب الترتيبي للملاحظات.

المناقشة التالية مأخوذة من كتاب كيندال "النظرية المتقدمة للإحصاء" . ^{[ 3 ]}

تتعلق الفرضيات الإحصائية بسلوك المتغيرات العشوائية القابلة للملاحظة... على سبيل المثال، الفرضية (أ) التي تنص على أن التوزيع الطبيعي له متوسط ​​وتباين محددين هي فرضية إحصائية؛ وكذلك الفرضية (ب) التي تنص على أن له متوسطًا معينًا ولكن تباينًا غير محدد؛ وكذلك الفرضية (ج) التي تنص على أن التوزيع له شكل طبيعي مع كل من المتوسط ​​والتباين غير محددين؛ وأخيرًا، كذلك الفرضية (د) التي تنص على أن توزيعين مستمرين غير محددين متطابقان.

يُلاحظ أنه في المثالين (أ) و(ب)، تم افتراض أن التوزيع الذي تستند إليه المشاهدات يتبع شكلاً معيناً (التوزيع الطبيعي)، وأن الفرضية تركز كلياً على قيمة أحد أو كلا معلَمَتيه. وتُسمى هذه الفرضية، لأسباب واضحة، بالفرضية المعلمية .

كانت الفرضية (ج) ذات طبيعة مختلفة، إذ لم تُحدد قيم المعلمات في نصها؛ ويمكننا أن نُطلق عليها اسم الفرضية غير المعلمية . أما الفرضية (د) فهي أيضاً غير معلمية، ولكنها بالإضافة إلى ذلك لا تُحدد حتى الشكل الأساسي للتوزيع، ويمكن الآن تسميتها بشكل معقول بالفرضية غير المعتمدة على التوزيع . وعلى الرغم من هذه الفروقات، فإن الأدبيات الإحصائية تُطبق الآن بشكل شائع مصطلح "غير معلمي" على إجراءات الاختبار التي وصفناها للتو بأنها "غير معتمدة على التوزيع"، مما يُفقدنا تصنيفاً مفيداً.

المعنى الثاني للمصطلح "غير البارامتري" يشمل تقنيات لا تفترض ثبات بنية النموذج. عادةً ما يتوسع حجم النموذج ليتناسب مع تعقيد البيانات. في هذه التقنيات، يُفترض عادةً أن المتغيرات الفردية تنتمي إلى توزيعات بارامترية، كما تُوضع افتراضات حول أنواع العلاقات بين المتغيرات. تشمل هذه التقنيات، على سبيل المثال لا الحصر:

• الانحدار غير البارامتري ، وهو نمذجة يتم فيها التعامل مع بنية العلاقة بين المتغيرات بشكل غير بارامتري، ولكن مع ذلك قد تكون هناك افتراضات بارامترية حول توزيع بقايا النموذج.
• النماذج البايزية الهرمية غير البارامترية ، مثل النماذج القائمة على عملية ديريشليت ، والتي تسمح لعدد المتغيرات الكامنة بالنمو حسب الضرورة لتناسب البيانات، ولكن حيث لا تزال المتغيرات الفردية تتبع التوزيعات البارامترية وحتى العملية التي تتحكم في معدل نمو المتغيرات الكامنة تتبع توزيعًا بارامتريًا.

تُستخدم الأساليب غير البارامترية على نطاق واسع لدراسة المجتمعات التي لها ترتيب تصنيفي (مثل تقييمات الأفلام التي تتراوح بين نجمة واحدة وخمس نجوم). وقد يكون استخدام هذه الأساليب ضروريًا عندما تكون البيانات مُرتبة ولكن ليس لها تفسير رقمي واضح ، كما هو الحال عند تقييم التفضيلات . ومن حيث مستويات القياس ، تُنتج الأساليب غير البارامترية بيانات ترتيبية .

نظراً لأن الأساليب غير البارامترية تعتمد على افتراضات أقل، فإن نطاق تطبيقها أوسع بكثير من نطاق تطبيق الأساليب البارامترية المقابلة. وعلى وجه الخصوص، يمكن تطبيقها في الحالات التي تكون فيها المعلومات المتوفرة عن التطبيق قيد الدراسة قليلة. كما أن الأساليب غير البارامترية، نظراً لاعتمادها على افتراضات أقل، تتميز بمتانتها .

تُعتبر الطرق غير البارامترية أحيانًا أسهل استخدامًا وأكثر موثوقية من الطرق البارامترية، حتى عندما تكون افتراضات الطرق البارامترية صحيحة. ويعود ذلك إلى طبيعتها الأكثر عمومية، مما يجعلها أقل عرضة لسوء الاستخدام وسوء الفهم. ويمكن اعتبار الطرق غير البارامترية خيارًا متحفظًا، إذ أنها فعّالة حتى في حال عدم تحقق افتراضاتها، بينما قد تُنتج الطرق البارامترية نتائج مُضللة عند انتهاك افتراضاتها.

إنّ اتساع نطاق تطبيق الاختبارات اللامعلمية وزيادة متانتها يأتيان بتكلفة: ففي الحالات التي تتحقق فيها افتراضات الاختبار المعلمي، تقلّ القوة الإحصائية للاختبارات اللامعلمية . بعبارة أخرى، قد يتطلب الأمر حجم عينة أكبر للوصول إلى استنتاجات بنفس درجة الثقة.

تختلف النماذج غير البارامترية عن النماذج البارامترية في أن بنية النموذج لا تُحدد مسبقًا، بل تُحدد بناءً على البيانات. ولا يُقصد بمصطلح "غير بارامتري" أن هذه النماذج تفتقر تمامًا إلى المعلمات، بل إن عدد المعلمات وطبيعتها مرنان وغير ثابتين مسبقًا.

• المدرج التكراري : تقدير بسيط غير معلمي لتوزيع الاحتمالات.
• تقدير كثافة النواة : طريقة لتقدير توزيع احتمالي، وغالبًا ما تعتمد على المتوسط ​​المحلي.
• التنعيم باستخدام الدوال التكعيبية : طريقة انحدار تعتمد على الدوال التكعيبية .
• تحليل تغليف البيانات : يوفر معاملات كفاءة مماثلة لتلك التي تم الحصول عليها عن طريق التحليل متعدد المتغيرات دون أي افتراض توزيعي.
• الجيران الأقرب k (kNN) : يصنف الحالة غير المرئية بناءً على النقاط k في مجموعة التدريب الأقرب إليها.
• آلة المتجهات الداعمة (مع نواة غاوسية): مصنف غير معلمي ذو هامش كبير.
• طريقة العزوم : مقدر لقيمة واحدة، مثل المتوسط ​​أو التباين لتوزيع ما.

الأساليب الإحصائية الاستدلالية غير المعلمية (أو غير المعتمدة على التوزيع ) هي إجراءات رياضية لاختبار الفرضيات الإحصائية، والتي، على عكس الإحصاءات المعلمية ، لا تفترض أي شيء عن التوزيعات الاحتمالية للمتغيرات التي يتم تقييمها. وتشمل الاختبارات الأكثر استخدامًا ما يلي:

• تحليل أوجه التشابه
• اختبار أندرسون-دارلينج : يختبر ما إذا كانت العينة مسحوبة من توزيع معين
• أساليب التمهيد الإحصائي : تقدير دقة/توزيع المعاينة للإحصائية
• اختبار مربع كاي
• اختبار كوكران Q : يختبر ما إذا كانت k معالجة في تصميمات الكتل العشوائية ذات النتائج 0/1 لها تأثيرات متطابقة
• معامل كابا لكوهين : يقيس مدى اتفاق المقيمين على العناصر الفئوية
• تحليل فريدمان ثنائي الاتجاه للتباين (القياسات المتكررة) حسب الرتب: يختبر ما إذا كانت k معالجة في تصميمات الكتل العشوائية لها تأثيرات متطابقة
• الاحتمالية التجريبية
• كابلان-ماير : تقدير دالة البقاء من بيانات العمر، مع نمذجة الرقابة
• معامل تاو لكيندال : يقيس الارتباط الإحصائي بين متغيرين
• معامل كيندال W : مقياس يتراوح بين 0 و 1 لاتفاق المقيمين.
• اختبار كولموغوروف-سميرنوف : يختبر ما إذا كانت العينة مسحوبة من توزيع معين، أو ما إذا كانت عينتان مسحوبتان من نفس التوزيع.
• تحليل التباين أحادي الاتجاه لكروسكال-واليس حسب الرتب: يختبر ما إذا كانت أكثر من  عينتين مستقلتين مسحوبتين من نفس التوزيع.
• اختبار كويبر : يختبر ما إذا كانت العينة مسحوبة من توزيع معين، وهو حساس للتغيرات الدورية مثل يوم الأسبوع.
• اختبار لوغرانك : يقارن توزيعات البقاء لعينتين منحرفتين نحو اليمين وخاضعتين للرقابة.
• اختبار مان-ويتني يو أو اختبار ويلكوكسون لجمع الرتب: يختبر ما إذا كانت عينتان مسحوبتان من نفس التوزيع، مقارنةً بفرضية بديلة معينة.
• اختبار ماكنيمار : يختبر ما إذا كانت الترددات الهامشية للصف والعمود متساوية في جداول التوافق 2 × 2 مع سمة ثنائية وأزواج متطابقة من الأفراد.
• اختبار الوسيط : يختبر ما إذا كانت عينتان مسحوبتان من توزيعات ذات وسائط متساوية.
• اختبار بيتمان للتبديل : اختبار دلالة إحصائية ينتج عنه قيم p دقيقة من خلال فحص جميع عمليات إعادة ترتيب التسميات الممكنة.
• تصنيف المنتجات : يكشف عن الجينات ذات التعبير التفاضلي في تجارب المصفوفات الدقيقة المتكررة.
• اختبار سيجل-توكي : يختبر الفروق في المقياس بين مجموعتين.
• اختبار الإشارة : يختبر ما إذا كانت عينات الأزواج المتطابقة مسحوبة من توزيعات ذات وسائط متساوية.
• معامل ارتباط رتبة سبيرمان : يقيس التبعية الإحصائية بين متغيرين باستخدام دالة رتيبة.
• اختبار الرتب المربعة : يختبر تساوي التباينات في عينتين أو أكثر.
• اختبار توكي-داكوورث : يختبر تساوي توزيعين باستخدام الرتب.
• اختبار تشغيل والد-وولفويتز : يختبر ما إذا كانت عناصر التسلسل مستقلة/عشوائية بشكل متبادل.
• اختبار ويلكوكسون للرتب الموقعة : يختبر ما إذا كانت عينات الأزواج المتطابقة مأخوذة من مجتمعات ذات رتب متوسطة مختلفة.
• تحديد التوافق الخطي الشامل: طريقة مستقلة عن البيانات والقيم الشاذة ونموذج توزيع الضوضاء وخالية من معالجة البيانات المفقودة أو المحذوفة. ^{[ 4 ]}

في الإحصاء الرياضي ، تُعتبر النماذج غير المعلمية نماذج لا تعتمد على افتراض معلمي لتوزيع البيانات المجهولة (في مسائل تقدير الكثافة ) أو لدالة الانحدار (في مسائل الانحدار ). بينما يتمثل هدف أي نموذج معلمي في تقدير عدد محدود من المعلمات.${\displaystyle \theta _{1},\dots ,\theta _{p}\in \mathbb {R} }$تهدف النماذج غير البارامترية إلى تقدير دالة توزيع/انحدار البيانات بشكل مباشر. ^{[ 5 ] [ 6 ]}

أما بالنسبة للتحليل الرياضي، فإن الأساليب البارامترية وغير البارامترية تندرج ضمن نفس الإطار: بافتراض أن الدالة المراد تقديرها (توزيع البيانات أو دالة الانحدار) تنتمي إلى مجموعة من الدوال التي تم تحديدها بواسطة مجموعة${\displaystyle \Theta }$يبحث المرء عن دالة (قابلة للقياس)${\displaystyle T_{n}:{\mathcal {X}}^{n}\to \Theta }$التي تُقدّر المعلمة "الحقيقية" بناءً على نقاط البيانات${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$الفرق الرئيسي بين الأساليب البارامترية وغير البارامترية هو أن الأول${\displaystyle \Theta \subset \mathbb {R} ^{d}}$بالنسبة للبعض${\displaystyle d\in \mathbb {N} }$بينما في الأخير${\displaystyle \Theta }$عادة ما تكون مجموعة الدوال المستهدفة الممكنة نفسها، على سبيل المثال، مجموعة الدوال المتصلة أو الدوال القابلة للتفاضل .

تتعلق الأسئلة ذات الصلة في هذا المجال ببناء مقدرات معقولة، والاتساق ، ومعدلات التقارب وأمثليتها، والتقدير التكيفي. ^{[ 7 ]}

معدلات التقارب المثلى لـ Minimax

يُعدّ معدل تقارب المقدرات غير المعلمية نحو دالة الهدف الحقيقية موضوعًا محوريًا في التحليل الإحصائي لها.${\displaystyle f}$وما إذا كانت السرعة مثالية، أي ما إذا كان التقارب بأسرع ما يمكن. الطريقة الأكثر شيوعًا لقياس سرعة تقارب المُقدِّر هي معدل التقارب الأدنى الأقصى ، الذي يأخذ في الاعتبار الخسارة المتوقعة للمُقدِّر في أسوأ سيناريو. في ظل افتراضات معينة حول سلاسة${\displaystyle f}$، يمكن للمرء أن يثبت أن هناك معدلات تقارب دنيا لا يمكن لأي مقدر أن يتجاوزها، وبالتالي فإن أي مقدر يحقق هذا المعدل الأدنى يسمى الأمثل.

رياضياً، الدالة المستهدفة${\displaystyle f}$يُفترض أن تنتمي إلى فئة معينة من الدوال${\displaystyle {\mathcal {H}}}$، والتي تسمى فئة الفرضية ، والتي تؤدي إلى توزيع${\displaystyle \mathbb {P} _{f}}$على${\displaystyle {\mathcal {X}}}$وجودة تقريب المُقدِّر${\displaystyle {\hat {f_{n}}}:{\mathcal {X}}^{n}\to {\mathcal {H}}}$يتم قياسه بواسطة دالة ما${\displaystyle L:{\mathcal {H}}\times {\mathcal {H}}\to [0,\infty )}$معدل تقارب المينيماكس لـ${\displaystyle {\hat {f_{n}}}}$هو تسلسل${\displaystyle (\psi _{n})_{n\in \mathbb {N} }}$من الأعداد الحقيقية التي تنطبق عليها هذه الخاصية$$\begin{aligned}\limsup _{n\to \infty }{\frac {1}{\psi _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {f_{n}}}(X_{1},\dots ,X_{n}){\big )}{\big ]}&<\infty ,\\\liminf _{n\to \infty }{\frac {1}{\psi _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {f_{n}}}(X_{1},\dots ,X_{n}){\big )}{\big ]}&>0,\end{aligned}}}$$أين${\displaystyle \mathbb {E} _{f}[\cdot ]}$يشير ذلك إلى أن المتغيرات العشوائية${\displaystyle X_{1},\dots ,X_{n}}$، والتي ترسم نقاط البيانات، لها توزيع${\displaystyle \mathbb {P} _{f}}$.

حد أدنى عالمي للتقدير لفئة الفرضيات${\displaystyle {\mathcal {H}}}$هو تسلسل${\displaystyle (\psi _{n})_{n\in \mathbb {N} }}$والتي تحملها$${\displaystyle {\begin{aligned}\limsup _{n\to \infty }{\frac {1}{\psi _{n}}}\inf _{\hat {\rho _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {\rho }}_{n}(X_{1},\dots ,X_{n}){\big )}{\big ]}&<\infty ,\\\liminf _{n\to \infty }{\frac {1}{\psi _{n}}}\inf _{\hat {\rho _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {\rho }}_{n}(X_{1},\dots ,X_{n}){\big )}{\big ]}&>0,\end{aligned}}}$$حيث يتم أخذ القيم الدنيا على جميع المقدرات الممكنة${\displaystyle {\hat {\rho }}_{n}}$(أي الدوال القابلة للقياس ) بناءً على${\displaystyle n}$ملاحظات.

ثم ينقسم التحليل المفصل للمقدرات غير البارامترية إلى تقدير كثافات الاحتمال ووظائف الانحدار.

تقدير الكثافة

تتضمن عملية تقدير الكثافة عادةً فضاءً معياريًا من الدوال${\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )}$، مجموعة فرعية من دوال الكثافة${\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:f\geq 0,\int _{\mathcal {X}}f(x)dx=1,\lVert f\rVert \leq 1\}}$والمتغيرات العشوائية المستقلة${\displaystyle X_{1},\dots ,X_{n}\in {\mathcal {X}}\subset \mathbb {R} ^{d}}$موزعة وفقًا للمقياس ذي الكثافة${\displaystyle f\in {\mathcal {H}}}$، والتي تُنتج البيانات.

تُعرف الحدود الدنيا لـ Minimax لأزواج مختلفة من فئات الدوال${\displaystyle {\mathcal {F}}}$ومقاييس المقارنة${\displaystyle L}$الخيارات الشائعة لـ${\displaystyle {\mathcal {F}}}$نكون:

• ${\displaystyle {\mathcal {F}}=C^{\alpha }({\mathcal {X}}),\alpha >0}$مساحة${\displaystyle \lfloor \alpha \rfloor }$الدوال القابلة للتفاضل مرات عديدة والتي يكون أعلى مشتق لها هو${\displaystyle (\alpha -\lfloor \alpha \rfloor )}$- هولدر - ناعم.
• ${\displaystyle {\mathcal {F}}=H^{s}({\mathcal {X}})=W^{s,2}({\mathcal {X}}),s>0}$: فضاء الدوال السلسة من نوع سوبوليف ذات المشتقات الضعيفة القابلة للتكامل التربيعي .
• ${\displaystyle {\mathcal {F}}=B_{p,q}^{s}({\mathcal {X}}),s>0,p,q\in (0,\infty ]}$: فضاء الدوال السلسة من نوع بيسوف .

في الواقع، تُعد فضاءات هولدر وفضاءات سوبوليف حالات خاصة من بعض فضاءات بيسوف، وهي:${\displaystyle C^{\alpha }({\mathcal {X}})=B_{\infty ,\infty }^{\alpha }({\mathcal {X}})}$ل${\displaystyle \alpha \notin \mathbb {Z} }$و${\displaystyle H^{s}({\mathcal {X}})=B_{2,2}^{s}({\mathcal {X}})}$^{[ 10 ]} وبالتالي ، غالبًا ما يكفي اشتقاق الحدود الدنيا في ظل افتراضات بيسوف-السلاسة.

الخيارات الشائعة لـ${\displaystyle L}$نكون:

• ${\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in {\mathcal {X}}}$: الخطأ التربيعي النقطي (MSE).
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{2}({\mathcal {X}})}^{2}}$: متوسط ​​الخطأ التربيعي المتكامل (MISE).
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }({\mathcal {X}})}}$: المسافة المعيارية العليا .
• ${\displaystyle L(f,g)=\mathrm {KL} (\mathbb {P} _{f}\lVert \mathbb {P} _{g})}$: تباعد كولباك-لايبير للتوزيعات الناتج عن${\displaystyle f}$و${\displaystyle g}$.
• ${\displaystyle L(f,g)=\mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}$: إجمالي مسافة التباين للتوزيعات الناتجة عن${\displaystyle f}$و${\displaystyle g}$.
• ${\displaystyle L(f,g)=W_{\beta }(\mathbb {P} _{f},\mathbb {P} _{g}),\beta \geq 1}$TheWasserstein-​${\displaystyle \beta }$مسافة التوزيعات الناتجة عن${\displaystyle f}$و${\displaystyle g}$.

بحسب نظرية شيفيه، فإن مسافة التباين الكلية${\displaystyle \mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}$يعادل${\displaystyle L^{1}}$-مسافة${\displaystyle f}$و${\displaystyle g}$.

فئة النعومة	${\displaystyle \lVert f-g\rVert _{L^{2}({\mathcal {X}})}^{2}}$	${\displaystyle W_{\beta }(\mathbb {P} _{f},\mathbb {P} _{g})}$	${\displaystyle \mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}$	${\displaystyle \mathrm {KL} (\mathbb {P} _{f}\lVert \mathbb {P} _{g})}$
${\displaystyle B_{p,q}^{s}({\mathcal {X}})}$	${\displaystyle n^{-{\frac {2s}{2s+d}}}}$[ 11 ]${\displaystyle (p,q\geq 1,\,s>d/q)}$	${\displaystyle n^{-{\frac {s+1}{2s+d}}}}$[ 12 ]	${\displaystyle n^{-{\frac {s}{2s+d}}}}$[ 11 ]	${\displaystyle n^{-{\frac {2s}{2s+d}}}}$
${\displaystyle L^{2}(\mathbb {R} )\cap C^{\infty }(\mathbb {R} )}$	${\displaystyle n^{-1}}$[ 13 ]	-	-	-

يُقارن الحد الأدنى لمتوسط ​​مربع الخطأ (MISE) أحيانًا بحد كرامر-راو من الإحصاءات البارامترية، وهو حد أدنى لمتوسط ​​مربع الخطأ للمُقدِّرات غير المتحيزة المنتظمة لمعلمة ما.${\displaystyle \theta }$:$${\displaystyle {\begin{aligned}\sup _{\theta \in \Theta }\mathbb {E} &[\lVert \theta -{\hat {\theta }}_{n}\rVert ^{2}]\geq n^{-1}\underbrace {\sup _{\theta \in \Theta }\mathrm {tr} (I(\theta )^{-1})} _{=const.},\\\sup _{f\in B_{p,q}^{s}({\mathcal {X}})}\mathbb {E} &[\lVert f-{\hat {f_{n}}}\rVert _{L^{2}({\mathcal {X}})}^{2}]\geq cn^{-2s/(2s+d)},\end{aligned}}}$$أين${\displaystyle I(\theta )}$هي معلومات فيشر للنموذج البارامتري و${\displaystyle c>0}$هو ثابت ما. وبالتالي، فإن المعدل غير البارامتري أبطأ من المعدل البارامتري.${\displaystyle n^{-1}}$، خاصة في الأبعاد الكبيرة، ويقترب من المعدل البارامتري عندما تميل نعومة الكثافة إلى اللانهاية.

على سبيل المثال، تحقق مُقدِّرات كثافة النواة الحد الأدنى فيما يتعلق بمتوسط ​​الخطأ التربيعي المتكامل (MISE) في ظل فئة فرضية سوبوليف عند اختيار عرض نطاق مناسب، وبالتالي فهي مثالية من حيث المينيماكس. ^{[ 14 ]} ومؤخرًا، ثبت أيضًا أن النماذج التوليدية القائمة على الدرجات تحقق معدلات تقارب من المينيماكس في التباين الكلي وفي مسافة واسرشتين-1 لـ${\displaystyle B_{p,q}^{s}([0,1]^{d})}$التوزيعات السلسة،${\displaystyle s>(1/p-1/2)_{+}}$، والتي تكون محدودة بعيدًا عن الصفر من الأسفل. ^{[ 15 ]}

الانحدار

في سياق الانحدار ، تظهر البيانات في أزواج.${\displaystyle (X_{1},Y_{1}),\dots ,(X_{n},Y_{n})}$بافتراض أن البيانات مستقلة وموزعة توزيعًا متطابقًا، و${\displaystyle \mathbb {E} [|Y_{1}|]<\infty }$يمكن للمرء دائماً أن يكتب$${\displaystyle Y_{i}=f(X_{i})+\varepsilon _{i},}$$مع${\displaystyle f(x)=\mathbb {E} [Y_{1}\mid X_{1}=x]}$حيث تمثل دالة الانحدار المراد تقديرها ومتغير الضوضاء${\displaystyle \varepsilon _{i}}$مُرضٍ${\displaystyle \mathbb {E} [\varepsilon _{i}]=0}$و${\displaystyle \mathbb {E} [\varepsilon ^{2}]=\sigma ^{2}>0}$عادةً، المتغيرات المستقلة${\displaystyle X_{i}}$يُفترض أن لها قيمًا في مكعب الوحدة${\displaystyle [0,1]^{d}}$وأن تكون إما نقاطًا محددة على شبكة (تصميم محدد) أو موزعة بشكل منتظم (تصميم عشوائي). وبالتالي،${\displaystyle {\mathcal {X}}=[0,1]^{d}\times \mathbb {R} }$.

ينطبق الإعداد المذكور أعلاه على التصنيف الثنائي أيضًا. في هذه الحالة، تأخذ الملاحظات قيمتين فقط، ولتكن 0 و1، بحيث${\displaystyle f(x)=\mathbb {E} [\mathbb {1} _{\{Y_{1}=1\}}\mid X=x]=\mathbb {P} (Y_{1}=1\mid X=x)}$وبافتراض وجود مُقدِّر${\displaystyle {\hat {f_{n}}}}$ل${\displaystyle f}$، يُفترض أن تكون المصنفات على الشكل التالي${\displaystyle C(x)=\mathbb {1} _{[1/2,1]}({\hat {f_{n}}}(x))}$أي أنهم يصنفون النقطة على أنها 1 إذا كانت الاحتمالية المقدرة لـ${\displaystyle Y=1}$أكبر من${\displaystyle 1/2}$(و 0 فيما عدا ذلك). في الواقع، العديد من طرق التصنيف تأتي على هذا الشكل، على سبيل المثال الانحدار اللوجستي ، وتحليل التمييز الخطي ، وتحليل التمييز التربيعي ، وخوارزمية أقرب الجيران k ، وآلات المتجهات الداعمة .

ثم، بالنسبة للتحليل الإحصائي، تكون فئة الفرضية على الشكل التالي:${\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:\lVert f\rVert \leq 1\}}$لبعض الفضاء المعياري للدوال${\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )}$والتوقعات${\displaystyle \mathbb {E} _{f}}$يتم أخذها فيما يتعلق بالتوزيع المشترك لـ${\displaystyle X}$و${\displaystyle Y}$(أو فقط)${\displaystyle Y}$إذا${\displaystyle X_{i}}$حتمية).

في الانحدار غير البارامتري ، تتطلب فئة الفرضيات بالضرورة بعض الافتراضات القوية حول دالة الانحدار، وإلا فقد يكون الحد الأدنى الأدنى للتحسين بطيئًا بشكل تعسفي. على سبيل المثال، إذا${\displaystyle {\mathcal {F}}=L^{\infty }([0,1])}$أي مجموعة الدوال المحدودة ، إذن لأي مقدر${\displaystyle {\hat {f_{n}}}}$وأي تسلسل صفري${\displaystyle (\psi _{n})_{n\in \mathbb {N} }}$، يوجد${\displaystyle f\in {\mathcal {H}}}$بحيث ^{[ 16 ]}

$${\displaystyle \limsup _{n\to \infty }{\frac {\mathbb {E} [\lVert f-{\hat {f_{n}}}\rVert _{L^{2}([0,1])}^{2}]}{\psi _{n}}}\geq 1.}$$

وبالتالي، فإن الخيارات الشائعة لـ${\displaystyle {\mathcal {F}}}$نكون:

• ${\displaystyle {\mathcal {F}}=C^{\alpha }([0,1]^{d}),\alpha >0}$مساحة${\displaystyle \lfloor \alpha \rfloor }$الدوال القابلة للتفاضل مرات عديدة والتي يكون أعلى مشتق لها هو${\displaystyle (\alpha -\lfloor \alpha \rfloor )}$- هولدر - ناعم.
• ${\displaystyle {\mathcal {F}}=W^{k,q}([0,1]^{d}),k\in \mathbb {N} ,q>d}$فضاء الدوال الملساء من نوع سوبوليف مع${\displaystyle L^{q}}$المشتقات الضعيفة القابلة للتكامل .

الخيارات الشائعة لـ${\displaystyle L}$نكون:

• ${\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in [0,1]^{d}}$: الخطأ التربيعي النقطي (MSE).
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{p}([0,1]^{d})},p\in [1,\infty )}$: ال${\displaystyle p}$المعيار -th.
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }([0,1]^{d})}}$: المسافة المعيارية العليا .

في ظل افتراضات فنية معينة، تُعرف الحدود الدنيا التالية.

فئة النعومة	${\displaystyle (f(x_{0})-g(x_{0}))^{2}}$	${\displaystyle L^{p}([0,1]^{d})}$	${\displaystyle L^{\infty }([0,1]^{d})}$
${\displaystyle C^{\alpha }([0,1]^{d})}$	${\displaystyle n^{-{\frac {2\alpha }{2\alpha +d}}}}$[ 17 ] (تصميم محدد)	${\displaystyle n^{-{\frac {\alpha }{2\alpha +d}}}}$[ 18 ] [ 19 ]	${\displaystyle (\log n/n)^{\frac {\alpha }{2\alpha +d}}}$[ 20 ] [ 19 ]
${\displaystyle W^{k,q}([0,1]^{d})}$	-	${\displaystyle n^{-{\frac {k}{2k+d}}}}$[ 19 ]${\displaystyle ({\sqrt {n}}/\sigma \geq 1)}$	${\displaystyle n^{-{\frac {k}{2k+d}}}}$[ 19 ]${\displaystyle ({\sqrt {n}}/\sigma \geq 1)}$

بعض مقدرات كثيرات الحدود المحلية هي الأمثلية الدنيا القصوى فيما يتعلق بمتوسط ​​مربع الخطأ،${\displaystyle L^{2}}$و${\displaystyle L^{\infty }}$تحت${\displaystyle {\mathcal {H}}=C^{\alpha }([0,1]^{d})}$لأي${\displaystyle \alpha >0}$عندما يكون عرض النطاق الترددي من رتبة${\displaystyle {\mathcal {O}}(n^{-{\frac {1}{2\alpha +d}}})}$[ ^{21 ] تُعتبر خوارزمية} أقرب الجيران (kNNs) أيضًا مثالية من حيث الحد الأدنى الأقصى لمتوسط ​​مربع الخطأ (MSE) في ظل${\displaystyle {\mathcal {H}}=C^{2}([0,1]^{d})}$و فيما يتعلق${\displaystyle L^{2}}$تحت${\displaystyle {\mathcal {H}}=C^{1}([0,1]^{d})}$عندما يكون عدد الجيران المعتبرين من رتبة${\displaystyle {\mathcal {O}}(n^{\frac {1}{d+4}})}$و${\displaystyle {\mathcal {O}}(n^{\frac {1}{d+2}})}$على التوالي. ^{[ 22 ]}

تشمل الإحصاءات اللامعلمية المبكرة الوسيط (القرن الثالث عشر أو ما قبله، استُخدم في التقدير بواسطة إدوارد رايت ، 1599؛ انظر الوسيط §  التاريخ ) واختبار الإشارة لجون أربوثنوت (1710) في تحليل نسبة الجنس عند الولادة (انظر اختبار الإشارة §  التاريخ ). ^{[ 25 ] [ 26 ]}

• الانحدار غير البارامتري
• الإحصاءات البارامترية
• إعادة التوزيع (الإحصاءات)
• نموذج شبه بارامتري
• فاصل الثقة غير البارامتري القائم على دالة التوزيع التراكمي

• باجدونافيسيوس، ف.، كروبيس، ج.، نيكولين، م.س. (2011). "الاختبارات غير البارامترية للبيانات الكاملة"، ISTE وWILEY: لندن وهوبوكين. ISBN 978-1-84821-269-5.
• كوردر، جي دبليو؛ فورمان، دي آي (2014). الإحصاءات اللامعلمية: منهج خطوة بخطوة . وايلي. ISBN 978-1-118-84031-3.
• جيبونز، جين ديكنسون ؛ تشاكرابورتي، سوبابراتا (2003). الاستدلال الإحصائي غير البارامتري ، الطبعة الرابعة. مطبعة سي آر سي. رقم ISBN 0-8247-4052-1.
• جيورفي، لازلو؛ كوهلر، مايكل. كرزيزاك، آدم؛ المشي هارو (2002). نظرية خالية من التوزيع للانحدار اللامعلمي . سبرينغر. رقم ISBN 0-387-95441-4.
• هيتمانسبيرجر، تي بي؛ ماكين، جيه دبليو (1998). الأساليب الإحصائية غير البارامترية القوية . مكتبة كيندال للإحصاء. المجلد  5. لندن: إدوارد أرنولد . ISBN 0-340-54937-8MR 1604954 .​ رقم ISBN أيضًا 0-471-19479-4.
• هولاندر م.، وولف د.أ.، تشيكن إ. (2014). الأساليب الإحصائية غير البارامترية ، جون وايلي وأولاده.
• شيسكين، ديفيد ج. (2003) دليل الإجراءات الإحصائية البارامترية وغير البارامترية . مطبعة سي آر سي. رقم ISBN 1-58488-440-1
• تسيباكوف، ألكسندر ب. (2009). مقدمة في التقدير غير البارامتري . سبرينغر. ISBN 978-0-387-79051-0.
• واسرمان، لاري (2007). جميع الإحصاءات اللامعلمية ، سبرينغر. ISBN 0-387-25145-6.