متوسط ​​مربع الخطأ

إذا كان متجهًا من${\displaystyle n}$يتم توليد التوقعات من عينة من${\displaystyle n}$نقاط البيانات المتعلقة بجميع المتغيرات، و${\displaystyle Y}$يمثل متجه القيم المرصودة للمتغير المراد التنبؤ به، مع${\displaystyle {\hat {Y}}}$إذا كانت القيم المتوقعة (مثل تلك الناتجة عن مطابقة المربعات الصغرى )، فإن متوسط ​​مربع الخطأ داخل العينة للمتنبئ يُحسب على النحو التالي:

$${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

بمعنى آخر، متوسط ​​مربع الخطأ هو المتوسط ​​الحسابي${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$من مربعات الأخطاء${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$هذه كمية يسهل حسابها لعينة معينة (وبالتالي فهي تعتمد على العينة).

في تدوين المصفوفات ، $${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$$ أين${\displaystyle e_{i}}$يكون${\displaystyle Y_{i}-{\hat {Y_{i}}}}$و${\displaystyle \mathbf {e} }$هو${\displaystyle n\times 1}$متجه عمودي.

يمكن أيضًا حساب متوسط ​​مربع الخطأ (MSE) على نقاط بيانات q لم تُستخدم في تقدير النموذج، إما لأنها حُفظت لهذا الغرض، أو لأنها بيانات جديدة. ضمن هذه العملية، المعروفة بالتحقق المتبادل ، يُطلق على متوسط ​​مربع الخطأ غالبًا اسم متوسط ​​مربع خطأ الاختبار ، ^{[ 4 ]} ويُحسب على النحو التالي:

$${\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

متوسط ​​مربع الخطأ للمُقدِّر${\displaystyle {\hat {\theta }}}$فيما يتعلق بمعامل غير معروف${\displaystyle \theta }$يُعرَّف على أنه ^{[ 1 ]}

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$$

يعتمد هذا التعريف على المعلمة المجهولة، ولذلك فإن متوسط ​​مربع الخطأ (MSE) هو خاصية مسبقة للمُقدِّر. قد يكون متوسط ​​مربع الخطأ دالةً للمعلمات المجهولة، وفي هذه الحالة، فإن أي مُقدِّر لمتوسط ​​مربع الخطأ يعتمد على تقديرات هذه المعلمات سيكون دالةً للبيانات (وبالتالي متغيرًا عشوائيًا). إذا كان المُقدِّر${\displaystyle {\hat {\theta }}}$يتم اشتقاقها كإحصائية عينة وتستخدم لتقدير بعض معلمات المجتمع، ثم يكون التوقع بالنسبة لتوزيع المعاينة لإحصائية العينة.

يمكن كتابة متوسط ​​مربع الخطأ (MSE) على أنه مجموع تباين المُقدِّر ومربع انحياز المُقدِّر، مما يوفر طريقة مفيدة لحساب متوسط ​​مربع الخطأ ويشير إلى أنه في حالة المُقدِّرات غير المتحيزة، يكون متوسط ​​مربع الخطأ والتباين متكافئين. ^{[ 5 ]}

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$$

لنفترض أن لدينا عينة عشوائية بحجم${\displaystyle n}$من السكان،${\displaystyle X_{1},\dots ,X_{n}}$لنفترض أن وحدات العينة قد تم اختيارها مع الإحلال . أي أن${\displaystyle n}$يتم اختيار الوحدات واحدة تلو الأخرى، وتبقى الوحدات التي تم اختيارها مسبقًا مؤهلة للاختيار للجميع.${\displaystyle n}$السحوبات. المقدر المعتاد لمتوسط ​​المجتمع${\displaystyle \mu }$هو متوسط ​​العينة

$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$$

والتي لها قيمة متوقعة تساوي المتوسط ​​الحقيقي${\displaystyle \mu }$(لذا فهو غير متحيز) ومتوسط ​​خطأ تربيعي قدره

$${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$$

أين${\displaystyle \sigma ^{2}}$هو تباين السكان .

بالنسبة للتوزيع الغاوسي، يُعد هذا أفضل مُقدِّر غير متحيز لمتوسط ​​المجتمع، أي المُقدِّر ذو أقل متوسط ​​مربع خطأ (وبالتالي أقل تباين) بين جميع المُقدِّرات غير المتحيزة. يمكن التحقق من أن متوسط ​​مربع الخطأ المذكور أعلاه يساوي معكوس معلومات فيشر (انظر حد كرامر-راو ). لكن متوسط ​​العينة نفسه ليس أفضل مُقدِّر لمتوسط ​​المجتمع، على سبيل المثال، بالنسبة للتوزيع المنتظم .

المقدر المعتاد للتباين هو تباين العينة المصحح :

$${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$$

هذا غير متحيز (قيمته المتوقعة هي${\displaystyle \sigma ^{2}}$)، ومن ثم يطلق عليه أيضًا تباين العينة غير المتحيز، و MSE الخاص به هو ^{[ 8 ]}

$${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$$

أين${\displaystyle \mu _{4}}$وهي اللحظة المركزية الرابعة للتوزيع أو السكان، و${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$هو التفرطح الزائد .

ومع ذلك، يمكن استخدام مقدرات أخرى لـ${\displaystyle \sigma ^{2}}$والتي تتناسب مع${\displaystyle S_{n-1}^{2}}$ويمكن للاختيار المناسب دائمًا أن يؤدي إلى انخفاض متوسط ​​مربع الخطأ. إذا عرّفنا

$${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$$

ثم نقوم بالحساب:

$${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$$

يتم تقليل ذلك إلى الحد الأدنى عندما

$${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$$

بالنسبة للتوزيع الغاوسي ، حيث${\displaystyle \gamma _{2}=0}$وهذا يعني أن متوسط ​​مربع الخطأ (MSE) يكون في أدنى قيمة له عند قسمة المجموع على${\displaystyle a=n+1}$الحد الأدنى لفرط التفرطح هو${\displaystyle \gamma _{2}=-2}$، ^{[ أ ]} والذي يتم تحقيقه بواسطة توزيع برنولي مع p  =  1/2 (رمي عملة معدنية)، ويتم تقليل متوسط ​​مربع الخطأ لـ${\displaystyle a=n-1+{\tfrac {2}{n}}.}$وبالتالي، بغض النظر عن التفرطح، نحصل على تقدير "أفضل" (بمعنى انخفاض متوسط ​​مربع الخطأ) عن طريق تقليل حجم المقدر غير المتحيز قليلاً؛ هذا مثال بسيط على مقدر الانكماش : حيث يتم "تقليص" المقدر نحو الصفر (تقليل حجم المقدر غير المتحيز).

علاوة على ذلك، في حين أن تباين العينة المصحح هو أفضل مقدر غير متحيز (أقل متوسط ​​مربع خطأ بين المقدرات غير المتحيزة) للتباين في التوزيعات الغاوسية، فإذا لم يكن التوزيع غاوسيًا، فقد لا يكون أفضل مقدر غير متحيز للتباين هو نفسه بين المقدرات غير المتحيزة.${\displaystyle S_{n-1}^{2}.}$

يُقدّم الجدول التالي عدة تقديرات للمعلمات الحقيقية للمجتمع، μ و σ ² ، في حالة التوزيع الغاوسي. ^{[ 9 ]}

القيمة الحقيقية	المُقدِّر	متوسط ​​مربع الخطأ
${\displaystyle \theta =\mu }$	${\displaystyle {\hat {\theta }}}$= المُقدِّر غير المتحيز لمتوسط ​​المجتمع ،${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})}$	${\displaystyle \operatorname {MSE} ({\overline {X}})=\operatorname {E} [({\overline {X}}-\mu )^{2}]={\frac {\sigma ^{2}}{n}}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر غير المتحيز لتباين المجتمع ،${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} [(S_{n-1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n-1}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر المتحيز لتباين المجتمع ،${\displaystyle S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n}^{2})=\operatorname {E} [(S_{n}^{2}-\sigma ^{2})^{2}]={\frac {2n-1}{n^{2}}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر المتحيز لتباين المجتمع ،${\displaystyle S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ([S_{n+1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n+1}}\sigma ^{4}}$

انتقد جيمس بيرغر، عالم نظرية القرار ، استخدام متوسط ​​مربع الخطأ دون تمحيص . متوسط ​​مربع الخطأ هو معكوس القيمة المتوقعة لدالة منفعة محددة ، وهي دالة المنفعة التربيعية، والتي قد لا تكون دالة المنفعة المناسبة في ظل ظروف معينة. مع ذلك، توجد بعض الحالات التي يمكن فيها لمتوسط ​​مربع الخطأ أن يكون تقريبًا جيدًا لدالة الخسارة التي تظهر بشكل طبيعي في التطبيق. ^{[ 10 ]}

على غرار التباين ، يعاني متوسط ​​مربع الخطأ من عيب يتمثل في إعطاء وزن كبير للقيم المتطرفة . ^{[ 11 ]} ويعود ذلك إلى تربيع كل حد، مما يُعطي وزنًا أكبر للأخطاء الكبيرة مقارنةً بالأخطاء الصغيرة. هذه الخاصية، غير المرغوب فيها في العديد من التطبيقات، دفعت الباحثين إلى استخدام بدائل مثل متوسط ​​الخطأ المطلق ، أو تلك القائمة على الوسيط .