Mean squared error

If a vector of ${\displaystyle n}$ predictions is generated from a sample of ${\displaystyle n}$ data points on all variables, and ${\displaystyle Y}$ is the vector of observed values of the variable being predicted, with ${\displaystyle {\hat {Y}}}$ being the predicted values (e.g. as from a least-squares fit), then the within-sample MSE of the predictor is computed as

$${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

In other words, the MSE is the mean${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$ of the squares of the errors${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$. This is an easily computable quantity for a particular sample (and hence is sample-dependent).

In matrix notation, $${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$$ where ${\displaystyle e_{i}}$ is ${\displaystyle Y_{i}-{\hat {Y_{i}}}}$ and ${\displaystyle \mathbf {e} }$ is a ${\displaystyle n\times 1}$ column vector.

The MSE can also be computed on q data points that were not used in estimating the model, either because they were held back for this purpose, or because these data have been newly obtained. Within this process, known as cross-validation, the MSE is often called the test MSE,^[4] and is computed as

$${\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

The MSE of an estimator ${\displaystyle {\hat {\theta }}}$ with respect to an unknown parameter ${\displaystyle \theta }$ is defined as^[1]

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$$

This definition depends on the unknown parameter, therefore the MSE is a priori property of an estimator. The MSE could be a function of unknown parameters, in which case any estimator of the MSE based on estimates of these parameters would be a function of the data (and thus a random variable). If the estimator ${\displaystyle {\hat {\theta }}}$ is derived as a sample statistic and is used to estimate some population parameter, then the expectation is with respect to the sampling distribution of the sample statistic.

The MSE can be written as the sum of the variance of the estimator and the squared bias of the estimator, providing a useful way to calculate the MSE and implying that in the case of unbiased estimators, the MSE and variance are equivalent.^[5]

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$$

لنفترض أن لدينا عينة عشوائية بحجم${\displaystyle n}$من السكان،${\displaystyle X_{1},\dots ,X_{n}}$لنفترض أن وحدات العينة قد تم اختيارها مع الإحلال . أي أن${\displaystyle n}$يتم اختيار الوحدات واحدة تلو الأخرى، وتبقى الوحدات التي تم اختيارها مسبقًا مؤهلة للاختيار للجميع.${\displaystyle n}$السحوبات. المقدر المعتاد لمتوسط ​​المجتمع${\displaystyle \mu }$هو متوسط ​​العينة

$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$$

والتي لها قيمة متوقعة تساوي المتوسط ​​الحقيقي${\displaystyle \mu }$(لذا فهو غير متحيز) ومتوسط ​​خطأ تربيعي قدره

$${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$$

أين${\displaystyle \sigma ^{2}}$هو تباين السكان .

بالنسبة للتوزيع الغاوسي، يُعد هذا أفضل مُقدِّر غير متحيز لمتوسط ​​المجتمع، أي المُقدِّر ذو أقل متوسط ​​مربع خطأ (وبالتالي أقل تباين) بين جميع المُقدِّرات غير المتحيزة. يمكن التحقق من أن متوسط ​​مربع الخطأ المذكور أعلاه يساوي معكوس معلومات فيشر (انظر حد كرامر-راو ). لكن متوسط ​​العينة نفسه ليس أفضل مُقدِّر لمتوسط ​​المجتمع، على سبيل المثال، بالنسبة للتوزيع المنتظم .

المقدر المعتاد للتباين هو تباين العينة المصحح :

$${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$$

هذا غير متحيز (قيمته المتوقعة هي${\displaystyle \sigma ^{2}}$)، ومن ثم يطلق عليه أيضًا تباين العينة غير المتحيز، و MSE الخاص به هو ^{[ 8 ]}

$${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$$

أين${\displaystyle \mu _{4}}$وهي اللحظة المركزية الرابعة للتوزيع أو السكان، و${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$هو التفرطح الزائد .

ومع ذلك، يمكن استخدام مقدرات أخرى لـ${\displaystyle \sigma ^{2}}$والتي تتناسب مع${\displaystyle S_{n-1}^{2}}$ويمكن للاختيار المناسب دائمًا أن يؤدي إلى انخفاض متوسط ​​مربع الخطأ. إذا عرّفنا

$${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$$

ثم نقوم بالحساب:

$${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$$

يتم تقليل ذلك إلى الحد الأدنى عندما

$${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$$

بالنسبة للتوزيع الغاوسي ، حيث${\displaystyle \gamma _{2}=0}$وهذا يعني أن متوسط ​​مربع الخطأ (MSE) يكون في أدنى قيمة له عند قسمة المجموع على${\displaystyle a=n+1}$الحد الأدنى لفرط التفرطح هو${\displaystyle \gamma _{2}=-2}$، ^{[ أ ]} والذي يتم تحقيقه بواسطة توزيع برنولي مع p  =  1/2 (رمي عملة معدنية)، ويتم تقليل متوسط ​​مربع الخطأ لـ${\displaystyle a=n-1+{\tfrac {2}{n}}.}$وبالتالي، بغض النظر عن التفرطح، نحصل على تقدير "أفضل" (بمعنى انخفاض متوسط ​​مربع الخطأ) عن طريق تقليل حجم المقدر غير المتحيز قليلاً؛ هذا مثال بسيط على مقدر الانكماش : حيث يتم "تقليص" المقدر نحو الصفر (تقليل حجم المقدر غير المتحيز).

علاوة على ذلك، في حين أن تباين العينة المصحح هو أفضل مقدر غير متحيز (أقل متوسط ​​مربع خطأ بين المقدرات غير المتحيزة) للتباين في التوزيعات الغاوسية، فإذا لم يكن التوزيع غاوسيًا، فقد لا يكون أفضل مقدر غير متحيز للتباين هو نفسه بين المقدرات غير المتحيزة.${\displaystyle S_{n-1}^{2}.}$

يُقدّم الجدول التالي عدة تقديرات للمعلمات الحقيقية للمجتمع، μ و σ ² ، في حالة التوزيع الغاوسي. ^{[ 9 ]}

القيمة الحقيقية	المُقدِّر	متوسط ​​مربع الخطأ
${\displaystyle \theta =\mu }$	${\displaystyle {\hat {\theta }}}$= المُقدِّر غير المتحيز لمتوسط ​​المجتمع ،${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})}$	${\displaystyle \operatorname {MSE} ({\overline {X}})=\operatorname {E} [({\overline {X}}-\mu )^{2}]={\frac {\sigma ^{2}}{n}}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر غير المتحيز لتباين المجتمع ،${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} [(S_{n-1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n-1}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر المتحيز لتباين المجتمع ،${\displaystyle S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n}^{2})=\operatorname {E} [(S_{n}^{2}-\sigma ^{2})^{2}]={\frac {2n-1}{n^{2}}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= المُقدِّر المتحيز لتباين المجتمع ،${\displaystyle S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ([S_{n+1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n+1}}\sigma ^{4}}$

انتقد جيمس بيرغر، عالم نظرية القرار ، استخدام متوسط ​​مربع الخطأ دون تمحيص . متوسط ​​مربع الخطأ هو معكوس القيمة المتوقعة لدالة منفعة محددة ، وهي دالة المنفعة التربيعية، والتي قد لا تكون دالة المنفعة المناسبة في ظل ظروف معينة. مع ذلك، توجد بعض الحالات التي يمكن فيها لمتوسط ​​مربع الخطأ أن يكون تقريبًا جيدًا لدالة الخسارة التي تظهر بشكل طبيعي في التطبيق. ^{[ 10 ]}

على غرار التباين ، يعاني متوسط ​​مربع الخطأ من عيب يتمثل في إعطاء وزن كبير للقيم المتطرفة . ^{[ 11 ]} ويعود ذلك إلى تربيع كل حد، مما يُعطي وزنًا أكبر للأخطاء الكبيرة مقارنةً بالأخطاء الصغيرة. هذه الخاصية، غير المرغوب فيها في العديد من التطبيقات، دفعت الباحثين إلى استخدام بدائل مثل متوسط ​​الخطأ المطلق ، أو تلك القائمة على الوسيط .