تحيز المُقدِّر

📅 آخر تحديث: ٢٧ يوليو ٢٠٢٦
✍️ نُشر في: ٢٧ يوليو ٢٠٢٦
📷 يحتوي على 52 صور
الموسوعة الحرة

في الإحصاء ، يُعرف انحياز المُقدِّر (أو دالة الانحياز ) بأنه الفرق بين القيمة المتوقعة لهذا المُقدِّر والقيمة الحقيقية للمعلمة المُقدَّرة. ويُطلق على المُقدِّر أو قاعدة القرار ذات الانحياز الصفري اسم " غير منحاز ". في الإحصاء، يُعدّ "الانحياز" خاصية موضوعية للمُقدِّر. ويختلف الانحياز عن مفهوم الاتساق : فالمُقدِّرات المتسقة تتقارب احتماليًا مع القيمة الحقيقية للمعلمة، ولكنها قد تكون منحازة أو غير منحازة (انظر " الانحياز مقابل الاتساق " لمزيد من المعلومات).

بافتراض ثبات جميع العوامل الأخرى، يُفضّل استخدام مُقدِّر غير متحيز على استخدام مُقدِّر متحيز، مع أن المُقدِّرات المتحيزة (ذات التحيز الصغير عمومًا) تُستخدم بكثرة في الممارسة العملية. عند استخدام مُقدِّر متحيز، تُحسب حدود التحيز. قد يُستخدم المُقدِّر المتحيز لأسباب مختلفة: لعدم وجود مُقدِّر غير متحيز دون افتراضات إضافية حول المجتمع الإحصائي؛ لصعوبة حساب المُقدِّر (كما في التقدير غير المتحيز للانحراف المعياري )؛ لأن المُقدِّر المتحيز قد يكون غير متحيز بالنسبة لمقاييس مختلفة للنزعة المركزية ؛ لأن المُقدِّر المتحيز يُعطي قيمة أقل لبعض دوال الخسارة (خاصةً متوسط ​​مربع الخطأ ) مقارنةً بالمُقدِّرات غير المتحيزة (خاصةً في مُقدِّرات الانكماش )؛ أو لأن شرط عدم التحيز في بعض الحالات يكون مُبالغًا فيه، وبالتالي فإن المُقدِّرات غير المتحيزة وحدها غير مُجدية.

يمكن أيضًا قياس الانحياز بالنسبة للوسيط ، بدلًا من المتوسط ​​(القيمة المتوقعة)، وفي هذه الحالة يُفرَّق بين خاصية عدم الانحياز للوسيط وخاصية عدم الانحياز للمتوسط ​​المعتادة . لا تُحفظ خاصية عدم الانحياز للمتوسط ​​في ظل التحويلات غير الخطية ، بينما تُحفظ خاصية عدم الانحياز للوسيط (انظر قسم  تأثير التحويلات )؛ على سبيل المثال، يُعد تباين العينة مُقدِّرًا منحازًا لتباين المجتمع. جميع هذه الأمثلة موضحة أدناه.

ليس بالضرورة أن يوجد مقدر غير متحيز لمعلمة ما. على سبيل المثال، لا يوجد مقدر غير متحيز لمقلوب معلمة متغير عشوائي ذي حدين. [ 1 ]

تعريف

لنفترض أن لدينا نموذجًا إحصائيًا ، مُعَلمًا بعدد حقيقي θ ، مما يؤدي إلى توزيع احتمالي للبيانات المرصودة،Pθ(x)=P(x|θ){\displaystyle P_{\theta }(x)=P(x\mid \theta )}وإحصائيةθ^{\displaystyle {\hat {\theta }}}والذي يعمل كمُقدِّر لـ θ بناءً على أي بيانات مُرصَدةx{\displaystyle x}أي أننا نفترض أن بياناتنا تتبع توزيعًا غير معروف.P(x|θ){\displaystyle P(x\mid \theta )}(حيث θ ثابت غير معروف وهو جزء من هذا التوزيع)، ثم نقوم بإنشاء مقدر ماθ^{\displaystyle {\hat {\theta }}}التي تربط البيانات المرصودة بقيم نأمل أن تكون قريبة من θ . انحيازθ^{\displaystyle {\hat {\theta }}}بالنسبة إلىθ{\displaystyle \theta }يُعرَّف على أنه [ 2 ]تحيز⁡(θ^،θ)=تحيزθ⁡[θ^]=هـx|θ⁡[θ^]-θ=هـx|θ⁡[θ^-θ]،{\displaystyle \operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }\left[\,{\hat {\theta }}\,\right]=\operatorname {E} _{x\mid \theta }\left[\,{\hat {\theta }}\,\right]-\theta =\operatorname {E} _{x\mid \theta }\left[{\hat {\theta }}-\theta \right],}

أينهـx|θ{\displaystyle \operatorname {E} _{x\mid \theta }}يشير إلى القيمة المتوقعة على التوزيعP(x|θ){\displaystyle P(x\mid \theta )}(أي، حساب المتوسط ​​لجميع الملاحظات الممكنة)x{\displaystyle x}). وتنتج المعادلة الثانية لأن θ قابلة للقياس بالنسبة للتوزيع الشرطيP(x|θ){\displaystyle P(x\mid \theta )}.

يُقال إن المُقدِّر غير متحيز إذا كان تحيزه يساوي صفرًا لجميع قيم المعلمة θ ، أو بعبارة أخرى، إذا كانت القيمة المتوقعة للمُقدِّر تُطابق القيمة المتوقعة للمعلمة. [ 3 ] ولا يُضمن استمرار عدم التحيز. على سبيل المثال، إذاθ^{\displaystyle {\hat {\theta }}}إذا كان مقدرًا غير متحيز للمعامل θ ، فليس من المضمون بشكل عام أن g(θ^{\displaystyle {\hat {\theta }}}) هو مقدر غير متحيز لـ g(θ) ، إلا إذا كانت g دالة خطية. [ 4 ]

في تجربة محاكاة تتعلق بخصائص المقدر، يمكن تقييم انحياز المقدر باستخدام متوسط ​​الفرق الموقّع .

أمثلة

تباين العينة

يُبرز تباين العينة مسألتين مختلفتين تتعلقان بالتحيز والمخاطرة. أولًا، يكون المُقدِّر "الساذج" الذي يقسم على n متحيزًا نحو الأسفل لأن متوسط ​​العينة يُقدَّر من البيانات نفسها. أما الضرب في n/(n−1) ( تصحيح بيسل ) فيُعطي مُقدِّرًا غير متحيز. ثانيًا، لا يعني عدم التحيز بالضرورة الحد الأدنى لمتوسط ​​مربع الخطأ .

لنفترض أن X1 ، ...، Xn متغيرات عشوائية مستقلة ومتطابقة التوزيع ( iid) بمتوسط ​​متوقع μ وتباين σ² . إذا عُرِّف متوسط ​​العينة وتباين العينة غير المصحح على النحو التالي :

X¯=1ن∑أنا=1نXأناS2=1ن∑أنا=1ن(Xأنا-X¯)2{\displaystyle {\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}\qquad }

إذن، فإن S² هو مُقدِّر متحيز لـ σ² . وينتج هذا مباشرةً من قانون التباين الكلي لأن

متغير⁡(X)⏟σ2=هـ⁡[متغير⁡(X|X¯)]⏟هـ[S2]+متغير⁡(هـ⁡[X|X¯])⏟σ2/ن،⟹هـ[S2]=ن-1نσ2.{\displaystyle \underbrace {\operatorname {Var} (X)} _{\sigma ^{2}}=\underbrace {\operatorname {E} \left[\operatorname {Var} \left(X\mid {\bar {X}}\right)\right]} _{E[S^{2}]}+\underbrace {\operatorname {Var} \left(\operatorname {E} \left[X\mid {\bar {X}}\right]\right)} _{\sigma ^{2}/n},\quad \implies E[S^{2}]={\frac {n-1}{n}}\sigma ^{2}.}

بمعنى آخر، لا تساوي القيمة المتوقعة لتباين العينة غير المصحح تباين المجتمع σ² إلا بعد ضربها بمعامل توحيد. تُعرف النسبة بين التقديرات المتحيزة (غير المصححة) وغير المتحيزة للتباين بتصحيح بيسل . من ناحية أخرى، يُعد متوسط ​​العينة مقدراً غير متحيز [ 5 ] لمتوسط ​​المجتمع μ . [ 3 ] يمكن فهم تساوي الحد الثاني على الجانب الأيمن من المعادلة أعلاه من خلال متطابقة بينايميه . 

متغير⁡(هـ⁡[X|X¯])=متغير⁡(X¯)=متغير⁡(1ن∑أنا=1نXأنا)=1ن2∑أنا=1نمتغير⁡(Xأنا)=1ن2نσ2=σ2ن.\begin{aligned}\operatorname{Var}\left(\operatorname{E}[X\mid{\bar{X}}]\right)&=\operatorname{Var}\left({\overline{X}}\right)=\operatorname{Var}\left({\frac{1}{n}}\sum_{i=1}^{n}X_{i}\right)\\[1ex]&={\frac{1}{n^{2}}}\sum_{i=1}^{n}\operatorname{Var}\left(X_{i}\right)={\frac{1}{n^{2}}}n\sigma^{2}={\frac{\sigma^{2}}{n}}.\end{aligned}}}

يرجع سبب تحيز تباين العينة غير المصحح، S 2 ، إلى حقيقة أن متوسط ​​العينة هو مقدر المربعات الصغرى العادية (OLS) لـ μ :X¯{\displaystyle {\overline {X}}}هو العدد الذي يُكوّن المجموع∑أنا=1ن(Xأنا-X¯)2{\textstyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}أصغر ما يمكن. أي أنه عند إدخال أي رقم آخر في هذا المجموع، فإن المجموع لا يمكن إلا أن يزداد. على وجه الخصوص، الاختيارμ≠X¯{\displaystyle \mu \neq {\overline {X}}}يعطي،

1ن∑أنا=1ن(Xأنا-X¯)2<1ن∑أنا=1ن(Xأنا-μ)2،{\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},} وثم هـ⁡[S2]=هـ⁡[1ن∑أنا=1ن(Xأنا-X¯)2]<هـ⁡[1ن∑أنا=1ن(Xأنا-μ)2]=σ2.{\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}

يمكن فهم المناقشة السابقة من منظور هندسي: المتجهج→=(X1-μ،...،Xن-μ){\displaystyle {\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )}يمكن تقسيمها إلى "الجزء المتوسط" و"جزء التباين" عن طريق الإسقاط في اتجاهu→=(1،...،1){\displaystyle {\vec {u}}=(1,\ldots ,1)}وإلى المستوى الفائق المتمم المتعامد لذلك الاتجاه. فيحصل المرء علىأ→=(X¯-μ،...،X¯-μ){\displaystyle {\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )}للجزء على طولu→{\displaystyle {\vec {u}}}وب→=(X1-X¯،...،Xن-X¯){\displaystyle {\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})}بالنسبة للجزء المكمل. وبما أن هذا تحليل متعامد، فإن نظرية فيثاغورس تنص على|ج→|2=|أ→|2+|ب→|2{\displaystyle |{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}}وبناءً على التوقعات التي نحصل عليهانσ2=نهـ⁡[(X¯-μ)2]+نهـ⁡[S2]{\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]}كما سبق (ولكن مرات)ن{\displaystyle n}). إذا كان توزيعج→{\displaystyle {\vec {C}}}متناظر دورانيًا، كما هو الحال عندما Xأنا{\displaystyle X_{i}}يتم أخذ عينات من توزيع غاوسي، ثم في المتوسط، البعد على طولu→{\displaystyle {\vec {u}}}يساهم في|ج→|2{\displaystyle |{\vec {C}}|^{2}}على قدم المساواة معن-1{\displaystyle n-1}الاتجاهات العمودية علىu→{\displaystyle {\vec {u}}}، لهذا السببهـ⁡[(X¯-μ)2]=σ2ن{\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}}وهـ⁡[S2]=ن-1نσ2{\displaystyle \operatorname {E} [S^{2}]={\frac {n-1}{n}}\sigma ^{2}}وهذا صحيح بشكل عام، كما هو موضح أعلاه.

تقدير احتمالية بواسون

تنشأ حالة أكثر تطرفًا بكثير، حيث يكون المُقدِّر المتحيز أفضل من أي مُقدِّر غير متحيز، من توزيع بواسون . [ 6 ] [ 7 ] لنفترض أن X يتبع توزيع بواسون بمتوسط ​​λ . ولنفترض أننا نريد تقدير  P⁡(X=0)2=هـ-2λ{\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad }

بعينة حجمها 1. (على سبيل المثال، عندما يتم نمذجة المكالمات الواردة في لوحة مفاتيح الهاتف كعملية بواسون، و λ هو متوسط ​​عدد المكالمات في الدقيقة، فإن e −2 λ (المقدر) هو احتمال عدم وصول أي مكالمات في الدقيقتين التاليتين.)

بما أن القيمة المتوقعة لمُقدِّر غير متحيز δ ( X ) تساوي المُقدَّر ، أي هـ⁡(دلتا(X))=∑x=0∞دلتا(x)λxهـ-λx!=هـ-2λ،{\displaystyle \operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },}

الوظيفة الوحيدة للبيانات التي تشكل مقدرًا غير متحيز هي دلتا(x)=(-1)x.{\displaystyle \delta (x)=(-1)^{x}.\,}

ولرؤية ذلك، لاحظ أنه عند تحليل e − λ من التعبير أعلاه للتوقع، فإن المجموع المتبقي هو توسيع متسلسلة تايلور لـ e − λ أيضًا، مما ينتج عنه e − λ e − λ  =  e −2 λ (انظر خصائص الدالة الأسية ).

إذا كانت القيمة المرصودة لـ X هي 100، فإن التقدير يكون 1، مع أن القيمة الحقيقية للكمية المُقدَّرة من المرجح أن تكون قريبة من 0، وهو النقيض تمامًا. وإذا كانت قيمة X المرصودة 101، فإن التقدير يكون أكثر غرابة: إذ يكون -1، مع أن الكمية المُقدَّرة يجب أن تكون موجبة.

مقدر الاحتمال الأقصى (المتحيز)هـ-2X{\displaystyle e^{-2{X}}\quad }

يُعدّ هذا المُقدِّر أفضل بكثير من هذا المُقدِّر غير المتحيز. فهو ليس فقط ذا قيمة موجبة دائمًا، بل هو أيضًا أكثر دقة بمعنى أن متوسط ​​مربع الخطأ فيههـ-4λ-2هـλ(1/هـ2-3)+هـλ(1/هـ4-1){\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,}

أصغر؛ قارن متوسط ​​مربع الخطأ للمُقدِّر غير المتحيز بـ 1-هـ-4λ.{\displaystyle 1-e^{-4\lambda }.\,}

متوسط ​​مربعات الخطأ (MSEs) هي دوال للقيمة الحقيقية λ . الانحياز لمُقدِّر الاحتمال الأقصى هو:  هـλ(1/هـ2-1)-هـ-2λ.{\displaystyle e^{\lambda (1/e^{2}-1)}-e^{-2\lambda }.\,}

الحد الأقصى للتوزيع المنتظم المنفصل

قد يكون تحيز مقدِّرات الاحتمال الأقصى كبيرًا. لنفترض حالةً وُضِعَت فيها n تذكرة مرقمة من 1 إلى n في صندوق، وسُحِبَت واحدة عشوائيًا، ما يُعطي قيمة X. إذا كانت n غير معروفة، فإن مقدِّر الاحتمال الأقصى لـ n هو X ، على الرغم من أن القيمة المتوقعة لـ X عند n هي ( n  +  1)/2 فقط؛ إذ لا يمكننا التأكد إلا من أن n على الأقل X ، وربما تكون أكبر. في هذه الحالة، يكون المقدِّر الطبيعي غير المتحيز هو 2X -  1  .

المقدرات غير المتحيزة للوسيط

تم إحياء نظرية المقدرات غير المتحيزة للوسيط بواسطة جورج دبليو براون في عام 1947: [ 8 ]

يُقال إن تقديرًا لمعامل أحادي البعد θ غير متحيز للوسيط، إذا كان وسيط توزيع التقدير، عند قيمة ثابتة لـ θ، يقع عند القيمة θ؛ أي أن التقدير يُقلل من القيمة الحقيقية بنفس القدر الذي يُبالغ فيه. ويبدو أن هذا الشرط، في معظم الحالات، يُحقق نفس فائدة شرط عدم التحيز للمتوسط، وله خاصية إضافية تتمثل في ثباته تحت التحويل الأحادي.

أشار كلٌّ من ليمان، وبيرنباوم، وفان دير فارت، وفانزاغل إلى خصائص أخرى للمُقدِّرات غير المتحيزة للوسيط. [ 9 ] وعلى وجه الخصوص، توجد هذه المُقدِّرات في الحالات التي لا توجد فيها مُقدِّرات غير متحيزة للمتوسط ​​أو مُقدِّرات الاحتمال الأقصى . وهي ثابتة تحت التحويلات أحادية التقابل .

توجد طرق لبناء مُقدِّرات غير متحيزة للوسيط لتوزيعات الاحتمال ذات دوال الاحتمال الرتيبة ، مثل عائلات التوزيعات الأسية ذات المعلمة الواحدة، لضمان كونها مثالية (بمعنى مشابه لخاصية الحد الأدنى للتباين المُعتبرة لمُقدِّرات غير متحيزة للمتوسط). [ 10 ] [ 11 ] أحد هذه الإجراءات هو نظير لإجراء راو-بلاك ويل لمُقدِّرات غير متحيزة للمتوسط: ينطبق هذا الإجراء على فئة أصغر من توزيعات الاحتمال مقارنةً بإجراء راو-بلاك ويل لتقدير غير متحيز للمتوسط، ولكنه ينطبق على فئة أكبر من دوال الخسارة. [ 11 ]

التحيز فيما يتعلق بوظائف الخسارة الأخرى

أي مُقدِّر متوسط ​​غير متحيز ذو تباين أدنى يُقلِّل من المخاطرة ( الخسارة المتوقعة ) بالنسبة لدالة خسارة مربع الخطأ (بين المُقدِّرات غير المتحيزة ذات التباين الأدنى)، كما لاحظ غاوس . [ 12 ] والمُقدِّر الوسيط غير المتحيز ذو انحراف مطلق متوسط ​​أدنى يُقلِّل من المخاطرة بالنسبة لدالة الخسارة المطلقة (بين المُقدِّرات الوسيطة غير المتحيزة)، كما لاحظ لابلاس . [ 12 ] [ 13 ] تُستخدم دوال خسارة أخرى في الإحصاء، وخاصة في الإحصاء القوي . [ 12 ] [ 14 ]

تأثير التحولات

بالنسبة للمعلمات أحادية المتغير، تظل المقدرات غير المتحيزة بالوسيط غير متحيزة بالوسيط تحت التحويلات التي تحافظ على الترتيب (أو تعكسه). تجدر الإشارة إلى أنه عند تطبيق تحويل على مقدر غير متحيز بالمتوسط، لا يشترط أن تكون النتيجة مقدرًا غير متحيز بالمتوسط ​​للإحصائية السكانية المقابلة. وفقًا لمتباينة جنسن ، فإن الدالة المحدبة كتحويل ستُدخل تحيزًا موجبًا، بينما ستُدخل الدالة المقعرة تحيزًا سالبًا، وقد تُدخل الدالة ذات التحدب المختلط تحيزًا في أي من الاتجاهين، اعتمادًا على الدالة والتوزيع المحددين. أي، بالنسبة لدالة غير خطية f ومقدر غير متحيز بالمتوسط ​​U للمعلمة p ، فإن المقدر المركب f ( U ) ليس بالضرورة مقدرًا غير متحيز بالمتوسط ​​لـ f ( p ). على سبيل المثال، الجذر التربيعي للمُقدِّر غير المتحيز لتباين المجتمع ليس مُقدِّرًا غير متحيز لمتوسط ​​الانحراف المعياري للمجتمع : فالجذر التربيعي لتباين العينة غير المتحيز، أي الانحراف المعياري المصحح للعينة ، يكون متحيزًا. يعتمد هذا التحيز على كلٍّ من توزيع المعاينة للمُقدِّر وعلى التحويل، وقد يكون حسابه معقدًا للغاية - انظر " التقدير غير المتحيز للانحراف المعياري" لمناقشة هذه الحالة.

الانحياز والتباين ومتوسط ​​مربع الخطأ

توزيعات المعاينة لمُقدِّرين بديلين للمعامل β₀ . على الرغم من أن β₁ غير متحيز ، إلا أنه أقل دقة بشكل واضح من β₂ المتحيز . يُعدّ انحدار ريدج مثالًا على تقنية قد يؤدي فيها السماح بتحيز طفيف إلى تقليل التباين بشكل كبير، وبالتالي الحصول على تقديرات أكثر موثوقية بشكل عام.

بينما يُحدد الانحياز متوسط ​​الفرق المتوقع بين المُقدِّر والمعلمة الأساسية، فإنه من المتوقع أيضًا أن يختلف المُقدِّر المُستند إلى عينة محدودة عن المعلمة بسبب عشوائية العينة. ولا يعني تقليل الانحياز بالضرورة تقليل متوسط ​​مربع الخطأ. ومن المقاييس المستخدمة لمحاولة عكس كلا النوعين من الاختلافات متوسط ​​مربع الخطأ [ 2 ] .MSE⁡(θ^)=هـ⁡[(θ^-θ)2].{\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.} ويمكن إثبات أن هذا يساوي مربع الانحياز، بالإضافة إلى التباين: [ 2 ]MSE⁡(θ^)=(هـ⁡[θ^]-θ)2+هـ⁡[(θ^-هـ⁡[θ^])2]=(تحيز⁡(θ^،θ))2+متغير⁡(θ^){\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}

عندما يكون المعامل عبارة عن متجه، يتم تطبيق تحليل مماثل: [ 15 ]MSE⁡(θ^)=يتعقب⁡(كوف⁡(θ^))+‖تحيز⁡(θ^،θ)‖2{\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}} أينيتعقب⁡(كوف⁡(θ^)){\displaystyle \operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))}هو أثر (مجموع القطر) مصفوفة التغاير للمُقدِّر و‖تحيز⁡(θ^،θ)‖2{\displaystyle \left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}هو معيار المتجه التربيعي .

مثال: تقدير تباين المجتمع

على سبيل المثال، [ 16 ] لنفترض وجود مُقدِّر على الشكل التالي

تي2=ج∑أنا=1ن(Xأنا-X¯)2=جنS2{\displaystyle T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}}

يتم البحث عن تباين السكان كما هو مذكور أعلاه، ولكن هذه المرة لتقليل متوسط ​​مربع الخطأ:

MSE=هـ⁡[(تي2-σ2)2]=(هـ⁡[تي2-σ2])2+متغير⁡(تي2){\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}

إذا كانت المتغيرات X 1 ... X n تتبع التوزيع الطبيعي، فإن nS 2 /σ 2 لها توزيع كاي تربيع بدرجة حرية n  − 1، مما يعطي: 

هـ⁡[نS2]=(ن-1)σ2 و متغير⁡(نS2)=2(ن-1)σ4.{\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}

وهكذا

MSE=(ج(ن-1)-1)2σ4+2ج2(ن-1)σ4{\displaystyle \operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}}

باستخدام القليل من الجبر، يمكن التأكد من أن c = 1/( n  +  1) هو الذي يقلل من دالة الخسارة المجمعة هذه، بدلاً من c = 1/( n  −  1) الذي يقلل من مربع الانحياز فقط.

وبشكل عام، لا يوجد مقدر يقلل متوسط ​​مربع الخطأ بشكل مستقل عن قيم المعلمات إلا في فئات محدودة من المشاكل.

ومع ذلك، من الشائع جدًا أن يُنظر إلى الأمر على أنه مقايضة بين التحيز والتباين ، بحيث يمكن استبدال زيادة طفيفة في التحيز بانخفاض أكبر في التباين، مما يؤدي إلى مقدر أكثر استحسانًا بشكل عام.

وجهة نظر بايزية

لا يولي معظم أتباع المنهج البايزي اهتمامًا كبيرًا لعدم تحيز تقديراتهم (على الأقل بالمعنى الرسمي لنظرية أخذ العينات المذكور أعلاه). فعلى سبيل المثال، كتب جيلمان وزملاؤه (1995): "من منظور بايزي، يُعد مبدأ عدم التحيز معقولًا في حالة العينات الكبيرة، ولكنه قد يكون مضللًا في غير ذلك." [ 17 ]

يكمن الفرق الأساسي بين المنهج البايزي ومنهج نظرية المعاينة المذكور أعلاه في أن منهج نظرية المعاينة يفترض ثبات المعلمة، ثم تُدرس التوزيعات الاحتمالية للإحصائية بناءً على التوزيع المتوقع للبيانات. أما في المنهج البايزي، فالبيانات هي المعروفة والثابتة، والمعلمة المجهولة هي التي تُبذل محاولة لبناء توزيع احتمالي لها باستخدام نظرية بايز .

ص(θ|د،أنا)∝ص(θ|أنا)ص(د|θ،أنا){\displaystyle p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)}

هنا، يعتمد الحد الثاني، وهو احتمال البيانات بالنظر إلى قيمة المعلمة المجهولة θ، فقط على البيانات المُتحصَّل عليها ونمذجة عملية توليد البيانات. مع ذلك، يتضمن الحساب البايزي أيضًا الحد الأول، وهو الاحتمال المسبق لـ θ، الذي يأخذ في الحسبان كل ما قد يعرفه المحلل أو يشك فيه بشأن θ قبل ورود البيانات. لا تلعب هذه المعلومات أي دور في منهج نظرية المعاينة؛ بل إن أي محاولة لإدراجها ستُعتبر "تحيزًا" بعيدًا عما أشارت إليه البيانات وحدها. وبقدر ما تتضمن الحسابات البايزية معلومات مسبقة، فمن المحتوم أساسًا ألا تكون نتائجها "غير متحيزة" من منظور نظرية المعاينة.

لكن نتائج النهج البايزي يمكن أن تختلف عن نهج نظرية أخذ العينات حتى لو حاول النهج البايزي اعتماد توزيع احتمالي مسبق "غير إعلامي".

على سبيل المثال، لنفترض مرة أخرى تقدير تباين المجتمع المجهول σ² لتوزيع طبيعي بمتوسط ​​مجهول، حيث يُراد تحسين قيمة c في دالة الخسارة المتوقعة.

الخسارة المتوقعة=هـ⁡[(جنS2-σ2)2]=هـ⁡[σ4(جنS2σ2-1)2]{\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}

يُعد التوزيع الاحتمالي المسبق غير المُعلِم خيارًا قياسيًا لهذه المشكلة، وهو توزيع جيفريز المسبق .ص(σ2)∝1/σ2{\displaystyle \scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}}، وهو ما يعادل اعتماد توزيع احتمالي مسطح ثابت عند إعادة التحجيم لـ ln(σ 2 ) .

إحدى نتائج اعتماد هذا الافتراض المسبق هي أن S 2 /σ 2 تظل كمية محورية ، أي أن التوزيع الاحتمالي لـ S 2 /σ 2 يعتمد فقط على S 2 /σ 2 ، بغض النظر عن قيمة S 2 أو σ 2 :

ص(S2σ2|S2)=ص(S2σ2|σ2)=ز(S2σ2){\displaystyle p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)}

ومع ذلك، بينما

هـص(S2|σ2)⁡[σ4(جنS2σ2-1)2]=σ4هـص(S2|σ2)⁡[(جنS2σ2-1)2]{\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}

في المقابل

هـص(σ2|S2)⁡[σ4(جنS2σ2-1)2]≠σ4هـص(σ2|S2)⁡[(جنS2σ2-1)2]{\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}

عندما يُحسب التوقع على أساس التوزيع الاحتمالي لـ σ² بمعلومية S² ، كما هو الحال في طريقة بايز، بدلاً من S² بمعلومية σ² ، لا يمكن اعتبار σ⁴ ثابتًا واستخراجه كعامل مشترك. ونتيجةً لذلك، بالمقارنة مع حسابات نظرية المعاينة، تُعطي حسابات بايز وزنًا أكبر للقيم الأكبر لـ σ²، مع مراعاة (على عكس حسابات نظرية المعاينة) أن عواقب التقليل من شأن القيم الكبيرة لـ σ²، في ظل دالة الخسارة التربيعية هذه، تكون أكثر تكلفة من حيث الخسارة التربيعية من عواقب المبالغة في تقدير القيم الصغيرة لـ σ² .

تعطي الحسابات البايزية المُفصّلة توزيع كاي تربيع معكوس مُقاس بدرجة حرية n − 1 لتوزيع الاحتمال اللاحق لـ σ 2. يتم تقليل الخسارة المتوقعة إلى أدنى حد عندما يكون cnS 2 = <σ 2 >؛ ويحدث هذا عندما يكون c = 1 /( n − 3).        

حتى مع وجود معلومات مسبقة غير مفيدة، فإن الحساب البايزي قد لا يعطي نفس نتيجة تقليل الخسارة المتوقعة مثل حساب نظرية أخذ العينات المقابلة.

انظر أيضاً

ملحوظات

  1. ↑ "بالنسبة للتوزيع ذي الحدين، لماذا لا يوجد مقدّر غير متحيز لـ 1/p؟" . موقع تبادل الأسئلة والأجوبة الرياضية . تم الاطلاع عليه بتاريخ 27-12-2023 .
  2. 1 2 3 كوزدرون، مايكل (مارس 2016). "تقييم جودة المُقدِّر: التحيز، متوسط ​​مربع الخطأ، الكفاءة النسبية (الفصل 3)" (ملف PDF) . stat.math.uregina.ca . تاريخ الاسترجاع: 11 سبتمبر 2020 .
  3. 1 2 تايلور، كورتني (13 يناير 2019). "المُقدِّرات غير المتحيزة والمتحيزة" . ThoughtCo . تم ​​الاسترجاع في 12 سبتمبر 2020 .
  4. ↑ ديكينغ، ميشيل، محرر. (2005). مقدمة حديثة في الاحتمالات والإحصاء: فهم لماذا وكيف . نصوص سبرينغر في الإحصاء. لندن [هايدلبرغ]: سبرينغر. ISBN 978-1-85233-896-1.
  5. ↑ ريتشارد أرنولد جونسون؛ دين دبليو. ويشرن (2007). التحليل الإحصائي متعدد المتغيرات التطبيقي . بيرسون برنتيس هول. ISBN 978-0-13-187715-3تم الاطلاع عليه بتاريخ 10 أغسطس 2012 .
  6. ↑ رومانو، جيه بي؛ سيجل، إيه إف (1986). أمثلة مضادة في الاحتمالات والإحصاء . مونتيري، كاليفورنيا، الولايات المتحدة الأمريكية: وادزورث وبروكس / كول. ص 168. 
  7. ↑ هاردي، م. (1 مارس 2003). "مثال مضاد مُنير". المجلة الرياضية الأمريكية الشهرية . 110 (3): 234-238 . arXiv : math/0206006 . doi : 10.2307/3647938 . ISSN 0002-9890 . JSTOR 3647938 .  
  8. ↑ براون (1947)، صفحة 583
  9. ^ ليمان 1951 ; بيرنبوم 1961 ; فان دير فارت 1961 ; بفانزاجل 1994
  10. ↑ بفانزاغل، يوهان (1979). "حول المقدرات الوسيطية المثلى غير المتحيزة في وجود معلمات مزعجة" . حوليات الإحصاء . 7 (1): 187-193 . doi : 10.1214/aos/1176344563 .
  11. 1 2 براون، إل دي؛ كوهين، آرثر؛ سترودرمان، دبليو إي (1976). "نظرية فئة كاملة لنسبة الاحتمال الرتيبة الصارمة مع تطبيقات" . حوليات الإحصاء . 4 (4): 712-722 . doi : 10.1214/aos/1176343543 .
  12. 1 2 3 دودج، يادولاه، محرر (1987). تحليل البيانات الإحصائية بناءً على معيار L1 والأساليب ذات الصلة . أوراق من المؤتمر الدولي الأول الذي عُقد في نوشاتيل، 31 أغسطس - 4 سبتمبر 1987. أمستردام: نورث هولاند. ISBN 0-444-70273-3.
  13. ↑ جاينز، إي تي (2007). نظرية الاحتمالات : منطق العلم . كامبريدج: مطبعة جامعة كامبريدج. ص 172. ISBN   978-0-521-59271-0.
  14. ↑ كليبانوف، ليف ب.؛ راتشيف، سفيتلوزار ت.؛ فابوزي، فرانك ج. (2009). "دوال الخسارة ونظرية التقدير غير المتحيز". النماذج القوية وغير القوية في الإحصاء . نيويورك: نوفا ساينتيفيك. ISBN 978-1-60741-768-2.
  15. ↑ تابوغا، ماركو (2010). "محاضرات في نظرية الاحتمالات والإحصاء الرياضي" .
  16. ↑ ديغروت، موريس هـ. (1986). الاحتمالات والإحصاء ( الطبعة الثانية). أديسون-ويسلي. ص 414-415 . ISBN   0-201-11366-X.لكن قارن ذلك، على سبيل المثال، بالمناقشة الواردة في كتاب كاسيلا؛ بيرغر (2001). الاستدلال الإحصائي ( الطبعة الثانية). دوكسبوري. ص 332. ISBN   0-534-24312-6.
  17. ↑ جيلمان، أ.؛ وآخرون (1995). تحليل البيانات البايزي . تشابمان وهول. ص 108. ISBN   0-412-03991-5.

مراجع

  • براون، جورج و. "حول تقدير العينات الصغيرة". حوليات الإحصاء الرياضي ، المجلد 18، العدد 4 (ديسمبر 1947)، الصفحات  582-585. JSTOR 2236236 . 
  • ليمان، إي إل (ديسمبر 1951). "مفهوم عام للحياد". حوليات الإحصاء الرياضي . 22 (4): 587-592 . doi : 10.1214/aoms/1177729549 . JSTOR 2236928 . 
  • بيرنباوم، آلان (مارس 1961). "نظرية موحدة للتقدير، الجزء الأول". حوليات الإحصاء الرياضي . 32 (1): 112-135 . doi : 10.1214/aoms/1177705145 .
  • فان دير فارت، إتش آر (يونيو 1961). "بعض التوسعات لفكرة التحيز" . حوليات الإحصاء الرياضي . 32 (2): 436-447 . doi : 10.1214/aoms/1177705051 .
  • بفانزاجل، يوهان (1994). النظرية الإحصائية البارامترية . والتر دي جرويتر.
  • ستيوارت، آلان؛ أورد، كيث؛ أرنولد، ستيفن [ف.] (2010). الاستدلال الكلاسيكي والنموذج الخطي . نظرية كيندال المتقدمة في الإحصاء. المجلد  2أ. وايلي. ISBN 978-0-4706-8924-0..
  • فوينوف، فاسيلي [ج.]؛ نيكولين، ميخائيل [س.] (1993). المقدرات غير المتحيزة وتطبيقاتها . المجلد  1: الحالة أحادية المتغير. دوردريخت: دار كلوير للنشر الأكاديمي. ISBN 0-7923-2382-3.
  • فوينوف، فاسيلي [ج.]؛ نيكولين، ميخائيل [س.] (1996). المقدرات غير المتحيزة وتطبيقاتها . المجلد  2: الحالة متعددة المتغيرات. دوردريخت: دار كلوير للنشر الأكاديمي. ISBN 0-7923-3939-8.
  • كليبانوف، ليف [ب.]؛ راتشيف، سفيتلوزار [ت.]؛ فابوزي، فرانك [ج.] (2009). النماذج القوية وغير القوية في الإحصاء . نيويورك: دار نوفا ساينتيفيك للنشر. ISBN 978-1-60741-768-2.