تقدير النقطة

تُعد طريقة الاحتمال الأقصى ، التي وضعها آر إيه فيشر، بلا شك أهم طريقة عامة لتقدير المعلمات${\displaystyle \theta _{1},\dots ,\theta _{p}}$في نموذج بارامتري . ^{[ 12 ]} وفقًا لهذه الطريقة، فإن أفضل تقدير لمعامل النموذج المجهول هو التقدير الذي يزيد من احتمالية (أو كثافة الاحتمالية) رصد البيانات المرصودة. تُسمى هذه الاحتمالية كدالة لمعاملات النموذج بالدالة الاحتمالية ، ومنها استمدت الطريقة اسمها. ^{[ 13 ]}

رياضياً، تعمل هذه الطريقة على النحو التالي: ليكن${\displaystyle X=(X_{1},\dots ,X_{n})}$يشير إلى عينة بيانات عشوائية ذات دالة كثافة احتمالية مشتركة أو دالة كتلة احتمالية${\displaystyle f_{\theta }}$اعتمادًا على المتجه${\displaystyle \theta =(\theta _{1},\dots ,\theta _{p})}$من معلمات النموذج. الوظيفة${\displaystyle \theta \mapsto f_{\theta }(X)}$تُسمى دالة الاحتمال، ويُرمز لها غالبًا بـ${\displaystyle L}$بافتراض أن معلمات النموذج الحقيقية تقع ضمن مجموعة${\displaystyle \Theta \subset \mathbb {R} ^{p}}$، مُقدِّر الاحتمال الأقصى${\displaystyle {\hat {\theta }}_{\mathrm {MLE} }}$يفي

$${\displaystyle L({\hat {\theta }}_{\mathrm {MLE} })=\max _{\theta \in \Theta }L(\theta )=\max _{\theta \in \Theta }f_{\theta }(X).}$$

عملياً، غالباً ما تكون دالة الاحتمال قابلة للتفاضل ، وفي هذه الحالة${\displaystyle {\hat {\theta }}_{\mathrm {MLE} }}$هو حل للمعادلات ^{[ 14 ]}

$${\displaystyle {\frac {\partial L(\theta )}{\partial \theta _{i}}}=0,\quad i=1,\dots ,k.}$$

في ظل افتراضات معينة حول الاحتمالية، يكون تقدير الاحتمال الأقصى متسقًا بقوة ، وفعالًا تقاربيًا ، وطبيعيًا تقاربيًا .

تُعدّ طريقة العزوم من أقدم طرق التقدير، وقد قدّمها كارل بيرسون لأول مرة عام 1895. ^{[ 15 ] [ 16 ] [ 17 ]} تعتمد هذه الطريقة على العلاقة الوظيفية بين الكميات المهمة في التوزيع (مثل التباين أو معلمات النموذج) وعزوم ذلك التوزيع، مما يؤدي إلى مجموعة من المعادلات التي تُحلّ لإيجاد هذه الكميات. وانطلاقًا من قانون الأعداد الكبيرة ، تُقدّر عزوم التوزيع باستخدام عزوم العينة، أي المتوسطات الحسابية لقوى قيم البيانات. ^{[ 18 ]} تتميز هذه الطريقة ببساطتها ونطاق تطبيقها الواسع، ولكنها غالبًا لا تُعطي أفضل المُقدّرات، وأحيانًا لا تُعطي أي مُقدّر على الإطلاق. ^{[ 19 ]} كما توجد تعميمات لطريقة العزوم.

رياضياً، بالنسبة للتوزيع${\displaystyle \mathbb {P} _{\theta }}$اعتمادًا على متجه من المعلمات${\displaystyle \theta =(\theta _{1},\dots ,\theta _{k})}$، معادلات الأول${\displaystyle k}$لحظات من${\displaystyle X\sim \mathbb {P} _{\theta }}$تم تأسيسها:

$${\displaystyle {\begin{aligned}&m_{1}=\mathbb {E} [X]=f_{1}(\theta _{1},\dots ,\theta _{k}),\\&\dots \\&m_{k}=\mathbb {E} [X^{k}]=f_{k}(\theta _{1},\dots ,\theta _{k}).\end{aligned}}}$$

إذا كان لهذه المعادلات حل، فإنه توجد دوال${\displaystyle g_{1},\dots ,g_{k}}$بحيث يمكن التعبير عن المعاملات بواسطة العزوم عبر

$${\displaystyle {\begin{aligned}&\theta _{1}=g_{1}(m_{1},\dots ,m_{k}),\\&\dots \\&\theta _{k}=g_{k}(m_{1},\dots ,m_{k}).\end{aligned}}}$$

بالنظر إلى عينة عشوائية${\displaystyle X_{1},\dots ,X_{n}}$من${\displaystyle \mathbb {P} _{\theta }}$ثم يتم استبدال العزوم بعزوم العينة${\displaystyle {\hat {m}}_{j}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}^{j}}$،${\displaystyle j=1,\dots ,k}$مما ينتج عنه تقديرات العزوم:

$${\displaystyle {\begin{aligned}&{\hat {\theta }}_{1}=g_{1}({\hat {m}}_{1},\dots ,{\hat {m}}_{k}),\\&\dots \\&{\hat {\theta }}_{k}=g_{k}({\hat {m}}_{1},\dots ,{\hat {m}}_{k}).\end{aligned}}}$$

في ظل افتراضات منخفضة نسبياً بشأن دوال الحل${\displaystyle g_{1},\dots ,g_{k}}$ولحظات${\displaystyle \mathbb {P} _{\theta }}$، وتكون تقديرات العزوم متسقة بقوة وطبيعية تقاربياً.

على الرغم من أن نظرية ليمان-شيفيه ليست طريقة تقدير بحد ذاتها، إلا أنها تحفز طريقتين لبناء مقدرات UMVU في النماذج، حيث تكون الإحصائية كاملة وكافية${\displaystyle T}$متاح. ^{[ 20 ] [ 21 ]} ينطبق هذا، على سبيل المثال، على العائلات الأسية ، حيث تكون الإحصائية الكافية الطبيعية كاملة دائمًا.

يترك${\displaystyle X=(X_{1},\dots ,X_{n})}$ليكن متجهًا من العينات العشوائية من توزيع ما${\displaystyle \mathbb {P} _{\theta }}$اعتمادًا على أحد المعايير${\displaystyle \theta }$.

الطريقة الأولى: لتقدير${\displaystyle \theta }$يوجد على الأكثر دالة واحدة${\displaystyle g}$وهذا يحل المعادلة $${\displaystyle \mathbb {E} _{\theta }[g(T(X))]=\theta ,}$$ وفي هذه الحالة يكون المُقدِّر${\displaystyle {\hat {\theta }}=g(T)}$هو مُقدِّر UMVU لـ${\displaystyle \theta }$.

الطريقة الثانية: بافتراض وجود أي مقدر غير متحيز${\displaystyle {\tilde {\theta }}}$ل${\displaystyle \theta }$، المُقدِّر $${\displaystyle {\hat {\theta }}(X)=\mathbb {E} _{\theta }[{\tilde {\theta }}(X)\mid T(X)],}$$ أي التوقع المشروط لـ${\displaystyle {\tilde {\theta }}}$منح${\displaystyle T}$، هو المُقدِّر الوحيد غير المتحيز UMVU. في بعض الحالات، يتم حساب التوقع الشرطي لمُقدِّر غير متحيز مُختار بشكل مناسب، مع الأخذ في الاعتبار${\displaystyle T}$قد يكون ذلك أسهل من حل المعادلة من الطريقة الأولى.

تُعدّ مطابقة الدرجات طريقة حديثة نسبياً لتقدير المعلمات، وهي أقل بديهية من طريقة تقدير الاحتمال الأقصى، ولكنها أكثر فائدة للتوزيعات المعقدة ذات العدد الكبير من المعلمات. ^{[ 22 ]}

يُفترض أن البيانات مستمدة من توزيع ذي كثافة احتمالية${\displaystyle f(\mathbf {x} ,{\boldsymbol {\theta }})}$،${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$، مُعَلمة بواسطة${\displaystyle {\boldsymbol {\theta }}}$الكمية الأساسية اللازمة لتقدير مطابقة الدرجات هي الدرجة${\displaystyle \nabla _{\mathbf {x} }\log f(\mathbf {x} ,{\boldsymbol {\theta }})}$المعلمة الحقيقية (المتجه)${\displaystyle {\boldsymbol {\theta }}}$يتميز بـ$${\displaystyle {\begin{aligned}{\boldsymbol {\theta }}&=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}{\frac {1}{2}}\int _{\mathbb {R} ^{d}}\lVert \nabla _{\mathbf {y} }\log f(\mathbf {y} ,{\boldsymbol {\theta }}')-\nabla _{\mathbf {y} }\log f(\mathbf {y} ,{\boldsymbol {\theta }})\rVert ^{2}f(\mathbf {y} ,{\boldsymbol {\theta }})\mathrm {d} \mathbf {y} \\&=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}\sum _{i=1}^{d}\int _{\mathbb {R} ^{d}}\left(\partial _{y_{i}}^{2}\log f(\mathbf {y} ,{\boldsymbol {\theta }}')+{\frac {1}{2}}(\partial _{y_{i}}\log f(\mathbf {y} ,{\boldsymbol {\theta }}')^{2}\right)f(\mathbf {y} ,{\boldsymbol {\theta }})\mathrm {d} \mathbf {y} .\end{aligned}}}$$تماشياً مع المساواة الثانية، بالنسبة للملاحظات${\displaystyle \mathbf {x} _{1},\dots ,\mathbf {x} _{n}}$تقدير مطابقة الدرجات${\displaystyle {\hat {\boldsymbol {\theta }}}}$يتم تعريفها بواسطة$${\displaystyle {\hat {\boldsymbol {\theta }}}=\mathrm {arg} \min _{{\boldsymbol {\theta }}'}\sum _{j=1}^{n}\sum _{i=1}^{d}\left(\partial _{x_{i}}^{2}\log f(\mathbf {x} _{j},{\boldsymbol {\theta }}')+{\frac {1}{2}}(\partial _{x_{i}}\log f(\mathbf {x} _{j},{\boldsymbol {\theta }}')^{2}\right).}$$تتمثل الميزة الرئيسية لتقدير مطابقة الدرجات مقارنةً بتقدير الاحتمال الأقصى فيما يلي: عادةً ما تكون دالة كثافة الاحتمال على الشكل التالي:$${\displaystyle f(\mathbf {x} ,{\boldsymbol {\theta }})={\frac {1}{Z({\boldsymbol {\theta }})}}q(\mathbf {x} ,{\boldsymbol {\theta }}),}$$بكثافة غير مُعَيَّرة${\displaystyle q(\mathbf {x} ,{\boldsymbol {\theta }})}$وثابت التطبيع${\displaystyle Z({\boldsymbol {\theta }})}$غالباً ما يمثل حساب الأخير عنق الزجاجة في تقدير الاحتمال الأقصى، خاصة إذا كان الاعتماد على${\displaystyle {\boldsymbol {\theta }}}$هي دالة غير تحليلية ومتجه المعاملات ذو أبعاد عالية. بأخذ مشتقات لوغاريتم${\displaystyle f}$،${\displaystyle Z({\boldsymbol {\theta }})}$لا يحدث ذلك في إجراء تقدير مطابقة الدرجات، وبالتالي يتم التخلص من هذه المشكلة. ^{[ 22 ]}

بالإضافة إلى ذلك، في ظل قيود معتدلة على${\displaystyle f(\mathbf {x} ,{\boldsymbol {\theta }})}$، ويمكن إثبات أن تقدير مطابقة الدرجات متسق بشكل ضعيف .

طريقة المربعات الصغرى هي إجراء لتقدير معلمات الانحدار ، حيث يتم استخدام المشاهدات${\displaystyle Y_{1},\dots ,Y_{n}}$يجب التعبير عنها كدوال للمتغيرات المصاحبة${\displaystyle X_{1},\dots ,X_{n}\in \mathbb {R} ^{p}}$عبر

$${\displaystyle Y_{i}=f_{\beta }(X_{i})+\varepsilon _{i}}$$

لبعض الوظائف${\displaystyle f_{\beta }}$اعتمادًا على متجه المعلمات${\displaystyle \beta \in \mathbb {R} ^{p+1}}$ومتغير عشوائي${\displaystyle \varepsilon _{i}}$مراعاة التشويش العشوائي في البيانات. تقدير المربعات الصغرى العادية (OLS)${\displaystyle {\hat {\beta }}_{\mathrm {OLS} }}$يفترض أن${\displaystyle f_{\beta }}$هي دالة خطية لـ${\displaystyle \beta }$ويقوم بتقدير المعلمة عن طريق تقليل مجموع مربعات الفروق، والتي تسمى البواقي :

$${\displaystyle {\hat {\beta }}_{\mathrm {OLS} }\in \mathrm {arg} \min _{\beta \in \mathbb {R} ^{p}}\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-X_{i,1}\beta _{1}-\dots -X_{i,p}\beta _{p}\right)^{2}.}$$

في الواقع، إذا كانت متغيرات الضوضاء${\displaystyle \varepsilon _{i}}$إذا كانت المتغيرات مستقلة وموزعة توزيعًا طبيعيًا متطابقًا بمتوسط ​​صفر، فإن طريقة المربعات الصغرى العادية تتطابق مع مقدر الاحتمال الأقصى.

إذا كانت رتبة مصفوفة المتغيرات المساعدة${\displaystyle X=(X_{1},\dots ,X_{n})^{\top }\in \mathbb {R} ^{n\times p}}$يساوي${\displaystyle p}$إذاً، فإنّ طريقة المربعات الصغرى العادية (OLS) تُعطى بشكل فريد بواسطة

$${\displaystyle {\hat {\beta }}_{\mathrm {OLS} }=(X^{\top }X)^{-1}X^{\top }Y,}$$

وهو أفضل مُقدِّر خطي غير متحيز (BLUE) وفقًا لنظرية غاوس-ماركوف . إذا كانت متغيرات الضوضاء، كما ذُكر أعلاه، مستقلة وموزعة توزيعًا طبيعيًا متطابقًا، فإن طريقة المربعات الصغرى العادية (OLS) تُعتبر مُقدِّرًا خطيًا غير متحيز أحادي الاتجاه (UMVU) لجميع فئات المُقدِّرات غير المتحيزة. ^{[ 23 ]}

توجد عدة أنواع من تقدير المربعات الصغرى:

• تقدير المربعات الصغرى الموزونة (WLS): يتم ترجيح البواقي بمعاملات ترجيح مختلفة${\displaystyle w_{i}}$.
• تقدير المربعات الصغرى المعممة (GLS): يُسمح لمتغيرات الضوضاء بأن تكون مرتبطة.
• تقدير المربعات الصغرى غير الخطي : الدالة${\displaystyle f_{\beta }}$يمكن أن يعتمد بشكل غير خطي على المعامل${\displaystyle \beta }$.
• تقدير المربعات الصغرى المنتظم : يتم اختيار المعامل بحيث يتم تقليل مجموع مربعات البواقي بالإضافة إلى حد التنظيم . ومن الخيارات الشائعة للتنظيم المعيار الإقليدي.${\displaystyle \lVert \beta \rVert _{2}^{2}}$مما يؤدي إلى انحدار ريدج ، أو المعيار 1${\displaystyle \lVert \beta \rVert _{1}}$مما يؤدي إلى انحدار لاسو .

بافتراض وجود متجه من الملاحظات العشوائية${\displaystyle X=(X_{1},\dots ,X_{n})}$ودالة الخسارة${\displaystyle L}$أي مقدر بايز هو مقدر${\displaystyle {\hat {\theta }}(X)}$الذي يقلل من مخاطر بايز: ^{[ 24 ]}$${\displaystyle R_{\pi }({\hat {\theta }})=\int _{\Theta }\mathbb {E} [L(\theta ,{\hat {\theta }}(X))]\pi (\theta )\mathrm {d} \theta =\mathbb {E} \left[\int _{\Theta }L{\big (}\theta ,{\hat {\theta }}(X){\big )}p(\theta \mid X)\mathrm {d} \theta \right].}$$

من الواضح أن المخاطرة تقل إلى أدنى حد عندما يقل التكامل تحت التوقع كدالة للمشاهدات. وبالتالي، يُعطى مُقدِّر بايز بشكل مكافئ على أنه مُصغِّر للخسارة اللاحقة.

$${\displaystyle {\hat {\theta }}(X)\in \mathrm {arg} \min _{y\in \mathbb {R} ^{n}}\int _{\Theta }L{\big (}\theta ,y{\big )}p(\theta \mid X)\mathrm {d} \theta .}$$

الخيارات الأكثر شيوعًا لـ${\displaystyle L}$وهي كالتالي:

• ${\displaystyle L(\theta ,y)=(\theta -y)^{2}}$في هذه الحالة، يتم تقليل الخسارة اللاحقة بواسطة المتوسط ​​اللاحق${\displaystyle {\hat {\theta }}(X)=\int _{\Theta }\theta \,p(\theta \mid X)\mathrm {d} \theta }$، كما لاحظ غاوس . ^{[ 25 ]}

• ${\displaystyle L(\theta ,y)=|\theta -y|}$هنا، يتم تقليل الخسارة الخلفية بواسطة وسيط التوزيع الخلفي ، كما لاحظ لابلاس . ^{[ 25 ]}

بحسب نظرية والد، فإنّ المقدرات البايزية الفريدة مقبولة . ^{[ 26 ] [ 27 ]} علاوة على ذلك، في ظل افتراضات معينة حول التوزيع المسبق و${\displaystyle p_{\theta }}$ويمكن إثبات أن مقدر المتوسط ​​اللاحق متسق ، وطبيعي تقاربياً ، وفعال تقاربياً . ^{[ 28 ]}

مقدر الاحتمال اللاحق الأقصى${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }}$هو عامل تعظيم للتوزيع الاحتمالي اللاحق:

$${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(X)\in \mathrm {arg} \max _{\theta \in \Theta }p(\theta \mid X).}$$

بمعنى ما، يُعدّ مُقدِّر الاحتمال الأقصى اللاحق (MAP) نظيراً بايزياً لمُقدِّر الاحتمال الأقصى. في الواقع، بالنسبة لتوزيع احتمالي مسبق منتظم، يتطابق مُقدِّر الاحتمال الأقصى اللاحق مع مُقدِّر الاحتمال الأقصى.

يتمتع مُقدِّر الاحتمال الأقصى التقريبي (MAP) بخصائص تقارب جيدة، حتى في العديد من المسائل المعقدة التي يواجه فيها مُقدِّر الاحتمال الأقصى صعوبات. أما في المسائل المنتظمة، حيث يكون مُقدِّر الاحتمال الأقصى متسقًا، فإن مُقدِّر الاحتمال الأقصى يتفق في النهاية مع مُقدِّر الاحتمال الأقصى التقريبي (MAP). ^{[ 29 ] [ 26 ] [ 30 ]}

يعتمد مقدر النقطة لطول الرسالة الأدنى ( MML ) على نظرية المعلومات البايزية ولا يرتبط بشكل مباشر بالتوزيع الخلفي .

تعتبر الحالات الخاصة لمرشحات بايز مهمة:

• مرشح كالمان
• فلتر وينر

ترتبط العديد من أساليب الإحصاء الحسابي ارتباطًا وثيقًا بالتحليل البايزي:

• مرشح الجسيمات
• سلسلة ماركوف مونت كارلو (MCMC)