تقدير الاحتمال الأقصى

على الرغم من أن نطاق دالة الاحتمال - فضاء المعلمات - هو عمومًا مجموعة فرعية محدودة الأبعاد من الفضاء الإقليدي ، إلا أنه قد يلزم أحيانًا دمج قيود إضافية في عملية التقدير. ويمكن التعبير عن فضاء المعلمات على النحو التالي:$${\displaystyle \Theta =\left\{\theta$$ :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}

أين${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$هي دالة ذات قيم متجهة${\displaystyle \,\mathbb {R} ^{k}\,}$داخل${\displaystyle \;\mathbb {R} ^{r}~.}$تقدير المعلمة الحقيقية${\displaystyle \theta }$ينتمي إلى${\displaystyle \Theta }$ثم، من الناحية العملية، يعني ذلك إيجاد القيمة القصوى لدالة الاحتمال مع مراعاة القيد.${\displaystyle ~h(\theta )=0~.}$

من الناحية النظرية، فإن النهج الأكثر طبيعية لحل مشكلة التحسين المقيد هذه هو طريقة الاستبدال، أي "ملء" القيود${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$إلى مجموعة${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$بطريقة تجعل${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$هي دالة أحادية من${\displaystyle \mathbb {R} ^{k}}$إلى نفسها، وإعادة تحديد معلمات دالة الاحتمال عن طريق ضبط${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$^{[ 12 ]} نظرًا لتكافؤ التباين لمُقدِّر الاحتمال الأقصى، فإن خصائص هذا المُقدِّر تنطبق أيضًا على التقديرات المُقيَّدة. ^{[ 13 ]} على سبيل المثال، فيالتوزيع الطبيعي متعدد المتغيرات،تكون مصفوفة التباينالمشترك${\displaystyle \,\Sigma \,}$يجب أن تكون موجبة تمامًا ؛ ويمكن فرض هذا القيد عن طريق الاستبدال${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$أين${\displaystyle \Gamma }$هي مصفوفة مثلثية علوية حقيقية و${\displaystyle \Gamma ^{\mathsf {T}}}$هو منقوله . ^{[ 14 ]}

عمليًا، تُفرض القيود عادةً باستخدام طريقة لاغرانج، والتي تؤدي، في ضوء القيود المحددة أعلاه، إلى معادلات الاحتمالية المقيدة.$${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$$و${\displaystyle h(\theta )=0\;,}$

أين${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$هو متجه عمودي من مُضاعِفات لاغرانج و${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$هي مصفوفة جاكوبيان للمشتقات الجزئية من الرتبة k × r . ^{[ 12 ]} وبطبيعة الحال، إذا لم تكن القيود ملزمة عند القيمة القصوى، فإن معاملات لاغرانج يجب أن تكون صفرًا. ^{[ 15 ]} وهذا بدوره يسمح بإجراء اختبار إحصائي لـ "صحة" القيد، يُعرف باسم اختبار معامل لاغرانج .

يمكن إجراء تقدير الاحتمال الأقصى غير البارامتري باستخدام الاحتمال التجريبي .

طريقة الدعم هي تقنية تُستخدم لاستخلاص استنتاجات من مجموعات البيانات. ووفقًا لـ AWF Edwards [ ^{16 ] ،} تهدف طريقة الدعم إلى استخلاص استنتاجات حول المعلمات المجهولة من خلال الدعم النسبي، أو دالة الاحتمال اللوغاريتمي ، المُستنتجة من مجموعة بيانات لقيمة معينة للمعلمة. ويمكن استخدام هذه التقنية سواءً توفرت معلومات مسبقة أم لا. تُعد طريقة الاحتمال الأقصى جزءًا من طريقة الدعم، ولكن تجدر الإشارة إلى أن طريقة الدعم تُوفر أيضًا مناطق ثقة مُحددة بناءً على دعمها.

في ظل الشروط الموضحة أدناه، يكون مُقدِّر الاحتمال الأقصى متسقًا . ويعني الاتساق أنه إذا تم توليد البيانات بواسطة${\displaystyle f(\cdot \,;\theta _{0})}$وإذا كان لدينا عدد كبير بما فيه الكفاية من المشاهدات n ، فمن الممكن إيجاد قيمة θ₀ بدقة اختيارية. رياضياً، هذا يعني أنه عندما _يؤول n إلى اللانهاية، فإن المُقدِّر${\displaystyle {\widehat {\theta \,}}}$يتقارب احتمالياً مع قيمته الحقيقية:

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$$

في ظل شروط أقوى قليلاً، يتقارب المقدر بشكل شبه مؤكد (أو بقوة ):

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$$

في التطبيقات العملية، لا يتم توليد البيانات بواسطة${\displaystyle f(\cdot \,;\theta _{0})}$. بدلاً من،${\displaystyle f(\cdot \,;\theta _{0})}$هو نموذج، غالبًا ما يكون بصورة مثالية، للعملية الناتجة عن البيانات. ومن المقولات الشائعة في الإحصاء أن جميع النماذج خاطئة . لذا، لا يتحقق الاتساق الحقيقي في التطبيقات العملية. ومع ذلك، يُعتبر الاتساق في كثير من الأحيان خاصية مرغوبة في المُقدِّر.

لضمان الاتساق، تكفي الشروط التالية. ^{[ 18 ]}

يمكن استخدام شرط الهيمنة في حالة المشاهدات المستقلة والمتطابقة التوزيع . أما في حالة المشاهدات غير المستقلة والمتطابقة التوزيع، فيمكن التحقق من التقارب المنتظم في الاحتمال من خلال إثبات أن المتتالية${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$هي متصلة بشكل متساوٍ عشوائياً .

إذا أراد المرء أن يثبت أن مقدر الاحتمال الأقصى${\displaystyle {\widehat {\theta \,}}}$إذا تقاربت إلى θ ₀ بشكل شبه مؤكد ، فيجب فرض شرط أقوى للتقارب المنتظم بشكل شبه مؤكد: $${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$$

بالإضافة إلى ذلك، إذا تم إنشاء البيانات بواسطة (كما هو مفترض أعلاه)${\displaystyle f(\cdot \,;\theta _{0})}$ثم، في ظل شروط معينة، يمكن أيضًا إثبات أن مقدر الاحتمال الأقصى يتقارب في التوزيع إلى التوزيع الطبيعي. على وجه التحديد، ^{[ 19 ]}$${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$$ حيث I هي مصفوفة معلومات فيشر .

يختار مُقدِّر الاحتمال الأقصى قيمة المعلمة التي تُعطي البيانات المرصودة أكبر احتمال ممكن (أو كثافة احتمالية، في الحالة المستمرة). إذا كانت المعلمة تتكون من عدد من المكونات، فإننا نُعرِّف مُقدِّرات الاحتمال الأقصى المنفصلة لكل منها، باعتبارها المكون المُناظر من مُقدِّر الاحتمال الأقصى للمعلمة الكاملة. وبناءً على ذلك، إذا${\displaystyle {\widehat {\theta \,}}}$هو الحد الأدنى لتقدير الاحتمالية لـ${\displaystyle \theta }$وإذا${\displaystyle g(\theta )}$أي تحول من${\displaystyle \theta }$ثم تقدير الاحتمال الأقصى لـ${\displaystyle \alpha =g(\theta )}$هو بحكم التعريف ^{[ 20 ]}

$${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$$

إنه يزيد من احتمالية الملف الشخصي :

$${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta$$ α = g(θ) L(θ).

كما أن تقدير الاحتمال الأقصى (MLE) متغيرٌ بالنسبة لبعض تحويلات البيانات. إذا${\displaystyle y=g(x)}$أين${\displaystyle g}$إذا كانت العلاقة أحادية ولا تعتمد على المعاملات المراد تقديرها، فإن دوال الكثافة تحقق

$${\displaystyle f_{Y}(y)=f_{X}(g^{-1}(y))\,|(g^{-1}(y))^{\prime }|}$$

وبالتالي دوال الاحتمال لـ${\displaystyle X}$و${\displaystyle Y}$لا يختلف إلا بعامل لا يعتمد على معلمات النموذج.

على سبيل المثال، تكون معلمات تقدير الاحتمال الأقصى للتوزيع اللوغاريتمي الطبيعي هي نفسها معلمات التوزيع الطبيعي المُطابق للوغاريتم البيانات. في الواقع، في حالة التوزيع اللوغاريتمي الطبيعي إذا${\displaystyle X\sim {\mathcal {N}}(0,1)}$، ثم${\displaystyle Y=g(X)=e^{X}}$يتبع توزيعًا لوغاريتميًا طبيعيًا . كثافة Y تتبع مع${\displaystyle f_{X}}$الوضع الطبيعي القياسي${\displaystyle g^{-1}(y)=\log(y)}$،${\displaystyle |(g^{-1}(y))^{\prime }|={\frac {1}{y}}}$ل${\displaystyle y>0}$.

كما هو مفترض أعلاه، إذا تم إنشاء البيانات بواسطة${\displaystyle ~f(\cdot \,;\theta _{0})~,}$ثم، في ظل شروط معينة، يمكن أيضًا إثبات أن مُقدِّر الاحتمال الأقصى يتقارب في التوزيع إلى التوزيع الطبيعي. وهو متسق من الدرجة √n  وفعال تقاربياً، مما يعني أنه يصل إلى حد كرامر-راو . تحديدًا، ^{[ 19 ]}

$${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$$ أين${\displaystyle ~{\mathcal {I}}~}$مصفوفة معلومات فيشر : $${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

وعلى وجه الخصوص ، هذا يعني أن انحياز مقدر الاحتمال الأقصى يساوي صفرًا حتى الرتبة 1 / √ n  .

مع ذلك، عند النظر في الحدود ذات الرتبة الأعلى في توسيع توزيع هذا المُقدِّر، يتضح أن θ _mle له انحياز من الرتبة 1 / n . هذا الانحياز يساوي (مكونًا مكونًا) ^{[ 21 ].}

$${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$$

أين${\displaystyle {\mathcal {I}}^{jk}}$(مع الأرقام المرتفعة) تشير إلى المكون ( j,k ) من مصفوفة معلومات فيشر العكسية${\displaystyle {\mathcal {I}}^{-1}}$، و

$${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

باستخدام هذه الصيغ، من الممكن تقدير الانحياز من الدرجة الثانية لمقدر الاحتمال الأقصى، وتصحيح هذا الانحياز عن طريق طرحه: $${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$$ هذا المقدر غير متحيز حتى الحدود من الرتبة 1 / n ، ويسمى مقدر الاحتمال الأقصى المصحح للتحيز .

يُعدّ هذا المُقدِّر المُصحَّح للتحيز فعالاً من الدرجة الثانية (على الأقل ضمن عائلة الدوال الأسية المنحنية)، ما يعني أنه يتميز بأقل متوسط ​​مربع خطأ بين جميع المُقدِّرات المُصحَّحة للتحيز من الدرجة الثانية، حتى حدود الرتبة 1 / n² ^. ويمكن مواصلة هذه العملية، أي اشتقاق حد تصحيح التحيز من الدرجة الثالثة، وهكذا. مع ذلك، فإن مُقدِّر الاحتمال الأقصى ليس فعالاً من الدرجة الثالثة. ^{[ 22 ]} 

يتطابق مُقدِّر الاحتمال الأقصى مع مُقدِّر بايزي الأكثر احتمالاً عند وجود توزيع احتمالي منتظم مسبق على المعلمات . في الواقع، فإن تقدير الاحتمال اللاحق الأقصى هو المعلمة θ التي تُعظِّم احتمال θ بالنظر إلى البيانات، وفقًا لنظرية بايز.

$${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$$

أين${\displaystyle \operatorname {\mathbb {P} } (\theta )}$يمثل التوزيع المسبق للمعامل θ و${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$تمثل احتمالية البيانات بعد حساب متوسطها على جميع المعلمات. وبما أن المقام مستقل عن θ ، فإن المقدر البايزي يُحسب عن طريق تعظيم${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$فيما يتعلق بـ θ . إذا افترضنا كذلك أن الافتراض المسبق${\displaystyle \operatorname {\mathbb {P} } (\theta )}$إذا كان التوزيع منتظمًا، يتم الحصول على المقدر البايزي عن طريق تعظيم دالة الاحتمال.${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$وبالتالي، يتطابق المقدر البايزي مع مقدر الاحتمال الأقصى لتوزيع مسبق منتظم.${\displaystyle \operatorname {\mathbb {P} } (\theta )}$.

إيجاد${\displaystyle {\hat {\theta }}}$إن إيجاد القيمة التي تزيد من الاحتمالية يكافئ تقاربياً إيجاد${\displaystyle {\hat {\theta }}}$الذي يحدد توزيعًا احتماليًا (${\displaystyle Q_{\hat {\theta }}}$) الذي له مسافة دنيا، من حيث تباعد كولباك-لايبير ، إلى توزيع الاحتمال الحقيقي الذي تم توليد بياناتنا منه (أي، تم توليده بواسطة${\displaystyle P_{\theta _{0}}}$[ ^{24 ] في عالم مثالي ،} يكون P و Q متساويين (والشيء الوحيد المجهول هو${\displaystyle \theta }$الذي يُحدد P)، ولكن حتى لو لم تكن كذلك وكان النموذج الذي نستخدمه غير دقيق، فإن تقدير الاحتمال الأقصى سيُعطينا التوزيع "الأقرب" (ضمن قيود نموذج Q الذي يعتمد على${\displaystyle {\hat {\theta }}}$) إلى التوزيع الحقيقي${\displaystyle P_{\theta _{0}}}$[ ^{25 ]​}

يمكن استبدال تقديرات الاحتمال الأقصى للمعلمات في تعابير دالة كثافة الاحتمال ، أو دالة التوزيع التراكمي ، أو دالة الكمية ، لتوليد تنبؤات باحتمالات أو كميات الأحداث خارج العينة. يُوصى بهذه الطريقة للتنبؤ بالاحتمالات في كتب الإحصاء ^{[ 27 ] [ 28 ] [ 29 ]} وكتب العلوم الاكتوارية ^{[ 30 ]} ، وهي شائعة الاستخدام في الأدبيات العلمية. مع ذلك، يفشل التنبؤ بالاحتمال الأقصى في نقل عدم اليقين المحيط بتقديرات معلمات الاحتمال الأقصى إلى التنبؤ ^{[ 31 ] [ 32 ]} . ونتيجةً لذلك، لا تكون الاحتمالات المتوقعة دقيقة ، ولا يُتوقع أن تتطابق مع ترددات الأحداث خارج العينة. على وجه الخصوص، عادةً ما يتم التقليل من احتمالات تجاوز الذيل وكميات تجاوز الذيل، وأحيانًا بشكل كبير. يكون التقليل في أقصى حالاته عندما تكون بيانات التدريب قليلة، وعندما يتم تقدير العديد من المعلمات، وبالنسبة للذيل البعيد. في الحالات التي يُمثل فيها هذا التحيز في التنبؤ مشكلة، يمكن أن توفر التنبؤات البايزية حلاً إذا تم اختيار التوزيع الاحتمالي المسبق بحيث يقلل من التحيز أو يزيله تمامًا. ^{[ 33 ] [ 34 ] [ 35 ]}

لنفترض حالةً وُضِعَت فيها n تذكرة مرقمة من 1 إلى n في صندوق، ثم سُحِبَت واحدة منها عشوائيًا ( انظر التوزيع المنتظم )؛ وبالتالي، يكون حجم العينة 1. إذا كان n غير معروف، فإن مُقدِّر الاحتمال الأقصى${\displaystyle {\widehat {n}}}$يمثل n الرقم m على التذكرة المسحوبة. (الاحتمالية تساوي صفرًا عندما n  < m ، وتساوي 1 / n عندما n ≥ m ، وتكون هذه الاحتمالية في أعلى مستوياتها عندما n = m . لاحظ أن تقدير الاحتمالية القصوى لـ n يقع عند الحد الأدنى للقيم الممكنة { m , m + 1, ...}، وليس في مكان ما في "منتصف" نطاق القيم الممكنة، مما يقلل من التحيز). القيمة المتوقعة للرقم m على التذكرة المسحوبة، وبالتالي القيمة المتوقعة لـ         ${\displaystyle {\widehat {n}}}$، هو ( ن  +  1)/2. ونتيجة لذلك، مع حجم عينة يساوي 1، فإن مقدر الاحتمال الأقصى لـ ن سيقلل بشكل منهجي من قيمة ن بمقدار ( ن  -  1)/2.

لنفترض أننا نرغب في تحديد مدى تحيز عملة معدنية غير عادلة . لنفترض أن احتمال ظهور " صورة " عند رمي العملة هو p . يصبح الهدف حينها هو تحديد قيمة p .

لنفترض أن العملة المعدنية تم رميها 80 مرة: أي أن العينة قد تكون شيئًا مثل x ₁  =  H، x ₂  =  T، ...، x ₈₀  =  T، ويتم ملاحظة عدد مرات ظهور "H".

احتمالية ظهور الكتابة عند رمي العملة هي 1  − p (حيث p هي θ المذكورة أعلاه). لنفترض أن النتيجة هي 49 صورة و31 كتابة ، ولنفترض أن العملة سُحبت من صندوق يحتوي على ثلاث عملات: واحدة تعطي صورة باحتمالية p = 1/3 ، وأخرى تعطي صورة باحتمالية p = 1/2 ، وثالثة تعطي صورة باحتمالية p = 2/3 . فقدت العملات ملصقاتها، لذا فإن العملة المسحوبة غير معروفة. باستخدام تقدير الاحتمال الأقصى، يمكن إيجاد العملة ذات الاحتمالية الأكبر، بالنظر إلى البيانات المرصودة. باستخدام دالة الكتلة الاحتمالية للتوزيع ذي الحدين مع حجم عينة يساوي 80 ، وعدد نجاحات يساوي 49 ولكن لقيم مختلفة لـ p (احتمالية النجاح)، تأخذ دالة الاحتمال (المعرفة أدناه) إحدى ثلاث قيم:         

$${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$$

يتم تعظيم الاحتمالية عندما تكون p  = 2 ⁄ 3 ، وبالتالي فإن هذا هو تقدير الاحتمالية القصوى لـ p .  

لنفترض الآن أنه كان هناك عملة واحدة فقط، ولكن احتمالها (p) يمكن أن يكون أي قيمة بين 0 و 1 . دالة الاحتمال التي يجب تعظيمها هي $${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$$

ويتم تحقيق أقصى قيمة على جميع القيم الممكنة 0 ≤ p ≤ 1.

إحدى طرق زيادة هذه الدالة إلى أقصى حد هي عن طريق الاشتقاق بالنسبة إلى p وجعلها تساوي صفرًا:

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$$

هذا ناتج ضرب ثلاثة حدود. الحد الأول يساوي صفرًا عندما تكون قيمة p  تساوي صفرًا .  الحد الثاني يساوي صفرًا عندما تكون قيمة p  تساوي  واحدًا. الحد الثالث يساوي صفرًا عندما تكون قيمة p  تساوي 49/80 . من الواضح أن الحل الذي يُعظّم الاحتمالية هو p = 49/80 ( لأن p = 0 و p = 1 ينتج عنهما احتمالية تساوي صفرًا). بالتالي، فإن مُقدِّر الاحتمالية القصوى لـ p هو 49/80 .       

يمكن تعميم هذه النتيجة بسهولة باستبدال الحرف s مكان 49 لتمثيل عدد "النجاحات" الملحوظة في تجارب برنولي ، والحرف n مكان 80 لتمثيل عدد تجارب برنولي. وبإجراء الحساب نفسه، نحصل على s / n، وهو مُقدِّر الاحتمال الأقصى لأي سلسلة من n تجربة برنولي ينتج عنها s "نجاحًا".

بالنسبة للتوزيع الطبيعي${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$والتي لها دالة كثافة احتمالية

$${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$$

دالة كثافة الاحتمال المقابلة لعينة من n متغيرات عشوائية طبيعية مستقلة ومتطابقة التوزيع (الاحتمالية) هي

$${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$$

تحتوي هذه المجموعة من التوزيعات على معلَمَين: θ  = ( μ , σ )  ؛ لذا فإننا نزيد الاحتمالية إلى أقصى حد.${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$، على كلا المعيارين في وقت واحد، أو بشكل فردي إن أمكن.

بما أن دالة اللوغاريتم نفسها دالة متصلة ومتزايدة تمامًا على مدى دالة الاحتمال، فإن القيم التي تُعظّم دالة الاحتمال ستُعظّم أيضًا لوغاريتمها (دالة الاحتمال اللوغاريتمية نفسها ليست بالضرورة متزايدة تمامًا). ويمكن كتابة دالة الاحتمال اللوغاريتمية على النحو التالي:

$${\displaystyle \log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=-{\frac {n}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(x_{i}-\mu \right)^{2}}$$

(ملاحظة: يرتبط احتمال اللوغاريتم ارتباطًا وثيقًا بإنتروبيا المعلومات ومعلومات فيشر .)

نقوم الآن بحساب مشتقات دالة الاحتمال اللوغاريتمي هذه على النحو التالي.

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=0-{\frac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}.\end{aligned}}}$$ أين${\displaystyle {\bar {x}}}$هو متوسط ​​العينة . ويتم حل هذه المسألة بواسطة

$${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$$

هذه هي بالفعل القيمة القصوى للدالة، لأنها نقطة التحول الوحيدة في μ، والمشتقة الثانية أقل من الصفر تمامًا. وقيمتها المتوقعة تساوي قيمة المعامل μ للتوزيع المعطى.

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$$

وهذا يعني أن مقدر الاحتمال الأقصى${\displaystyle {\widehat {\mu }}}$محايد.

وبالمثل، نقوم بتفاضل دالة الاحتمال اللوغاريتمي بالنسبة إلى σ ونساويها بالصفر:

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$$

والتي يتم حلها بواسطة

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$$

إدخال التقدير${\displaystyle \mu ={\widehat {\mu }}}$نحصل على

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$$

لحساب قيمتها المتوقعة، من الملائم إعادة كتابة التعبير بدلالة المتغيرات العشوائية ذات المتوسط ​​الصفري ( الخطأ الإحصائي ). ${\displaystyle \delta _{i}\equiv \mu -x_{i}}$التعبير عن التقدير بهذه المتغيرات ينتج عنه

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$$

بتبسيط العبارة أعلاه، وباستخدام الحقائق التي${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$و${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$، مما يسمح لنا بالحصول

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$$

هذا يعني أن المُقدِّر${\displaystyle {\widehat {\sigma }}^{2}}$متحيز لـ${\displaystyle \sigma ^{2}}$ويمكن أيضاً إثبات أن${\displaystyle {\widehat {\sigma }}}$متحيز لـ${\displaystyle \sigma }$لكن كلاهما${\displaystyle {\widehat {\sigma }}^{2}}$و${\displaystyle {\widehat {\sigma }}}$متسقة.

بصورة رسمية نقول أن مقدر الاحتمال الأقصى لـ${\displaystyle \theta =(\mu ,\sigma ^{2})}$يكون

$${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$$

في هذه الحالة، يمكن الحصول على تقديرات الاحتمال الأقصى بشكل فردي. ولكن في الغالب، قد لا يكون هذا هو الحال، وسيتعين الحصول على تقديرات الاحتمال الأقصى في وقت واحد.

يأخذ اللوغاريتم الطبيعي للاحتمالية عند أقصى قيمة له شكلاً بسيطاً للغاية:

$${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$$

يمكن إثبات أن قيمة الاحتمال اللوغاريتمي القصوى هذه هي نفسها بالنسبة لطرق المربعات الصغرى الأكثر عمومية ، حتى بالنسبة لطرق المربعات الصغرى غير الخطية . ويُستخدم هذا غالبًا في تحديد فترات الثقة التقريبية ومناطق الثقة القائمة على الاحتمال ، والتي تكون عمومًا أكثر دقة من تلك التي تستخدم التوزيع الطبيعي التقاربي المذكور أعلاه.

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$هي أعداد في الخلايا/المربعات من 1 إلى m؛ لكل مربع احتمال مختلف (فكر في المربعات الأكبر أو الأصغر) ونحدد عدد الكرات التي تسقط.${\displaystyle n}$:${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$احتمال كل مربع هو${\displaystyle p_{i}}$، مع وجود قيد:${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$هذه حالة يكون فيها${\displaystyle X_{i}}$إذا لم تكن المتجهات مستقلة، فإن الاحتمال المشترك لمتجه ما${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$يُطلق عليه اسم متعدد الحدود وله الشكل التالي:

$${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$$

كل مربع على حدة مقابل جميع المربعات الأخرى يمثل توزيعًا ثنائيًا، وهذا امتداد له.

احتمالية حدوث ذلك هي:

$${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$$

يجب أخذ القيد في الاعتبار واستخدام معاملات لاغرانج:

$${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$$

من خلال افتراض أن جميع المشتقات تساوي صفرًا، يتم الحصول على التقدير الأكثر طبيعية

$${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$$

إن تعظيم احتمالية اللوغاريتم، مع وجود قيود وبدونها، يمكن أن يكون مشكلة غير قابلة للحل في شكل مغلق، ثم يتعين علينا استخدام الإجراءات التكرارية.

(ملاحظة: هنا يتعلق الأمر بمسألة تعظيم، لذا يتم عكس الإشارة قبل التدرج)

$${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$$ هذا صغير بما يكفي للتقارب و${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

تتطلب طريقة التدرج الهبوطي حساب التدرج في التكرار رقم r ، ولكنها لا تتطلب حساب معكوس المشتقة الثانية، أي مصفوفة هيسيان. لذلك، فهي أسرع حسابيًا من طريقة نيوتن - رافسون.

$${\displaystyle \eta _{r}=1}$$و${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

أين${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$هي النتيجة و${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$هي معكوس مصفوفة هيسيان لدالة الاحتمال اللوغاريتمي، وكلاهما يُحسب في التكرار رقم r . ^{[ 41 ] [ 42 ]} ولكن نظرًا لأن حساب مصفوفة هيسيان مكلف حسابيًا ، فقد تم اقتراح العديد من البدائل. تقوم خوارزمية بيرندت-هول-هول-هاوسمان الشائعة بتقريب مصفوفة هيسيان بالضرب الخارجي للتدرج المتوقع، بحيث