Informant (statistics)

While the score is a function of ${\displaystyle \theta }$, it also depends on the observations ${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{T})}$ at which the likelihood function is evaluated, and in view of the random character of sampling one may take its expected value over the sample space. Under certain regularity conditions on the density functions of the random variables,^[3][4] the expected value of the score, evaluated at any parameter value ${\displaystyle \theta }$, is zero. To see this, rewrite the likelihood function ${\displaystyle {\mathcal {L}}}$كدالة كثافة احتمالية${\displaystyle {\mathcal {L}}(\theta ;x)=f(x;\theta )}$، و تشير إلى فضاء العينة${\displaystyle {\mathcal {X}}}$. ثم:

${\displaystyle {\begin{aligned}\operatorname {E} (s\mid \theta )&=\int _{\mathcal {X}}f(x;\theta ){\frac {\partial }{\partial \theta }}\log {\mathcal {L}}(\theta ;x)\,dx\\[6pt]&=\int _{\mathcal {X}}f(x;\theta ){\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx=\int _{\mathcal {X}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}}$

تسمح شروط الانتظام المفترضة بتبديل المشتقة والتكامل (انظر قاعدة لايبنتز للتكامل )، وبالتالي يمكن إعادة كتابة التعبير أعلاه على النحو التالي

${\displaystyle {\frac {\partial }{\partial \theta }}\int _{\mathcal {X}}f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.}$

لاحظ أن قيمة النتيجة، التي تم تقييمها عند قيمة المعلمة الحقيقية${\displaystyle \theta ^{\ast }}$، يساوي صفرًا.

يجدر إعادة صياغة النتيجة المذكورة أعلاه بالكلمات: القيمة المتوقعة للنتيجة، عند أي قيمة للمعامل${\displaystyle \theta }$يساوي صفرًا. وبالتالي، إذا تم أخذ عينات متكررة من توزيع معين، وحساب النتيجة بشكل متكرر، فإن متوسط ​​قيمة النتائج سيميل إلى الصفر بشكل تقاربي .

تباين الدرجة ،${\displaystyle \operatorname {Var} (s(\theta ))=\operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})}$، ويمكن اشتقاقها من التعبير أعلاه للقيمة المتوقعة.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\operatorname {E} (s\mid \theta )\\[6pt]&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\left\{{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}\left\{{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}f(x;\theta )+{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial f(x;\theta )}{\partial \theta ^{\mathsf {T}}}}\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial f(x;\theta )}{\partial \theta ^{\mathsf {T}}}}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx\\[6pt]&=\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}\right)+\operatorname {E} \left({\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\left[{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\right]^{\mathsf {T}}\right)\end{aligned}}}$

وبالتالي فإن تباين الدرجة يساوي القيمة المتوقعة السالبة لمصفوفة هيسيان للوغاريتم الاحتمالية. ^{[ 5 ]}

${\displaystyle \operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})=-\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}\right)}$

يُعرف الأخير باسم معلومات فيشر وهو مكتوب${\displaystyle {\mathcal {I}}(\theta )}$لاحظ أن معلومات فيشر ليست دالة لأي مشاهدة معينة، باعتبارها متغيرًا عشوائيًا${\displaystyle X}$تم حساب المتوسط. يُعد مفهوم المعلومات هذا مفيدًا عند مقارنة طريقتين لملاحظة عملية عشوائية ما .

لنفترض أننا نراقب أول n محاولة لعملية برنولي ، ونرى أن A منها نجاحات والباقي B فشل، حيث احتمال النجاح هو θ . 

ثم الاحتمالية${\displaystyle {\mathcal {L}}}$يكون

${\displaystyle {\mathcal {L}}(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},}$

إذن ، النتيجة هي

${\displaystyle s={\frac {\partial \log {\mathcal {L}}}{\partial \theta }}={\frac {1}{\mathcal {L}}}{\frac {\partial {\mathcal {L}}}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.}$

يمكننا الآن التحقق من أن القيمة المتوقعة للنتيجة تساوي صفرًا. مع ملاحظة أن القيمة المتوقعة لـ A هي nθ والقيمة المتوقعة لـ B هي n (1 − θ ) [تذكر أن A و B متغيران عشوائيان]، يمكننا أن نرى أن القيمة المتوقعة لـ s هي  

${\displaystyle E(s)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.}$

يمكننا أيضًا التحقق من تباين${\displaystyle s}$نعلم أن A + B = n (إذن B = n − A )، وتباين A هو nθ (1 − θ )، لذا فإن تباين s هو     

${\displaystyle {\begin{aligned}\operatorname {var} (s)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}}$

بالنسبة للنماذج ذات النتائج الثنائية ( Y = 1 أو 0)، يمكن تقييم النموذج باستخدام لوغاريتم التنبؤات

${\displaystyle S=Y\log(p)+(1-Y)(\log(1-p))}$

حيث p هي الاحتمالية في النموذج المراد تقديرها و S هي النتيجة. ^{[ 6 ]}

خوارزمية التسجيل هي طريقة تكرارية لتحديد مقدر الاحتمال الأقصى عدديًا .

لاحظ أن${\displaystyle s}$هي وظيفة من${\displaystyle \theta }$والملاحظة${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{T})}$لذا، بشكل عام، لا تُعتبر إحصائية . ومع ذلك، في بعض التطبيقات، مثل اختبار الدرجات ، يتم تقييم الدرجة عند قيمة محددة لـ${\displaystyle \theta }$(مثل قيمة الفرضية الصفرية)، وفي هذه الحالة تكون النتيجة إحصائية. وبشكل بديهي، إذا كان المُقدِّر المُقيد قريبًا من الحد الأقصى لدالة الاحتمال، فلا ينبغي أن تختلف النتيجة عن الصفر بأكثر من خطأ المعاينة . في عام 1948، أثبت سي آر راو لأول مرة أن مربع النتيجة مقسومًا على مصفوفة المعلومات يتبع توزيع χ² ^{التقاربي} تحت الفرضية الصفرية . ^{[ 7 ]}

تجدر الإشارة أيضًا إلى أن اختبار نسبة الاحتمال يُعطى بواسطة

${\displaystyle -2\left[\log {\mathcal {L}}(\theta _{0})-\log {\mathcal {L}}({\hat {\theta }})\right]=2\int _{\theta _{0}}^{\hat {\theta }}{\frac {d\,\log {\mathcal {L}}(\theta )}{d\theta }}\,d\theta =2\int _{\theta _{0}}^{\hat {\theta }}s(\theta )\,d\theta }$

وهذا يعني أنه يمكن فهم اختبار نسبة الاحتمال على أنه المساحة تحت دالة النتيجة بين${\displaystyle \theta _{0}}$و${\displaystyle {\hat {\theta }}}$[ ^{8 ]​}