نظرية التقدير

استكمالاً للمثال باستخدام مُقدِّر الاحتمال الأقصى ، فإن دالة كثافة الاحتمال (pdf) للضوضاء لعينة واحدة${\displaystyle w[n]}$يكون $${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$$ واحتمالية${\displaystyle x[n]}$يصبح (${\displaystyle x[n]}$يمكن اعتبارها${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$) $${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$$ بالاستقلال ، احتمال${\displaystyle \mathbf {x} }$يصبح $${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$$ أخذ اللوغاريتم الطبيعي لدالة كثافة الاحتمال $${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$$ ومُقدِّر الاحتمال الأقصى هو $${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$$

بأخذ المشتقة الأولى لدالة الاحتمال اللوغاريتمي $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$ وتعيينه على الصفر $${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$$

ينتج عن ذلك مقدر الاحتمال الأقصى $${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$$ وهو ببساطة متوسط ​​العينة. ومن هذا المثال، تبين أن متوسط ​​العينة هو مقدر الاحتمال الأقصى لـ${\displaystyle N}$عينات من معلمة ثابتة وغير معروفة مشوهة بواسطة ضوضاء بيضاء غاوسية إضافية (AWGN).

لإيجاد الحد الأدنى لكريمر-راو (CRLB) لمُقدِّر متوسط ​​العينة، من الضروري أولاً إيجاد رقم معلومات فيشر.$${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$$ والنسخ من الأعلى $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$

بأخذ المشتقة الثانية $${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$$ وإيجاد القيمة المتوقعة السالبة أمرٌ بديهي لأنها الآن ثابت حتمي ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

وأخيرًا، وضع معلومات فيشر في $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$$ النتائج في $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$$

بمقارنة هذا بتباين متوسط ​​العينة (المحدد سابقًا)، يتضح أن متوسط ​​العينة يساوي الحد الأدنى لكريمر-راو لجميع قيم${\displaystyle N}$و${\displaystyle A}$وبعبارة أخرى، فإن متوسط ​​العينة هو المقدر الفعال (الفريد بالضرورة) ، وبالتالي فهو أيضًا المقدر غير المتحيز ذو التباين الأدنى (MVUE)، بالإضافة إلى كونه مقدر الاحتمال الأقصى .