المعلومات المرصودة

📅 آخر تحديث: ٢٩ يوليو ٢٠٢٦
✍️ نُشر في: ٢٩ يوليو ٢٠٢٦
📷 يحتوي على 12 صور
الموسوعة الحرة

في الإحصاء ، تُعرف المعلومات المرصودة ، أو معلومات فيشر المرصودة ، بأنها معكوس المشتقة الثانية ( مصفوفة هيسيان ) لـ " لوغاريتم الاحتمالية " (لوغاريتم دالة الاحتمالية ). وهي نسخة تعتمد على العينة من معلومات فيشر .

تعريف

لنفترض أننا نلاحظ متغيرات عشوائيةX1،...،Xن{\displaystyle X_{1},\ldots ,X_{n}}مستقلة وموزعة توزيعًا متطابقًا بكثافة f ( X ;  θ)، حيث θ متجه (قد يكون غير معروف). عندئذٍ يكون احتمال اللوغاريتم للمعاملاتθ{\displaystyle \theta }بالنظر إلى البياناتX1،...،Xن{\displaystyle X_{1},\ldots ,X_{n}}يكون

ℓ(θ|X1،...،Xن)=∑أنا=1نسجل⁡و(Xأنا|θ){\displaystyle \ell (\theta |X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}\log f(X_{i}|\theta )}.

نُعرّف مصفوفة المعلومات المرصودة عندθ*{\displaystyle \theta ^{*}}مثل

ج(θ*)=-∇∇⊤ℓ(θ)|θ=θ*{\displaystyle {\mathcal {J}}(\theta ^{*})=-\left.\nabla \nabla ^{\top }\ell (\theta )\right|_{\theta =\theta ^{*}}}
=-(∂2∂θ12∂2∂θ1∂θ2⋯∂2∂θ1∂θص∂2∂θ2∂θ1∂2∂θ22⋯∂2∂θ2∂θص⋮⋮⋱⋮∂2∂θص∂θ1∂2∂θص∂θ2⋯∂2∂θص2)ℓ(θ)|θ=θ*{\displaystyle =-\left.\left({\begin{array}{cccc}{\tfrac {\partial ^{2}}{\partial \theta _{1}^{2}}}&{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{p}}}\\{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{2}^{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{p}}}\\\vdots &\vdots &\ddots &\vdots \\{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{p}^{2}}}\\\end{array}}\right)\ell (\theta )\right|_{\theta =\theta ^{*}}}

بما أن معكوس مصفوفة المعلومات هو مصفوفة التغاير التقاربي لمُقدِّر الاحتمال الأقصى المقابل ، فغالبًا ما تُقيَّم المعلومات المرصودة عند تقدير الاحتمال الأقصى لغرض اختبار الدلالة الإحصائية أو بناء فترات الثقة . [ 1 ] تسمح خاصية الثبات لمُقدِّرات الاحتمال الأقصى بتقييم مصفوفة المعلومات المرصودة قبل عكسها.

تعريف بديل

قام كل من أندرو جيلمان وديفيد دونسون ودونالد روبين [ 2 ] بتعريف المعلومات المرصودة بدلاً من ذلك من حيث الاحتمالية اللاحقة للمعلمات ،ص(θ|y){\displaystyle p(\theta |y)}:

أنا(θ)=-د2دθ2سجل⁡ص(θ|y){\displaystyle I(\theta )=-{\frac {d^{2}}{d\theta ^{2}}}\log p(\theta |y)}

معلومات عن الصياد

معلومات فيشرأنا(θ){\displaystyle {\mathcal {I}}(\theta )}هي القيمة المتوقعة للمعلومات المرصودة بالنظر إلى ملاحظة واحدةX{\displaystyle X}موزعة وفقًا للنموذج الافتراضي ذي المعلمةθ{\displaystyle \theta }:

أنا(θ)=هـ(ج(θ)){\displaystyle {\mathcal {I}}(\theta )=\mathrm {E} ({\mathcal {J}}(\theta ))}.

مقارنة بالمعلومات المتوقعة

لا تزال المقارنة بين المعلومات المرصودة والمعلومات المتوقعة مجالًا نشطًا ومستمرًا للبحث والنقاش. قدّم إيفرون وهينكلي [ 3 ] تبريرًا إحصائيًا لتفضيل المعلومات المرصودة على المعلومات المتوقعة عند استخدام التقريبات الطبيعية لتوزيع مُقدِّر الاحتمال الأقصى في عائلات ذات مُعامل واحد في وجود إحصائية مساعدة تؤثر على دقة مُقدِّر الاحتمال الأقصى. بيّن ليندسي ولي أن مصفوفة المعلومات المرصودة تُعطي أقل متوسط ​​مربع خطأ كتقريب للمعلومات الحقيقية إذا كان حد الخطأ يساوييا(ن-3/2){\displaystyle O(n^{-3/2})}يتم تجاهله. [ 4 ] في حالة ليندسي ولي، لا تزال مصفوفة المعلومات المتوقعة تتطلب التقييم عند تقديرات الاحتمال الأقصى التي تم الحصول عليها، مما يؤدي إلى إدخال العشوائية.

مع ذلك، عندما يكون بناء فترات الثقة هو الهدف الرئيسي، تشير بعض الدراسات إلى أن المعلومات المتوقعة تتفوق على نظيرتها المرصودة. فقد أظهر يوان وسبال أن المعلومات المتوقعة تتفوق على نظيرتها المرصودة في بناء فترات الثقة للمعاملات العددية من حيث متوسط ​​مربع الخطأ . [ 5 ] وقد عُممت هذه النتيجة لاحقًا لتشمل حالات المعاملات المتعددة، وإن كان الادعاء قد خُفف ليقتصر على أن مصفوفة المعلومات المتوقعة تؤدي أداءً لا يقل عن أداء مصفوفة المعلومات المرصودة. [ 6 ]

انظر أيضاً

مراجع

  1. ↑ دودج، واي. (2003) قاموس أكسفورد للمصطلحات الإحصائية ، مطبعة جامعة أكسفورد. رقم ISBN 0-19-920613-9
  2. ↑ جيلمان، أندرو ؛ كارلين، جون؛ ستيرن، هال؛ دونسون، ديفيد ؛ فيهتاري، آكي؛ روبين، دونالد (2014). تحليل البيانات البايزية ( الطبعة الثالثة). ص 84.  
  3. ↑ إيفرون، ب .؛ هينكلي، د. ف. (1978). "تقييم دقة مُقدِّر الاحتمال الأقصى: معلومات فيشر المرصودة مقابل المتوقعة". Biometrika . 65 ( 3): 457–487 . doi : 10.1093/biomet/65.3.457 . JSTOR 2335893. MR 0521817 .  
  4. ↑ ليندسي، بروس ج.؛ لي، بينغ (1 أكتوبر 1997). "حول الأمثلية من الدرجة الثانية لمعلومات فيشر المرصودة" . حوليات الإحصاء . 25 (5). doi : 10.1214/aos/1069362393 .
  5. ↑ يوان، شيانغيو؛ سبال، جيمس سي. (يوليو 2020). "فترات الثقة مع معلومات فيشر المتوقعة والملاحظة في الحالة العددية". مؤتمر التحكم الأمريكي 2020 (ACC) . الصفحات 2599-2604 . doi : 10.23919/ACC45564.2020.9147324 . ISBN  978-1-5386-8266-1. S2CID 220888731 . 
  6. ↑ جيانغ، سيهانغ؛ سبال، جيمس سي. (24 مارس 2021). "مقارنة بين معلومات فيشر المتوقعة والملاحظة في تقدير الفترات". المؤتمر السنوي الخامس والخمسون لعلوم ونظم المعلومات (CISS) لعام 2021. الصفحات 1-6 . doi : 10.1109/CISS50987.2021.9400253 . ISBN  978-1-6654-1268-1. S2CID 233332868 .