الحد الأقصى للتقدير اللاحق

تحتاج هذه المقالة إلى مصادر إضافية للتحقق . يُرجى المساعدة في تحسين هذه المقالة بإضافة مصادر موثوقة . قد يتم الطعن في المواد غير الموثقة وإزالتها. البحث عن المصادر:  "Maximum a postiori estimation" – الأخبار  · الصحف  · الكتب  · العلماء  · JSTOR ( سبتمبر 2011 ) ( تعرف على كيفية ومتى تزيل هذه الرسالة )

جزء من سلسلة عن
إحصاءات بايزية
لاحق = الاحتمال × السابق ÷ الدليل
خلفية
الاستدلال البايزي احتمالية بايزية نظرية بايز نظرية برنشتاين-فون ميزس التماسك نظرية كوكس حكم كرومويل مبدأ الاحتمالية مبدأ اللامبالاة مبدأ الحد الأقصى للإنتروبيا
بناء النموذج
اقتران سابق الانحدار الخطي بايز التجريبية النموذج الهرمي
التقريب الخلفي
سلسلة ماركوف مونتي كارلو تقريب لابلاس تقريبات لابلاس المتداخلة المتكاملة الاستدلال المتغير الحساب البايزي التقريبي
المُقَدِّرون
مقدر بايز فاصل زمني معقول الحد الأقصى للتقدير اللاحق
تقريب الأدلة
دليل الحد الأدنى أخذ العينات المتداخلة
تقييم النموذج
عامل بايز متوسط ​​النموذج التنبؤ الخلفي
بوابة الرياضيات
ف ت هـ

في الإحصاء البايزي ، تقدير الاحتمالية القصوى البعدية ( MAP ) هو تقدير لكمية غير معروفة، تساوي نمط التوزيع البعدي . يمكن استخدام MAP للحصول على تقدير نقطي لكمية غير ملحوظة على أساس البيانات التجريبية. وهو وثيق الصلة بطريقة تقدير الاحتمالية القصوى (ML)، ولكنه يستخدم هدف تحسين معزز يتضمن توزيعًا مسبقًا (يقوم بقياس المعلومات الإضافية المتاحة من خلال المعرفة المسبقة بحدث ذي صلة) على الكمية التي يريد المرء تقديرها. وبالتالي يمكن اعتبار تقدير MAP بمثابة تنظيم لتقدير الاحتمالية القصوى.

افترض أننا نريد تقدير معلمة سكانية غير ملحوظة على أساس الملاحظات . دع توزيع العينة لـ ، بحيث يكون هذا هو احتمال عندما تكون معلمة السكان الأساسية هي . ثم الدالة: ${\displaystyle \theta }$${\displaystyle x}$${\displaystyle f}$${\displaystyle x}$${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(x\mid \theta )\!}$

تُعرف باسم دالة الاحتمال والتقدير:

${\displaystyle {\hat {\theta}}_{\mathrm {MLE} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta ) \!}$

هو أقصى تقدير لاحتمالية . ${\displaystyle \theta }$

الآن افترض أن هناك توزيعًا سابقًا على . هذا يسمح لنا بمعالجة المتغير العشوائي كما في الإحصاءات البايزية . يمكننا حساب التوزيع الخلفي باستخدام نظرية بايز : ${\displaystyle g}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(\theta \mid x)={\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\ منتصف \vartheta )\,g(\vartheta )\,d\vartheta }}\!}$

حيث أن دالة الكثافة هي ، هو مجال . ${\displaystyle g}$${\displaystyle \theta }$${\displaystyle \ثيتا }$${\displaystyle g}$

ثم تقوم طريقة تقدير الحد الأقصى البعدي بالتقدير باعتباره نمط التوزيع البعدي لهذا المتغير العشوائي: ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}{\hat {\theta }}_{\mathrm {MAP} }(x)&={\underset {\theta }{\operatorname {arg\,max} }}\ f(\theta \mid x)\\&={\underset {\theta }{\operatorname {arg\,max} }}\ {\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\\&={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\,g(\theta ).\end{aligned}}\!}$

مقام التوزيع اللاحق (ما يسمى بالاحتمالية الهامشية ) يكون دائمًا موجبًا ولا يعتمد على ولا يلعب أي دور في التحسين. لاحظ أن تقدير MAP لـ يتطابق مع تقدير ML عندما يكون السابق موحدًا (أي أنه دالة ثابتة ). ${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle g}$${\displaystyle g}$

عندما تكون دالة الخسارة من النموذج

${\displaystyle L(\theta ,a)={\begin{cases}0,&{\text{if }}|a-\theta |<c,\\1,&{\text{otherwise}},\\\end{cases}}}$

كما هو الحال مع 0، يقترب مقدر بايز من مقدر MAP، بشرط أن يكون توزيع شبه مقعر. ^[1] ولكن بشكل عام، لا يكون مقدر MAP مقدر بايز إلا إذا كان منفصلًا . ${\displaystyle c}$${\displaystyle \theta }$${\displaystyle \theta }$

يمكن حساب تقديرات MAP بعدة طرق:

1. تحليليًا، عندما يمكن إعطاء وضع (أو أوضاع) التوزيع اللاحق في شكل مغلق . هذه هي الحالة عندما يتم استخدام الأسبقيات المترافقة .
2. من خلال التحسين العددي مثل طريقة التدرج المترافق أو طريقة نيوتن . وهذا يتطلب عادة مشتقات أولى أو ثانية ، والتي يجب تقييمها تحليليًا أو عدديًا.
3. من خلال تعديل خوارزمية التوقع والتعظيم . وهذا لا يتطلب مشتقات الكثافة الخلفية.
4. عبر طريقة مونت كارلو باستخدام محاكاة التلدين

في حين أن تقدير MAP مطلوب فقط في ظل ظروف معتدلة ليكون حالة محدودة لتقدير بايز (تحت دالة الخسارة 0-1)، ^[1] فإنه لا يمثل الطرق البايزية بشكل عام. وذلك لأن تقديرات MAP هي تقديرات نقطية، في حين تتميز الطرق البايزية باستخدام التوزيعات لتلخيص البيانات واستخلاص الاستنتاجات: وبالتالي، تميل الطرق البايزية إلى الإبلاغ عن المتوسط ​​​​اللاحق أو الوسيط بدلاً من ذلك، جنبًا إلى جنب مع فترات زمنية موثوقة . وذلك لأن هذه التقديرات مثالية في ظل الخطأ التربيعي والخطأ الخطي على التوالي - والتي تمثل بشكل أكبر وظائف الخسارة النموذجية - وبالنسبة للتوزيع الخلفي المستمر لا توجد دالة خسارة تشير إلى أن MAP هو مقدر النقطة الأمثل. بالإضافة إلى ذلك، قد لا يكون للتوزيع الخلفي غالبًا شكل تحليلي بسيط: في هذه الحالة، يمكن محاكاة التوزيع باستخدام تقنيات سلسلة ماركوف مونت كارلو ، في حين قد يكون التحسين للعثور على أوضاعه صعبًا أو مستحيلًا. ^{[ بحاجة لمصدر ]}

في العديد من أنواع النماذج، مثل نماذج الخليط ، قد يكون النموذج الخلفي متعدد الأنماط . في مثل هذه الحالة، فإن التوصية المعتادة هي أنه يجب اختيار أعلى نمط: وهذا ليس ممكنًا دائمًا ( التحسين الشامل مشكلة صعبة)، ولا حتى ممكنًا في بعض الحالات (مثل عندما تنشأ مشكلات تحديد الهوية ). علاوة على ذلك، قد يكون أعلى نمط غير مميز لغالبية النماذج الخلفية.

أخيرًا، على عكس مقدرين التعلم الآلي، فإن تقدير MAP ليس ثابتًا عند إعادة تحديد المعلمات. يتضمن التبديل من تحديد معلمة إلى آخر تقديم Jacobian يؤثر على موقع الحد الأقصى. ^[2]

كمثال على الفرق بين مقدرين بايز المذكورين أعلاه (مقدرين المتوسط ​​والوسيط) واستخدام تقدير MAP، ضع في اعتبارك الحالة التي توجد فيها حاجة لتصنيف المدخلات على أنها إيجابية أو سلبية (على سبيل المثال، القروض محفوفة بالمخاطر أو آمنة). افترض أن هناك ثلاث فرضيات محتملة فقط حول طريقة التصنيف الصحيحة ، و مع لاحقات 0.4 و 0.3 و 0.3 على التوالي. افترض أنه في حالة وجود مثيل جديد، يصنفه على أنه إيجابي، في حين يصنفه الآخران على أنه سلبي. باستخدام تقدير MAP للمصنف الصحيح ، يتم تصنيفه على أنه إيجابي، في حين أن مقدرين بايز سيحسبون متوسط ​​جميع الفرضيات ويصنفونها على أنها سلبية. ${\displaystyle x}$${\displaystyle h_{1}}$${\displaystyle h_{2}}$${\displaystyle h_{3}}$${\displaystyle x}$${\displaystyle h_{1}}$${\displaystyle h_{1}}$${\displaystyle x}$${\displaystyle x}$

لنفترض أن لدينا سلسلة من المتغيرات العشوائية IID وتوزيع مسبق لـ معطى بواسطة . نريد إيجاد تقدير MAP لـ . لاحظ أن التوزيع الطبيعي هو مقدمته المرافقة الخاصة به ، لذا سنكون قادرين على إيجاد حل مغلق الشكل تحليليًا. ${\displaystyle (x_{1},\dots ,x_{n})}$ ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ ${\displaystyle \mu }$${\displaystyle N(\mu _{0},\sigma _{m}^{2})}$${\displaystyle \mu }$

يتم بعد ذلك تحديد الوظيفة المراد تعظيمها بواسطة ^[3]

${\displaystyle g(\mu )f(x\mid \mu )=\pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

وهو ما يعادل تقليل الدالة التالية : ${\displaystyle \mu }$

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}.}$

وبالتالي، نرى أن مقدر MAP لـ μ يُعطى بواسطة ^[3]

${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }={\frac {\sigma _{m}^{2}\,n}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)+{\frac {\sigma _{v}^{2}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\,\mu _{0}={\frac {\sigma _{m}^{2}\left(\sum _{j=1}^{n}x_{j}\right)+\sigma _{v}^{2}\,\mu _{0}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}.}$

والذي يتبين أنه عبارة عن استيفاء خطي بين المتوسط ​​السابق ومتوسط ​​العينة المرجح بتبايناتهما الخاصة.

تسمى الحالة السابقة غير المعلوماتية وتؤدي إلى توزيع احتمالي غير صحيح ؛ في هذه الحالة${\displaystyle \sigma _{m}\to \infty }$${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }\to {\hat {\mu }}_{\mathrm {MLE} }.}$

• ديجروت، م. (1970). القرارات الإحصائية المثلى . ماكجرو هيل. رقم ISBN 0-07-016242-5.
• سورنسون، هارولد دبليو. (1980). تقدير المعاملات: المبادئ والمشكلات . مارسيل ديكر. ISBN 0-8247-6987-2.
• هالد، أندرس (2007). "اشتقاق جاوس للتوزيع الطبيعي وطريقة المربعات الصغرى، 1809". تاريخ الاستدلال الإحصائي البارامتري من برنولي إلى فيشر، 1713-1935 . نيويورك: سبرينغر. ص 55-61. رقم ISBN 978-0-387-46409-1.