طريقة بايز التجريبية

جزء من سلسلة عن
إحصاءات بايزية
لاحق = الاحتمال × السابق ÷ الدليل
خلفية
الاستدلال البايزي احتمالية بايزية نظرية بايز نظرية برنشتاين-فون ميزس التماسك نظرية كوكس حكم كرومويل مبدأ الاحتمالية مبدأ اللامبالاة مبدأ الحد الأقصى للإنتروبيا
بناء النموذج
اقتران سابق الانحدار الخطي بايز التجريبية النموذج الهرمي
التقريب الخلفي
سلسلة ماركوف مونتي كارلو تقريب لابلاس تقريبات لابلاس المتداخلة المتكاملة الاستدلال المتغير الحساب البايزي التقريبي
المُقَدِّرون
مقدر بايز فاصل زمني معقول الحد الأقصى للتقدير اللاحق
تقريب الأدلة
دليل الحد الأدنى أخذ العينات المتداخلة
تقييم النموذج
عامل بايز ( معيار شوارتز ) متوسط ​​النموذج التنبؤ الخلفي
بوابة الرياضيات
ف ت هـ

طرق بايز التجريبية هي إجراءات للاستدلال الإحصائي حيث يتم تقدير توزيع الاحتمالات المسبق من البيانات. يتناقض هذا النهج مع الطرق البايزية القياسية ، حيث يتم تثبيت التوزيع المسبق قبل ملاحظة أي بيانات. على الرغم من هذا الاختلاف في المنظور، يمكن اعتبار بايز التجريبية بمثابة تقريب لمعالجة بايزية كاملة لنموذج هرمي حيث يتم ضبط المعلمات في أعلى مستوى من التسلسل الهرمي على قيمها الأكثر احتمالية، بدلاً من دمجها. ^[1] تمثل بايز التجريبية، المعروفة أيضًا باسم أقصى احتمال هامشي ، ^[2] نهجًا مناسبًا لتعيين المعلمات الفائقة ، ولكن تم استبدالها في الغالب بتحليلات هرمية بايزية كاملة منذ العقد الأول من القرن الحادي والعشرين مع التوافر المتزايد لتقنيات الحوسبة ذات الأداء الجيد. ومع ذلك، لا يزال يستخدم بشكل شائع للطرق المتغيرة في التعلم العميق، مثل المشفرات التلقائية المتغيرة ، حيث تكون مساحات المتغيرات الكامنة عالية الأبعاد.

يمكن اعتبار طرق بايز التجريبية بمثابة تقريب للمعالجة البايزية الكاملة لنموذج بايز الهرمي .

على سبيل المثال، في نموذج بايز الهرمي المكون من مرحلتين، يُفترض أن البيانات المرصودة يتم إنشاؤها من مجموعة غير مرصودة من المعلمات وفقًا لتوزيع الاحتمالات . في المقابل، يمكن اعتبار المعلمات عينات مأخوذة من مجموعة سكانية تتميز بمعلمات فائقة وفقًا لتوزيع الاحتمالات . في نموذج بايز الهرمي، على الرغم من عدم وجوده في تقريب بايز التجريبي، يُعتبر أن المعلمات الفائقة مأخوذة من توزيع غير مُحدَّد المعلمات . ${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$${\displaystyle p(y\mid \theta )\,}$${\displaystyle \theta }$ ${\displaystyle \eta \,}$${\displaystyle p(\theta \mid \eta )\,}$${\displaystyle \eta \,}$${\displaystyle p(\eta )\,}$

لذلك فإن المعلومات حول كمية معينة من الاهتمام لا تأتي فقط من خصائص تلك البيانات التي تعتمد عليها بشكل مباشر، ولكن أيضًا من خصائص مجموعة المعلمات ككل، والتي يتم استنتاجها من البيانات ككل، والتي يتم تلخيصها بواسطة المعلمات الفائقة . ${\displaystyle \theta _{i}\;}$${\displaystyle y}$${\displaystyle \theta \;}$${\displaystyle \eta \;}$

باستخدام نظرية بايز ،

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

بشكل عام، لن يكون من الممكن حل هذا التكامل تحليليًا أو رمزيًا ويجب تقييمه بالطرق العددية . يمكن استخدام تقريبات عشوائية أو حتمية. ومن أمثلة الطرق العشوائية سلسلة ماركوف وعينة مونت كارلو . تتم مناقشة التقريبات الحتمية في التربيع .

وبدلا من ذلك، يمكن كتابة التعبير على النحو التالي

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

ويمكن التعبير عن العامل النهائي في التكامل بدوره على النحو التالي:

${\displaystyle p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

تشير هذه إلى مخطط تكراري، مشابه نوعيًا في البنية لعينة جيبس ، لتطوير تقريبات محسنة على التوالي إلى و . أولاً، احسب تقريبًا أوليًا إلى تجاهل الاعتماد تمامًا؛ ثم احسب تقريبًا إلى بناءً على التوزيع التقريبي الأولي لـ ؛ ثم استخدم هذا لتحديث التقريب لـ ؛ ثم تحديث ؛ وهكذا. ${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta }$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$

عندما يكون التوزيع الحقيقي في ذروته بشكل حاد، فإن التحديد التكاملي قد لا يتغير كثيرًا عن طريق استبدال توزيع الاحتمالية بتقدير نقطي يمثل ذروة التوزيع (أو، بدلاً من ذلك، متوسطه)، ${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$

${\displaystyle p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.}$

مع هذا التقريب، يصبح المخطط التكراري أعلاه هو خوارزمية EM .

يمكن أن يغطي مصطلح "بايز التجريبي" مجموعة كبيرة ومتنوعة من الأساليب، ولكن يمكن اعتبار معظمها بمثابة اقتطاع مبكر للمخطط أعلاه أو شيء مشابه له. تُستخدم تقديرات النقاط، بدلاً من التوزيع الكامل، عادةً للمعلمات . عادةً ما يتم إجراء التقديرات لـ من التقريب الأول إلى دون تحسين لاحق. عادةً ما يتم إجراء هذه التقديرات لـ دون النظر في توزيع مسبق مناسب لـ . ${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta ^{*}\;}$${\displaystyle \eta }$

نظر روبنز ^[3] في حالة أخذ العينات من توزيع مختلط ، حيث يتم تحديد الاحتمال لكل (شرط على ) بواسطة توزيع بواسون ، ${\displaystyle y_{i}}$${\displaystyle \theta _{i}}$

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}}$

في حين أن السابقة على θ غير محددة باستثناء أنها أيضًا متباينة الهوية من توزيع غير معروف، مع دالة توزيع تراكمية . تنشأ العينات المركبة في مجموعة متنوعة من مشاكل التقدير الإحصائي، مثل معدلات الحوادث والتجارب السريرية. ^{[ بحاجة لمصدر ]} نحن ببساطة نسعى إلى التنبؤ بنقطة معينة من جميع البيانات المرصودة. نظرًا لأن السابقة غير محددة، فإننا نسعى إلى القيام بذلك دون معرفة G. [ ^4]${\displaystyle G(\theta )}$${\displaystyle \theta _{i}}$

في ظل خسارة الخطأ التربيعي (SEL)، فإن التوقع الشرطي E( θ _i  |  Y _i  =  y _i ) هو كمية معقولة للاستخدام في التنبؤ. بالنسبة لنموذج أخذ العينات المركب بواسون، هذه الكمية هي

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

يمكن تبسيط ذلك عن طريق ضرب كل من البسط والمقام في ، مما ينتج عنه ${\displaystyle ({y_{i}}+1)}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},}$

حيث p _G هي دالة الكتلة الاحتمالية الهامشية التي تم الحصول عليها عن طريق تكامل θ على G.

للاستفادة من هذا، اقترح روبينز ^[3] تقدير الهوامش بتردداتها التجريبية ( )، مما أدى إلى الحصول على تقدير غير معياري بالكامل على النحو التالي: ${\displaystyle \#\{Y_{j}\}}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},}$

حيث يشير إلى "عدد". (انظر أيضًا تقدير التردد الجيد-تورينج .) ${\displaystyle \#}$

مثال - معدلات الحوادث

لنفترض أن كل عميل لشركة تأمين لديه "معدل حوادث" Θ ومؤمن عليه ضد الحوادث؛ توزيع احتمالات Θ هو التوزيع الأساسي، وهو غير معروف. عدد الحوادث التي يتعرض لها كل عميل في فترة زمنية محددة له توزيع بواسون بقيمة متوقعة تساوي معدل الحوادث الخاص بالعميل المعين. العدد الفعلي للحوادث التي يتعرض لها العميل هو الكمية القابلة للملاحظة. إحدى الطرق الخام لتقدير توزيع الاحتمالات الأساسي لمعدل الحوادث Θ هي تقدير نسبة أفراد السكان بالكامل الذين يعانون من 0، 1، 2، 3، ... حوادث خلال الفترة الزمنية المحددة كنسبة مقابلة في العينة العشوائية الملاحظة. بعد القيام بذلك، من المرغوب فيه التنبؤ بمعدل الحوادث لكل عميل في العينة. كما هو مذكور أعلاه، يمكن للمرء استخدام القيمة المتوقعة المشروطة لمعدل الحوادث Θ بالنظر إلى عدد الحوادث الملحوظة خلال فترة الأساس. وبالتالي، إذا تعرض أحد العملاء لستة حوادث خلال فترة الأساس، فإن معدل الحوادث المقدر لهذا العميل هو 7 × [نسبة العينة التي تعرضت لسبعة حوادث] / [نسبة العينة التي تعرضت لستة حوادث]. لاحظ أنه إذا كانت نسبة الأشخاص الذين تعرضوا لـ k حادث دالة تناقصية لـ k ، فإن معدل الحوادث المتوقع للعميل سيكون غالبًا أقل من عدد الحوادث التي لاحظها.

ويعتبر تأثير الانكماش هذا نموذجيًا لتحليلات بايز التجريبية.

افترض أن هناك متغيرات عشوائية، بحيث يتم ملاحظتها، ولكنها مخفية. تكمن المشكلة في إيجاد توقع ، مشروطًا بـ . افترض أيضًا أن ، أي ، حيث هو غاوسي متعدد المتغيرات مع تباين . ${\displaystyle X,Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y|X\sim {\mathcal {N}}(X,\Sigma )}$${\displaystyle Y=X+Z}$${\displaystyle Z}$${\displaystyle \Sigma }$

بعد ذلك، لدينا الصيغة عن طريق الحساب المباشر باستخدام دالة كثافة الاحتمال للغاوسيين المتعددين المتغيرات. بالتكامل على ، نحصل على على وجه الخصوص، هذا يعني أنه يمكن للمرء إجراء تقدير بايز لـ دون الوصول إلى الكثافة السابقة لـ أو الكثافة اللاحقة لـ . المتطلب الوحيد هو الوصول إلى دالة النتيجة لـ . وهذا له تطبيقات في النمذجة التوليدية القائمة على النتيجة . ^[5]$${\displaystyle \Sigma \nabla _{y}\rho (y|x)=\rho (y|x)(x-y)}$$${\displaystyle \rho (x)dx}$$${\displaystyle \Sigma \nabla _{y}\rho (y)=(\mathbb {E} [x|y]-y)\rho (y)\implies \mathbb {E} [x|y]=y+\Sigma \nabla _{y}\ln \rho (y)}$$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$

إذا كان الاحتمالية وأسبقيتها تتخذ أشكالًا معاملية بسيطة (مثل وظائف الاحتمالية أحادية أو ثنائية الأبعاد مع سلفيات مترافقة بسيطة )، فإن مشكلة بايز التجريبية تقتصر فقط على تقدير الحد الأقصى والمعلمات الفائقة باستخدام المجموعة الكاملة من القياسات التجريبية. على سبيل المثال، هناك نهج شائع يسمى تقدير نقطة بايز التجريبية البارامترية، وهو تقريب الحد الأقصى باستخدام تقدير الاحتمالية القصوى (MLE)، أو توسيع اللحظات ، والذي يسمح للمرء بالتعبير عن المعلمات الفائقة من حيث المتوسط ​​التجريبي والتباين. يسمح هذا الحد الأقصى المبسط بإدخال المتوسطات التجريبية في تقدير نقطة للسابقة . يتم تبسيط المعادلة الناتجة للسابقة إلى حد كبير، كما هو موضح أدناه. ${\displaystyle m(y\mid \eta )}$${\displaystyle \eta }$${\displaystyle \eta }$${\displaystyle \theta }$${\displaystyle \theta }$

هناك العديد من نماذج بايز التجريبية البارامترية الشائعة، بما في ذلك نموذج بواسون-جاما (أدناه)، ونموذج ثنائي بيتا ، ونموذج غاوسي-غاوسي، ونموذج ديريتشليت متعدد الحدود ، بالإضافة إلى نماذج محددة للانحدار الخطي البايزي (انظر أدناه) والانحدار الخطي البايزي متعدد المتغيرات . تشمل الأساليب الأكثر تقدمًا نماذج بايز الهرمية ونماذج الخليط البايزي.

للحصول على مثال لتقدير بايز التجريبي باستخدام نموذج غاوسي-غاوسي، راجع مقدرات بايز التجريبية .

على سبيل المثال، في المثال أعلاه، دع الاحتمالية تكون توزيع بواسون ، ودع الأولوية الآن يتم تحديدها بواسطة الأولوية المترافقة ، وهو توزيع جاما ( ) (حيث ): ${\displaystyle G(\alpha ,\beta )}$${\displaystyle \eta =(\alpha ,\beta )}$

${\displaystyle \rho (\theta \mid \alpha ,\beta )\,d\theta ={\frac {(\theta /\beta )^{\alpha -1}\,e^{-\theta /\beta }}{\Gamma (\alpha )}}\,(d\theta /\beta ){\text{ for }}\theta >0,\alpha >0,\beta >0\,\!.}$

من السهل أن نظهر أن التوزيع الخلفي هو أيضًا توزيع جاما. اكتب

${\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),}$

حيث تم حذف التوزيع الهامشي لأنه لا يعتمد صراحةً على . إن توسيع المصطلحات التي تعتمد على يعطي التوزيع الهامشي على النحو التالي: ${\displaystyle \theta }$${\displaystyle \theta }$

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

لذا فإن الكثافة الخلفية هي أيضًا توزيع جاما ، حيث و و . لاحظ أيضًا أن الحد الهامشي هو ببساطة تكامل الكثافة الخلفية على الكل ، والذي يتبين أنه توزيع ثنائي سلبي . ${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '=y+\alpha }$${\displaystyle \beta '=(1+1/\beta )^{-1}}$${\displaystyle \Theta }$

لتطبيق بايز التجريبي، سنقرب الحد الأقصى باستخدام تقدير الاحتمالية القصوى (MLE). ولكن بما أن الحد الأقصى هو توزيع جاما، فإن الحد الأقصى للاحتمالية القصوى للحاد هو مجرد متوسط ​​الحد الأقصى، وهو تقدير النقطة الذي نحتاجه. مع التذكير بأن متوسط ​​توزيع جاما هو ببساطة ، لدينا ${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle \mu }$${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '\beta '}$

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

للحصول على قيم و ، يصف بايز التجريبي تقدير المتوسط ​​والتباين باستخدام المجموعة الكاملة من البيانات التجريبية. ${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha \beta }$${\displaystyle \alpha \beta ^{2}}$

وبالتالي فإن تقدير النقطة الناتج يشبه المتوسط ​​المرجح لمتوسط ​​العينة والمتوسط ​​السابق . ويتبين أن هذا سمة عامة لنظرية بايز التجريبية؛ حيث ستبدو تقديرات النقطة للمتوسط ​​السابق (أي المتوسط) وكأنها متوسطات مرجحة لتقدير العينة والتقدير السابق (كما هو الحال بالنسبة لتقديرات التباين). ${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle {\bar {y}}}$${\displaystyle \mu =\alpha \beta }$

• مقدر بايز
• الشبكة البايزية
• المعلمة الفائقة
• سابقة للغاية
• أفضل تنبؤ خطي غير متحيز
• مبرهنة روبينز
• اختيار متغيرات السنبلة واللوح

This article includes a list of general references, but it lacks sufficient corresponding inline citations. Please help to improve this article by introducing more precise citations. (February 2012) (Learn how and when to remove this message)

• بيتر إي. روسي؛ جريج إم. ألينبي؛ روب ماكولوتش (14 مايو 2012). الإحصاء والتسويق البايزي. جون وايلي وأولاده. رقم ISBN 978-0-470-86368-8.
• كاسيلا، جورج (مايو 1985). "مقدمة إلى تحليل بيانات بايز التجريبية" (PDF) . الإحصائي الأمريكي . 39 (2): 83-87. doi :10.2307/2682801. hdl : 1813/32886 . JSTOR  2682801. MR  0789118.
• نيكولين، ميخائيل (1987). "شروط انتظام بيرنشتاين في مشكلة النهج البايزي التجريبي". مجلة الرياضيات السوفييتية . 36 (5): 596-600. doi : 10.1007/BF01093293 . S2CID  122405908.

• استخدام طريقة بايز التجريبية في تقدير السلامة على الطرق (أمريكا الشمالية)
• طرق بايز التجريبية لتحليل البيانات المفقودة
• استخدام توزيع بيتا ثنائي الحد لتقييم أداء جهاز التعريف البيومتري
• تصنيفات بايز الساذجة الهرمية (للمتغيرات المستمرة والمنفصلة).