الانحدار الخطي البايزي

بالنسبة لأي توزيع احتمالي مسبق، قد لا يوجد حل تحليلي للتوزيع الاحتمالي اللاحق . في هذا القسم، سننظر في ما يُسمى بالتوزيع الاحتمالي المسبق المترافق، والذي يمكن اشتقاق توزيعه الاحتمالي اللاحق تحليليًا.

سابق${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})}$تكون مترافقة مع دالة الاحتمال هذه إذا كان للتوزيع الاحتمالي اللاحق نفس الشكل الوظيفي بالنسبة إلى${\displaystyle {\boldsymbol {\beta }}}$و${\displaystyle \sigma }$بما أن دالة الاحتمال اللوغاريتمي هي دالة تربيعية في${\displaystyle {\boldsymbol {\beta }}}$، يُعاد كتابة دالة الاحتمال اللوغاريتمي بحيث يصبح الاحتمال طبيعيًا في${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$. يكتب

$${\displaystyle {\begin{aligned}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})&=[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]^{\mathsf {T}}[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})+\underbrace {2(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})} _{=\ 0}\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\,.\end{aligned}}}$$

تمت إعادة صياغة الاحتمالية الآن على النحو التالي: $${\displaystyle \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v}{2}}}\exp \left(-{\frac {vs^{2}}{2{\sigma }^{2}}}\right)(\sigma ^{2})^{-{\frac {n-v}{2}}}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\right),}$$ أين $${\displaystyle vs^{2}=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\quad {\text{ and }}\quad v=n-k,}$$ أين${\displaystyle k}$يمثل عدد معاملات الانحدار.

وهذا يشير إلى شكل للسابق: $${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})=\rho (\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2}),}$$ أين${\displaystyle \rho (\sigma ^{2})}$هو توزيع غاما معكوس$${\displaystyle \rho (\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v_{0}}{2}}-1}\exp \left(-{\frac {v_{0}s_{0}^{2}}{2\sigma ^{2}}}\right).}$$

في الترميز المُقدّم في مقالة توزيع غاما المعكوس ، هذه هي كثافة${\displaystyle {\text{Inv-Gamma}}(a_{0},b_{0})}$التوزيع مع${\displaystyle a_{0}={\tfrac {v_{0}}{2}}}$و${\displaystyle b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}}$مع${\displaystyle v_{0}}$و${\displaystyle s_{0}^{2}}$كقيم سابقة لـ${\displaystyle v}$و${\displaystyle s^{2}}$على التوالي. وبالمثل، يمكن وصفه أيضًا بأنه توزيع كاي تربيع معكوس مُقاس .${\displaystyle {\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).}$

بالإضافة إلى ذلك، الكثافة الاحتمالية الشرطية المسبقة${\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})}$هو توزيع طبيعي ،

$${\displaystyle \rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}\mathbf {\Lambda } _{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right).}$$

في تدوين التوزيع الطبيعي ، يكون التوزيع الشرطي المسبق هو${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).}$

بعد تحديد التوزيع الاحتمالي المسبق، يمكن التعبير عن التوزيع الاحتمالي اللاحق على النحو التالي:

$${\displaystyle {\begin{aligned}\rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )&\propto \rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\rho (\sigma ^{2})\\&\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right)(\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right)(\sigma ^{2})^{-(a_{0}+1)}\exp \left(-{\frac {b_{0}}{\sigma ^{2}}}\right)\end{aligned}}}$$

مع بعض إعادة الترتيب، ^{[ 4 ]} يمكن إعادة كتابة التوزيع الاحتمالي اللاحق بحيث يكون المتوسط ​​اللاحق${\displaystyle {\boldsymbol {\mu }}_{n}}$من متجه المعلمات${\displaystyle {\boldsymbol {\beta }}}$يمكن التعبير عنها بدلالة مقدر المربعات الصغرى${\displaystyle {\hat {\boldsymbol {\beta }}}}$والمتوسط ​​السابق${\displaystyle {\boldsymbol {\mu }}_{0}}$، مع قوة الاحتمال المسبق المشار إليها بواسطة مصفوفة دقة الاحتمال المسبق${\displaystyle {\boldsymbol {\Lambda }}_{0}}$

$${\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}).}$$

لتبرير ذلك${\displaystyle {\boldsymbol {\mu }}_{n}}$بما أن هو بالفعل المتوسط ​​اللاحق، يمكن إعادة ترتيب الحدود التربيعية في الدالة الأسية على شكل دالة تربيعية في${\displaystyle {\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}}$[ ^{5 ]​}

$${\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})+({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})=({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}.}$$

يمكن الآن التعبير عن التوزيع الاحتمالي اللاحق كتوزيع طبيعي مضروب في توزيع غاما معكوس :

$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})\right)(\sigma ^{2})^{-{\frac {n+2a_{0}}{2}}-1}\exp \left(-{\frac {2b_{0}+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}}{2\sigma ^{2}}}\right).}$$

لذلك، يمكن تحديد معلمات التوزيع الاحتمالي اللاحق على النحو التالي. $${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto \rho ({\boldsymbol {\beta }}\mid \sigma ^{2},\mathbf {y} ,\mathbf {X} )\rho (\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} ),}$$ حيث يتوافق العاملان مع كثافات${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,}$و${\displaystyle {\text{Inv-Gamma}}\left(a_{n},b_{n}\right)}$التوزيعات، مع تحديد معلمات هذه التوزيعات بواسطة

$${\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0}),\quad {\boldsymbol {\mu }}_{n}=({\boldsymbol {\Lambda }}_{n})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}),}$$$${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},\qquad b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\mathsf {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).}$$

وهذا يوضح أن الاستدلال البايزي هو حل وسط بين المعلومات الواردة في المعلومات المسبقة والمعلومات الواردة في العينة.

دليل النموذج${\displaystyle p(\mathbf {y} \mid m)}$هي احتمالية البيانات بالنظر إلى النموذج${\displaystyle m}$يُعرف أيضًا باسم الاحتمال الهامشي ، وباسم كثافة التنبؤ المسبق . هنا، يتم تعريف النموذج بواسطة دالة الاحتمال.${\displaystyle p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )}$والتوزيع المسبق على المعلمات، أي${\displaystyle p({\boldsymbol {\beta }},\sigma )}$تُجسّد أدلة النموذج، في رقم واحد، مدى جودة تفسير هذا النموذج للملاحظات. ويمكن استخدام أدلة نموذج الانحدار الخطي البايزي المُقدّم في هذا القسم لمقارنة النماذج الخطية المتنافسة باستخدام عوامل بايز . قد تختلف هذه النماذج في عدد وقيم المتغيرات التنبؤية، وكذلك في توزيعاتها الاحتمالية المسبقة على معلمات النموذج. وتُؤخذ تعقيدات النموذج في الحسبان بالفعل من خلال أدلة النموذج، لأنها تُهمّش المعلمات عن طريق التكامل.${\displaystyle p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )}$على جميع القيم الممكنة لـ${\displaystyle {\boldsymbol {\beta }}}$و${\displaystyle \sigma }$. $${\displaystyle p(\mathbf {y} |m)=\int p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )\,p({\boldsymbol {\beta }},\sigma )\,d{\boldsymbol {\beta }}\,d\sigma }$$ يمكن حساب هذا التكامل تحليليًا، ويُعطى الحل في المعادلة التالية. ^{[ 6 ]}$${\displaystyle p(\mathbf {y} \mid m)={\frac {1}{(2\pi )^{n/2}}}{\sqrt {\frac {\det({\boldsymbol {\Lambda }}_{0})}{\det({\boldsymbol {\Lambda }}_{n})}}}\cdot {\frac {b_{0}^{a_{0}}}{b_{n}^{a_{n}}}}\cdot {\frac {\Gamma (a_{n})}{\Gamma (a_{0})}}}$$

هنا${\displaystyle \Gamma }$تشير إلى دالة غاما . ولأننا اخترنا توزيعًا احتماليًا مترافقًا مسبقًا، يمكن أيضًا حساب الاحتمال الهامشي بسهولة عن طريق تقييم المساواة التالية لقيم عشوائية لـ${\displaystyle {\boldsymbol {\beta }}}$و${\displaystyle \sigma }$[ ^{7 ]​}$${\displaystyle p(\mathbf {y} \mid m)={\frac {p({\boldsymbol {\beta }},\sigma |m)\,p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ,m)}{p({\boldsymbol {\beta }},\sigma \mid \mathbf {y} ,\mathbf {X} ,m)}}}$$ لاحظ أن هذه المعادلة ناتجة عن إعادة ترتيب نظرية بايز . بإدخال صيغ التوزيع الاحتمالي المسبق، والاحتمالية، والتوزيع الاحتمالي اللاحق، وتبسيط التعبير الناتج، نحصل على التعبير التحليلي المذكور أعلاه.