الانحدار الخطي متعدد المتغيرات البايزي

في الإحصاء ، يُعدّ الانحدار الخطي متعدد المتغيرات البايزي منهجًا بايزيًا للانحدار الخطي متعدد المتغيرات ، أي الانحدار الخطي الذي تكون فيه النتيجة المتوقعة عبارة عن متجه من المتغيرات العشوائية المترابطة بدلاً من متغير عشوائي عددي واحد. ويمكن الاطلاع على شرح أكثر شمولاً لهذا المنهج في مقالة "مُقدِّر MMSE" .

لنفترض مسألة انحدار حيث لا يكون المتغير التابع المراد التنبؤ به قيمة عددية حقيقية واحدة، بل متجهًا بطول m من الأعداد الحقيقية المترابطة. وكما هو الحال في نموذج الانحدار القياسي، يوجد n مشاهدة، حيث تتكون كل مشاهدة i من k − 1 متغيرًا تفسيريًا ، مجمعة في متجه.${\displaystyle \mathbf {x} _{i}}$بطول k (حيث تمت إضافة متغير وهمي بقيمة 1 للسماح بمعامل التقاطع). يمكن اعتبار هذا مجموعة من m مسائل انحدار مترابطة لكل مشاهدة i : $${\displaystyle {\begin{aligned}y_{i,1}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{1}+\epsilon _{i,1}\\&\;\;\vdots \\y_{i,m}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{m}+\epsilon _{i,m}\end{aligned}}}$$ حيث مجموعة الأخطاء${\displaystyle \{\epsilon _{i,1},\ldots ,\epsilon _{i,m}\}}$جميعها مترابطة. أو بعبارة أخرى، يمكن اعتبارها مسألة انحدار واحدة حيث تكون النتيجة عبارة عن متجه صفي.${\displaystyle \mathbf {y} _{i}^{\mathsf {T}}}$ويتم تكديس متجهات معاملات الانحدار بجانب بعضها البعض، كما يلي: $${\displaystyle \mathbf {y} _{i}^{\mathsf {T}}=\mathbf {x} _{i}^{\mathsf {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\mathsf {T}}.}$$

مصفوفة المعاملات B هي${\displaystyle k\times m}$المصفوفة حيث متجهات المعاملات${\displaystyle {\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}}$يتم تكديس كل مسألة انحدار أفقيًا: $${\displaystyle \mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\end{pmatrix}}\end{bmatrix}}.}$$

متجه الضوضاء${\displaystyle {\boldsymbol {\epsilon }}_{i}}$لكل ملاحظة i توزيع طبيعي مشترك ، بحيث تكون نتائج الملاحظة المعينة مترابطة: $${\displaystyle {\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).}$$

يمكننا كتابة مسألة الانحدار بأكملها في شكل مصفوفة كما يلي: $${\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,}$$ حيث Y و E هما${\displaystyle n\times m}$المصفوفات. مصفوفة التصميم X هي${\displaystyle n\times k}$مصفوفة تحتوي على المشاهدات مكدسة عموديًا، كما هو الحال في إعداد الانحدار الخطي القياسي : $${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.}$$

يتمثل الحل الكلاسيكي، الذي يعتمد على طريقة المربعات الصغرى الخطية في الإحصاء التكراري، في تقدير مصفوفة معاملات الانحدار ببساطة.${\displaystyle {\hat {\mathbf {B} }}}$باستخدام معكوس مور-بنروز الزائف : $${\displaystyle {\hat {\mathbf {B} }}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} .}$$

للحصول على الحل البايزي، نحتاج إلى تحديد الاحتمال الشرطي ثم إيجاد التوزيع الاحتمالي المسبق المترافق المناسب. وكما هو الحال في حالة الانحدار البايزي الخطي أحادي المتغير ، سنجد أنه يمكننا تحديد توزيع احتمالي مسبق مترافق شرطي طبيعي (يعتمد على المقياس).

لنكتب الاحتمالية الشرطية على النحو التالي ^{[ 1 ]}$${\displaystyle \rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp \left(-{\tfrac {1}{2}}\operatorname {tr} \left(\mathbf {E} ^{\mathsf {T}}{\boldsymbol {\Sigma }}_{\epsilon }^{-1}\mathbf {E} \right)\right),}$$ كتابة الخطأ${\displaystyle \mathbf {E} }$من ناحية${\displaystyle \mathbf {Y} ,\mathbf {X} ,}$و${\displaystyle \mathbf {B} }$العائد $${\displaystyle \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {X} \mathbf {B} )^{\mathsf {T}}{\boldsymbol {\Sigma }}_{\epsilon }^{-1}(\mathbf {Y} -\mathbf {X} \mathbf {B} ))),}$$

نسعى إلى الحصول على توزيع احتمالي مترافق طبيعي - كثافة مشتركة${\displaystyle \rho (\mathbf {B} ,\Sigma _{\epsilon })}$ وهو من نفس الشكل الوظيفي لدالة الاحتمال. بما أن دالة الاحتمال تربيعية في${\displaystyle \mathbf {B} }$نعيد كتابة الاحتمالية بحيث تصبح طبيعية في${\displaystyle (\mathbf {B} -{\hat {\mathbf {B} }})}$(الانحراف عن تقدير العينة الكلاسيكي).

باستخدام نفس أسلوب الانحدار الخطي البايزي ، نقوم بتحليل الحد الأسي باستخدام صيغة المصفوفة لتقنية مجموع المربعات. ولكن هنا، سنحتاج أيضًا إلى استخدام حساب التفاضل والتكامل المصفوفي ( ضرب كرونكر وتحويلات المتجهات ).

أولاً، دعونا نطبق مجموع المربعات للحصول على تعبير جديد للاحتمالية: $${\displaystyle \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-\operatorname {tr} ({\tfrac {1}{2}}\mathbf {S} ^{\mathsf {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$$$${\displaystyle \mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}}$$

نرغب في تطوير صيغة شرطية للاحتمالات المسبقة: $${\displaystyle \rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),}$$ أين${\displaystyle \rho ({\boldsymbol {\Sigma }}_{\epsilon })}$هو توزيع ويشارت العكسي و${\displaystyle \rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })}$يمثل شكلاً من أشكال التوزيع الطبيعي في المصفوفة${\displaystyle \mathbf {B} }$ويتم ذلك باستخدام تحويل المتجهات ، الذي يحول الاحتمالية من دالة للمصفوفات${\displaystyle \mathbf {B} ,{\hat {\mathbf {B} }}}$إلى دالة للمتجهات${\displaystyle {\boldsymbol {\beta }}=\operatorname {vec} (\mathbf {B} ),{\hat {\boldsymbol {\beta }}}=\operatorname {vec} ({\hat {\mathbf {B} }})}$.

يكتب $${\displaystyle \operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})}$$

يترك $${\displaystyle \operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }}),}$$ أين${\displaystyle \mathbf {A} \otimes \mathbf {B} }$يرمز إلى حاصل ضرب كرونكر للمصفوفتين A و B ، وهو تعميم لحاصل الضرب الخارجي الذي يضرب${\displaystyle m\times n}$مصفوفة بواسطة أ${\displaystyle p\times q}$مصفوفة لتوليد${\displaystyle mp\times nq}$المصفوفة، التي تتكون من كل تركيبة من نواتج عناصر المصفوفتين.

ثم $${\displaystyle {\begin{aligned}&\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})\\&=({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\end{aligned}}}$$ مما سيؤدي إلى احتمال طبيعي في${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$.

مع وجود الاحتمالية في شكل أكثر قابلية للمعالجة، يمكننا الآن إيجاد توزيع احتمالي مسبق طبيعي (مشروط).

• الانحدار الخطي البايزي
• توزيع المصفوفة الطبيعي

• بوكس، جي إي بي ؛ تياو، جي سي (1973). "8". الاستدلال البايزي في التحليل الإحصائي . وايلي. ISBN 0-471-57428-7.
• جيسر، س. (1965). "التقدير البايزي في التحليل متعدد المتغيرات" . حوليات الإحصاء الرياضي . 36 (1): 150-159 . doi : 10.1214/aoms/1177700279 . JSTOR 2238083 . 
• تياو، جي سي؛ زيلنر، أ. (1964). "حول التقدير البايزي للانحدار متعدد المتغيرات". مجلة الجمعية الإحصائية الملكية. السلسلة ب (المنهجية) . 26 (2): 277-285 . doi : 10.1111/j.2517-6161.1964.tb00560.x . JSTOR 2984424 .