أساليب بايزية متغيرة

في الاستدلال التبايني ، التوزيع الاحتمالي اللاحق لمجموعة من المتغيرات غير المرصودة${\displaystyle \mathbf {Z} =\{Z_{1}\dots Z_{n}\}}$بالنظر إلى بعض البيانات${\displaystyle \mathbf {X} }$يتم تقريبها بما يسمى بالتوزيع التبايني ،${\displaystyle Q(\mathbf {Z} ):}$

${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )\approx Q(\mathbf {Z} ).}$

التوزيع${\displaystyle Q(\mathbf {Z} )}$يقتصر على الانتماء إلى عائلة من التوزيعات ذات شكل أبسط من${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$(على سبيل المثال، عائلة من التوزيعات الغاوسية)، تم اختيارها بقصد جعل${\displaystyle Q(\mathbf {Z} )}$على غرار الوضع الخلفي الحقيقي،${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$.

يتم قياس التشابه (أو الاختلاف) من خلال دالة الاختلاف${\displaystyle d(Q;P)}$وبالتالي يتم إجراء الاستدلال عن طريق اختيار التوزيع${\displaystyle Q(\mathbf {Z} )}$ذلك يقلل${\displaystyle d(Q;P)}$.

يستخدم النوع الأكثر شيوعًا من بايز التبايني تباعد كولباك-لايبير (تباعد KL) للمجموعة Q عن المجموعة P كدالة عدم تشابه. هذا الاختيار يجعل عملية التصغير قابلة للتطبيق. يُعرَّف تباعد KL على النحو التالي:

${\displaystyle D_{\mathrm {KL}}(Q\parallel P)\triangleq \sum _{\mathbf {Z} }Q(\mathbf {Z} )\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} \mid \mathbf {X} )}}.}$

لاحظ أن قيمتي Q و P معكوسة عما هو متوقع. هذا الاستخدام لتباعد كولباك-لايبير المعكوس مشابه من حيث المفهوم لخوارزمية التوقع والتعظيم . (استخدام تباعد كولباك-لايبير بالطريقة الأخرى ينتج عنه خوارزمية نشر التوقع ).

تُستخدم تقنيات حساب التفاضل والتكامل عادةً لتكوين تقريب لـ:

${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{P(\mathbf {X} )}}={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{\int _{\mathbf {Z} }P(\mathbf {X} ,\mathbf {Z} ')\,d\mathbf {Z} '}}}$

التهميش على${\displaystyle \mathbf {Z} }$لحساب${\displaystyle P(\mathbf {X} )}$عادةً ما يكون حساب المقام أمرًا صعبًا، لأن مساحة البحث لـ${\displaystyle \mathbf {Z} }$إنها كبيرة من الناحية التوافقية. لذلك، نسعى إلى إيجاد تقريب، باستخدام${\displaystyle Q(\mathbf {Z} )\approx P(\mathbf {Z} \mid \mathbf {X} )}$.

بشرط${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} ,\mathbf {Z} )}{P(\mathbf {X} )}}}$ويمكن كتابة تباعد كولباك-لايبير المذكور أعلاه أيضًا على النحو التالي:

${\displaystyle {\begin{array}{rl}D_{\mathrm {KL} }(Q\parallel P)&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} ,\mathbf {X} )}}+\log P(\mathbf {X} )\right]\\&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log P(\mathbf {X} )\right]\end{array}}}$

لأن${\displaystyle P(\mathbf {X} )}$ثابت بالنسبة إلى${\displaystyle \mathbf {Z} }$و${\displaystyle \sum _{\mathbf {Z} }Q(\mathbf {Z} )=1}$لأن${\displaystyle Q(\mathbf {Z} )}$لدينا توزيع

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

والذي، وفقًا لتعريف القيمة المتوقعة ( لمتغير عشوائي منفصل )، يمكن كتابته على النحو التالي

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

والتي يمكن إعادة ترتيبها لتصبح

${\displaystyle {\begin{array}{rl}\log P(\mathbf {X} )&=D_{\mathrm {KL} }(Q\parallel P)-\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]\\&=D_{\mathrm {KL} }(Q\parallel P)+{\mathcal {L}}(Q)\end{array}}}$

كما هو الحال في الأدلة السجلية${\displaystyle \log P(\mathbf {X} )}$ثابت بالنسبة إلى${\displaystyle Q}$، مما يؤدي إلى تعظيم الحد النهائي${\displaystyle {\mathcal {L}}(Q)}$يقلل من تباعد كولباك-لايبير لـ${\displaystyle Q}$من${\displaystyle P}$عن طريق الاختيار المناسب لـ${\displaystyle Q}$،${\displaystyle {\mathcal {L}}(Q)}$يصبح من السهل حسابه وتعظيمه. وبالتالي، لدينا تقريب تحليلي.${\displaystyle Q}$للخلف${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$وحد أدنى${\displaystyle {\mathcal {L}}(Q)}$للحصول على دليل السجل${\displaystyle \log P(\mathbf {X} )}$(بما أن تباعد KL غير سالب).

الحد الأدنى${\displaystyle {\mathcal {L}}(Q)}$تُعرف باسم الطاقة الحرة التباينية (السالبة) قياسًا على الطاقة الحرة الديناميكية الحرارية، لأنه يمكن التعبير عنها أيضًا كطاقة سالبة.${\displaystyle \operatorname {E} _{Q}[\log P(\mathbf {Z} ,\mathbf {X} )]}$بالإضافة إلى إنتروبيا${\displaystyle Q}$. على المدى${\displaystyle {\mathcal {L}}(Q)}$يُعرف أيضًا باسم الحد الأدنى للأدلة ، ويختصر بـ ELBO ، للتأكيد على أنه حد أدنى (أسوأ حالة) على الدليل اللوغاريتمي للبيانات.

باستخدام نظرية فيثاغورس المعممة لتباعد بريغمان ، والتي يعتبر تباعد KL حالة خاصة منها، يمكن إثبات ما يلي: ^{[ 1 ] [ 2 ]}

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)\geq D_{\mathrm {KL} }(Q\parallel Q^{*})+D_{\mathrm {KL} }(Q^{*}\parallel P),\forall Q^{*}\in {\mathcal {C}}}$

أين ${\displaystyle {\mathcal {C}}}$هي مجموعة محدبة ، وتتحقق المساواة إذا:

${\displaystyle Q=Q^{*}\triangleq \arg \min _{Q\in {\mathcal {C}}}D_{\mathrm {KL} }(Q\parallel P).}$

في هذه الحالة، المُصغِّر العالمي${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})q^{*}(\mathbf {Z} _{2})=q^{*}(\mathbf {Z} _{2}\mid \mathbf {Z} _{1})q^{*}(\mathbf {Z} _{1}),}$مع${\displaystyle \mathbf {Z} =\{\mathbf {Z_{1}} ,\mathbf {Z_{2}} \},}$يمكن العثور عليها على النحو التالي: ^{[ 1 ]}

${\displaystyle {\begin{array}{rl}q^{*}(\mathbf {Z} _{2})&={\frac {P(\mathbf {X} )}{\zeta (\mathbf {X} )}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}\\&={\frac {1}{\zeta (\mathbf {X} )}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right),\end{array}}}$

حيث يكون ثابت التطبيع هو:

${\displaystyle {\begin{array}{rl}\zeta (\mathbf {X} )&=P(\mathbf {X} )\int _{\mathbf {Z} _{2}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}\\&=\int _{\mathbf {Z} _{2}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right).\end{array}}}$

على المدى${\displaystyle \zeta (\mathbf {X} )}$يُطلق عليه غالبًا اسم الحد الأدنى للأدلة ( ELBO ) في الممارسة العملية، لأن${\displaystyle P(\mathbf {X} )\geq \zeta (\mathbf {X} )=\exp({\mathcal {L}}(Q^{*}))}$، ^{[ 1 ]} كما هو موضح أعلاه.

عن طريق تبادل الأدوار${\displaystyle \mathbf {Z} _{1}}$و${\displaystyle \mathbf {Z} _{2},}$يمكننا حساب القيمة التقريبية بشكل متكرر${\displaystyle q^{*}(\mathbf {Z} _{1})}$و${\displaystyle q^{*}(\mathbf {Z} _{2})}$من الهوامش الحقيقية للنموذج${\displaystyle P(\mathbf {Z} _{1}\mid \mathbf {X} )}$و${\displaystyle P(\mathbf {Z} _{2}\mid \mathbf {X} ),}$على التوالي. على الرغم من أن هذه الطريقة التكرارية مضمونة التقارب بشكل رتيب، ^{[ 1 ]} فإن التقارب${\displaystyle Q^{*}}$هو مجرد مُصغِّر محلي لـ${\displaystyle D_{\mathrm {KL} }(Q\parallel P)}$.

إذا كانت المساحة المقيدة${\displaystyle {\mathcal {C}}}$محصور داخل حيز مستقل، أي${\displaystyle q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})=q^{*}(\mathbf {Z_{1}} ),}$سيصبح المخطط التكراري المذكور أعلاه ما يسمى بتقريب المجال المتوسط.${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1})q^{*}(\mathbf {Z} _{2}),}$كما هو موضح أدناه.

نضع توزيعات احتمالية مسبقة مترافقة على المتوسط ​​المجهول${\displaystyle \mu }$والدقة${\displaystyle \tau }$أي أن المتوسط ​​يتبع التوزيع الطبيعي (غاوسي) بينما تتبع الدقة التوزيع الطبيعي (غاما) . بعبارة أخرى:

${\displaystyle {\begin{aligned}\tau &\sim \operatorname {Gamma} (a_{0},b_{0})\\\mu |\tau &\sim {\mathcal {N}}(\mu _{0},(\lambda _{0}\tau )^{-1})\\\{x_{1},\dots ,x_{N}\}&\sim {\mathcal {N}}(\mu ,\tau ^{-1})\\N&={\text{number of data points}}\end{aligned}}}$

المعلمات الفائقة${\displaystyle \mu _{0},\lambda _{0},a_{0}}$و${\displaystyle b_{0}}$في التوزيعات الاحتمالية المسبقة، تكون القيم ثابتة ومُعطاة. ويمكن ضبطها على أعداد موجبة صغيرة لإعطاء توزيعات احتمالية مسبقة واسعة النطاق تشير إلى عدم معرفة التوزيعات الاحتمالية المسبقة لـ${\displaystyle \mu }$و${\displaystyle \tau }$.

لقد أُعطينا${\displaystyle N}$نقاط البيانات${\displaystyle \mathbf {X} =\{x_{1},\ldots ,x_{N}\}}$وهدفنا هو استنتاج التوزيع الاحتمالي اللاحق${\displaystyle q(\mu ,\tau )=p(\mu ,\tau \mid x_{1},\ldots ,x_{N})}$من المعايير${\displaystyle \mu }$و${\displaystyle \tau .}$

يمكن إعادة كتابة الاحتمال المشترك لجميع المتغيرات على النحو التالي:

${\displaystyle p(\mathbf {X} ,\mu ,\tau )=p(\mathbf {X} \mid \mu ,\tau )p(\mu \mid \tau )p(\tau )}$

حيث تكون العوامل الفردية

${\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{n=1}^{N}{\mathcal {N}}(x_{n}\mid \mu ,\tau ^{-1})\\p(\mu \mid \tau )&={\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\\p(\tau )&=\operatorname {Gamma} (\tau \mid a_{0},b_{0})\end{aligned}}}$

أين

${\displaystyle {\begin{aligned}{\mathcal {N}}(x\mid \mu ,\sigma ^{2})&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{\frac {-(x-\mu )^{2}}{2\sigma ^{2}}}\\\operatorname {Gamma} (\tau \mid a,b)&={\frac {1}{\Gamma (a)}}b^{a}\tau ^{a-1}e^{-b\tau }\end{aligned}}}$

افترض أن${\displaystyle q(\mu ,\tau )=q(\mu )q(\tau )}$أي أن التوزيع الاحتمالي اللاحق يتحلل إلى عوامل مستقلة لـ${\displaystyle \mu }$و${\displaystyle \tau }$هذا النوع من الافتراضات هو أساس طريقة بايز التباينية. في الواقع، لا يتصرف التوزيع الاحتمالي الخلفي الحقيقي بهذه الطريقة (في الواقع، في هذه الحالة البسيطة، من المعروف أنه توزيع غاوسي-غاما )، وبالتالي ستكون النتيجة التي نحصل عليها تقريبية.

ثم

${\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=\operatorname {E} _{\tau }\left[\ln p(\mathbf {X} \mid \mu ,\tau )+\ln p(\mu \mid \tau )+\ln p(\tau )\right]+C\\&=\operatorname {E} _{\tau }\left[\ln p(\mathbf {X} \mid \mu ,\tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\mu \mid \tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\tau )\right]+C\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\mathcal {N}}\left(x_{n}\mid \mu ,\tau ^{-1}\right)\right]+\operatorname {E} _{\tau }\left[\ln {\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\sqrt {\frac {\tau }{2\pi }}}e^{-{\frac {(x_{n}-\mu )^{2}\tau }{2}}}\right]+\operatorname {E} _{\tau }\left[\ln {\sqrt {\frac {\lambda _{0}\tau }{2\pi }}}e^{-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}}\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}\left({\frac {1}{2}}(\ln \tau -\ln 2\pi )-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right)\right]+\operatorname {E} _{\tau }\left[{\frac {1}{2}}(\ln \lambda _{0}+\ln \tau -\ln 2\pi )-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}{\frac {1}{2}}(\ln \tau -\ln 2\pi )\right]+\operatorname {E} _{\tau }\left[{\frac {1}{2}}(\ln \lambda _{0}+\ln \tau -\ln 2\pi )\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\end{aligned}}}$

في الاشتقاق أعلاه،${\displaystyle C}$،${\displaystyle C_{2}}$و${\displaystyle C_{3}}$تشير إلى القيم الثابتة بالنسبة إلى${\displaystyle \mu }$لاحظ أن المصطلح${\displaystyle \operatorname {E} _{\tau }[\ln p(\tau )]}$ليس وظيفة من${\displaystyle \mu }$وستكون لها نفس القيمة بغض النظر عن قيمة${\displaystyle \mu }$لذا، في السطر 3، يمكننا دمجها في الحد الثابت في النهاية. ونفعل الشيء نفسه في السطر 7.

السطر الأخير هو ببساطة متعدد حدود من الدرجة الثانية في${\displaystyle \mu }$بما أن هذا هو لوغاريتم${\displaystyle q_{\mu }^{*}(\mu )}$، يمكننا أن نرى ذلك${\displaystyle q_{\mu }^{*}(\mu )}$هو نفسه توزيع غاوسي .

مع قدر معين من العمليات الحسابية المملة (توسيع المربعات داخل الأقواس، وفصل وتجميع الحدود التي تتضمن${\displaystyle \mu }$و${\displaystyle \mu ^{2}}$واستكمال المربع فوق${\displaystyle \mu }$)، يمكننا استنتاج معلمات التوزيع الغاوسي:

${\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}^{2}-2x_{n}\mu +\mu ^{2})+\lambda _{0}(\mu ^{2}-2\mu _{0}\mu +\mu _{0}^{2})\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\left(\sum _{n=1}^{N}x_{n}^{2}\right)-2\left(\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}\mu ^{2}\right)+\lambda _{0}\mu ^{2}-2\lambda _{0}\mu _{0}\mu +\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)(\lambda _{0}+N)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu \right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}-\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{5}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right\}+C_{5}\\&=-{\frac {1}{2}}(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}+C_{5}\end{aligned}}}$

لاحظ أنه يمكن اختصار جميع الخطوات المذكورة أعلاه باستخدام صيغة مجموع معادلتين تربيعيتين .

بعبارة أخرى:

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

اشتقاق${\displaystyle q_{\tau }^{*}(\tau )}$يشبه ما سبق، على الرغم من أننا حذفنا بعض التفاصيل من أجل الإيجاز.

${\displaystyle {\begin{aligned}\ln q_{\tau }^{*}(\tau )&=\operatorname {E} _{\mu }[\ln p(\mathbf {X} \mid \mu ,\tau )+\ln p(\mu \mid \tau )]+\ln p(\tau )+{\text{constant}}\\&=(a_{0}-1)\ln \tau -b_{0}\tau +{\frac {1}{2}}\ln \tau +{\frac {N}{2}}\ln \tau -{\frac {\tau }{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]+{\text{constant}}\end{aligned}}}$

برفع كلا الطرفين إلى الأس، يمكننا أن نرى أن${\displaystyle q_{\tau }^{*}(\tau )}$هو توزيع غاما . تحديداً:

${\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

دعونا نلخص الاستنتاجات الواردة في الأقسام السابقة:

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

و

${\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

في كل حالة، تعتمد معلمات التوزيع على أحد المتغيرات على التوقعات المحسوبة بالنسبة للمتغير الآخر. ويمكننا توسيع نطاق هذه التوقعات باستخدام الصيغ القياسية لتوقعات عزمات التوزيعين الغاوسي والغاما.

${\displaystyle {\begin{aligned}\operatorname {E} [\tau \mid a_{N},b_{N}]&={\frac {a_{N}}{b_{N}}}\\\operatorname {E} \left[\mu \mid \mu _{N},\lambda _{N}^{-1}\right]&=\mu _{N}\\\operatorname {E} \left[X^{2}\right]&=\operatorname {Var} (X)+(\operatorname {E} [X])^{2}\\\operatorname {E} \left[\mu ^{2}\mid \mu _{N},\lambda _{N}^{-1}\right]&=\lambda _{N}^{-1}+\mu _{N}^{2}\end{aligned}}}$

يُعد تطبيق هذه الصيغ على المعادلات المذكورة أعلاه أمرًا بسيطًا في معظم الحالات، ولكن معادلة${\displaystyle b_{N}}$يتطلب الأمر المزيد من العمل:

${\displaystyle {\begin{aligned}b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\\&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\operatorname {E} _{\mu }[\mu ^{2}]-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\operatorname {E} _{\mu }[\mu ]+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\\end{aligned}}}$

يمكننا بعد ذلك كتابة معادلات المعاملات على النحو التالي، دون أي توقعات:

${\displaystyle {\begin{aligned}\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N){\frac {a_{N}}{b_{N}}}\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\end{aligned}}}$

لاحظ وجود علاقات دائرية بين الصيغ الخاصة بـ${\displaystyle \lambda _{N}}$و${\displaystyle b_{N}}$وهذا يشير بطبيعة الحال إلى خوارزمية شبيهة بخوارزمية EM :

1. الحوسبة${\displaystyle \sum _{n=1}^{N}x_{n}}$و${\displaystyle \sum _{n=1}^{N}x_{n}^{2}.}$استخدم هذه القيم للحساب${\displaystyle \mu _{N}}$و${\displaystyle a_{N}.}$
2. تهيئة${\displaystyle \lambda _{N}}$إلى قيمة عشوائية ما.
3. استخدم القيمة الحالية لـ${\displaystyle \lambda _{N},}$بالإضافة إلى القيم المعروفة للمعاملات الأخرى، لحساب${\displaystyle b_{N}}$.
4. استخدم القيمة الحالية لـ${\displaystyle b_{N},}$بالإضافة إلى القيم المعروفة للمعاملات الأخرى، لحساب${\displaystyle \lambda _{N}}$.
5. كرر الخطوتين الأخيرتين حتى الوصول إلى التقارب (أي حتى لا تتغير أي من القيمتين بأكثر من مقدار صغير).

ثم لدينا قيم للمعلمات الفائقة للتوزيعات التقريبية للمعلمات الخلفية، والتي يمكننا استخدامها لحساب أي خصائص نريدها للخلفية - على سبيل المثال متوسطها وتباينها، ومنطقة الكثافة الأعلى بنسبة 95٪ (أصغر فاصل زمني يشمل 95٪ من الاحتمال الكلي)، وما إلى ذلك.

يمكن إثبات أن هذه الخوارزمية مضمونة التقارب إلى قيمة عظمى محلية.

لاحظ أيضًا أن التوزيعات الاحتمالية اللاحقة لها نفس شكل التوزيعات الاحتمالية السابقة المقابلة. لم نفترض ذلك؛ بل كان افتراضنا الوحيد هو أن التوزيعات قابلة للتحليل إلى عوامل، وقد ترتب شكل التوزيعات بشكل طبيعي. اتضح (انظر أدناه) أن تطابق شكل التوزيعات الاحتمالية اللاحقة مع التوزيعات الاحتمالية السابقة ليس مصادفة، بل هو نتيجة عامة عندما تكون التوزيعات الاحتمالية السابقة من عائلة التوزيعات الأسية ، وهو الحال بالنسبة لمعظم التوزيعات القياسية.

يوضح المثال أعلاه الطريقة التي يتم من خلالها اشتقاق التقريب البايزي التبايني لكثافة الاحتمال الخلفي في شبكة بايزية معينة :

1. صف الشبكة باستخدام نموذج بياني ، مع تحديد المتغيرات المرصودة (البيانات).${\displaystyle \mathbf {X} }$والمتغيرات غير المرصودة ( المعلمات)${\displaystyle {\boldsymbol {\Theta }}}$والمتغيرات الكامنة${\displaystyle \mathbf {Z} }$) وتوزيعات احتمالاتها الشرطية . ثم يقوم بايز التبايني بإنشاء تقريب للاحتمال اللاحق${\displaystyle p(\mathbf {Z} ,{\boldsymbol {\Theta }}\mid \mathbf {X} )}$. يتميز التقريب بالخاصية الأساسية المتمثلة في أنه توزيع مُحلل، أي ناتج عن توزيعين مستقلين أو أكثر على مجموعات فرعية منفصلة من المتغيرات غير المرصودة.
2. قسّم المتغيرات غير المرصودة إلى مجموعتين فرعيتين أو أكثر، تُستخلص منها العوامل المستقلة. لا توجد طريقة موحدة للقيام بذلك؛ فإنشاء عدد كبير جدًا من المجموعات الفرعية يُنتج تقريبًا ضعيفًا، بينما إنشاء عدد قليل جدًا منها يجعل إجراء بايز التبايني بأكمله غير قابل للتطبيق. عادةً، يكون التقسيم الأول هو فصل المعلمات عن المتغيرات الكامنة؛ وغالبًا ما يكون هذا كافيًا بحد ذاته لإنتاج نتيجة قابلة للتطبيق. افترض أن هذه التقسيمات تُسمى${\displaystyle \mathbf {Z} _{1},\ldots ,\mathbf {Z} _{M}}$.
3. لتقسيم معين${\displaystyle \mathbf {Z} _{j}}$اكتب صيغة أفضل توزيع تقريبي${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )}$باستخدام المعادلة الأساسية${\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]+{\text{constant}}}$.
4. املأ صيغة التوزيع الاحتمالي المشترك باستخدام النموذج البياني. أي توزيعات شرطية مكونة لا تتضمن أيًا من المتغيرات في${\displaystyle \mathbf {Z} _{j}}$يمكن تجاهلها؛ سيتم دمجها في الحد الثابت.
5. بسّط الصيغة وطبّق عامل التوقع، باتباع المثال أعلاه. من الناحية المثالية، ينبغي أن يتبسط هذا إلى توقعات الدوال الأساسية للمتغيرات غير الموجودة في${\displaystyle \mathbf {Z} _{j}}$(مثل العزوم الخام الأولى أو الثانية ، وتوقع اللوغاريتم، إلخ). لكي تعمل طريقة بايز التباينية بكفاءة، ينبغي عمومًا أن تكون هذه التوقعات قابلة للتعبير التحليلي كدوال لمعاملات و/أو المعاملات الفائقة لتوزيعات هذه المتغيرات. في جميع الحالات، تكون حدود التوقع هذه ثوابت بالنسبة للمتغيرات في التقسيم الحالي.
6. يُشير الشكل الوظيفي للصيغة بالنسبة للمتغيرات في التقسيم الحالي إلى نوع التوزيع. وعلى وجه الخصوص، يُولّد رفع الصيغة إلى الأس دالة كثافة الاحتمال (PDF) للتوزيع (أو على الأقل، دالة متناسبة معها، مع ثابت تطبيع غير معروف ). ولكي تكون الطريقة قابلة للتطبيق، ينبغي أن يكون من الممكن تحديد الشكل الوظيفي على أنه ينتمي إلى توزيع معروف. وقد يتطلب الأمر معالجة رياضية كبيرة لتحويل الصيغة إلى شكل يُطابق دالة كثافة الاحتمال لتوزيع معروف. وعندما يُمكن تحقيق ذلك، يُمكن إعادة تعريف ثابت التطبيع، ويمكن اشتقاق معادلات معلمات التوزيع المعروف باستخراج الأجزاء المناسبة من الصيغة.
7. عندما يمكن استبدال جميع التوقعات تحليليًا بدوال للمتغيرات غير الموجودة في القسم الحالي، ووضع دالة كثافة الاحتمال في شكل يسمح بالتعرف عليها مع توزيع معروف، فإن النتيجة هي مجموعة من المعادلات التي تعبر عن قيم المعلمات المثلى كدوال لمعلمات المتغيرات في الأقسام الأخرى.
8. عندما يمكن تطبيق هذا الإجراء على جميع الأقسام، تكون النتيجة مجموعة من المعادلات المرتبطة ببعضها البعض والتي تحدد القيم المثلى لجميع المعلمات.
9. ثم يتم تطبيق إجراء من نوع التوقع والتعظيم (EM)، حيث يتم اختيار قيمة ابتدائية لكل مُعامل، ثم يتم التكرار عبر سلسلة من الخطوات، وفي كل خطوة يتم المرور على المعادلات، وتحديث كل مُعامل بدوره. وهذا يضمن التقارب.

بسبب كثرة العمليات الحسابية المعقدة، من السهل أن يغيب عنك التركيز على الصورة الكلية. الأمور المهمة هي:

1. تعتمد فكرة بايز التبايني على بناء تقريب تحليلي للاحتمالية اللاحقة لمجموعة المتغيرات غير المرصودة (المعلمات والمتغيرات الكامنة)، بالنظر إلى البيانات. وهذا يعني أن شكل الحل مشابه لطرق الاستدلال البايزي الأخرى ، مثل أخذ عينات جيبس ، أي توزيع يسعى إلى وصف كل ما هو معروف عن المتغيرات. وكما هو الحال في الطرق البايزية الأخرى - ولكن على عكس طرق مثل التوقع والتعظيم (EM) أو طرق الاحتمال الأقصى الأخرى - يُعامل كلا نوعي المتغيرات غير المرصودة (أي المعلمات والمتغيرات الكامنة) بنفس الطريقة، أي كمتغيرات عشوائية . ويمكن بعد ذلك اشتقاق تقديرات المتغيرات بالطرق البايزية القياسية، مثل حساب متوسط ​​التوزيع للحصول على تقدير نقطي واحد أو اشتقاق فترة موثوقية ، أو منطقة أعلى كثافة، وما إلى ذلك.
2. يعني "التقريب التحليلي" إمكانية كتابة صيغة للتوزيع الاحتمالي اللاحق. تتكون هذه الصيغة عادةً من حاصل ضرب توزيعات احتمالية معروفة، كل منها قابل للتحليل إلى عوامل على مجموعة من المتغيرات غير المرصودة (أي أنه مستقل شرطيًا عن المتغيرات الأخرى، بالنظر إلى البيانات المرصودة). هذه الصيغة ليست التوزيع الاحتمالي اللاحق الحقيقي، بل هي تقريب له؛ وعلى وجه الخصوص، فإنها تتفق معه بشكل عام في أدنى العزوم للمتغيرات غير المرصودة، مثل المتوسط ​​والتباين .
3. تُسفر جميع العمليات الرياضية عن (1) تحديد هوية التوزيعات الاحتمالية التي تُشكل العوامل، و(2) صيغ مترابطة لمعاملات هذه التوزيعات. تُحسب القيم الفعلية لهذه المعاملات عدديًا، من خلال إجراء تكراري متناوب يُشبه إلى حد كبير خوارزمية EM.

كثيراً ما تُقارن طريقة بايز التباينية (VB) بطريقة التوقع والتعظيم (EM). وتتشابه الإجراءات العددية الفعلية إلى حد كبير، فكلتاهما عبارة عن إجراءات تكرارية متناوبة تتقارب تباعاً نحو القيم المثلى للمعاملات. كما تتشابه الخطوات الأولية لاستنباط كلتا الطريقتين، إذ تبدأ كلتاهما بصيغ كثافات الاحتمال، وتتضمنان قدراً كبيراً من العمليات الرياضية.

ومع ذلك، هناك عدد من الاختلافات. والأهم هو ما يتم حسابه.

• تحسب خوارزمية EM تقديرات نقطية للتوزيع الاحتمالي اللاحق للمتغيرات العشوائية التي يمكن تصنيفها على أنها "معاملات"، ولكنها لا تحسب سوى تقديرات للتوزيعات الاحتمالية اللاحقة الفعلية للمتغيرات الكامنة (على الأقل في "خوارزمية EM المرنة"، وغالبًا فقط عندما تكون المتغيرات الكامنة منفصلة). وتُمثل التقديرات النقطية المحسوبة منوال هذه المعاملات؛ ولا تتوفر أي معلومات أخرى.
• من ناحية أخرى، تحسب طريقة بايز التباينية (VB) تقديرات للتوزيع الاحتمالي اللاحق الفعلي لجميع المتغيرات، سواءً كانت معلمات أو متغيرات كامنة. عند الحاجة إلى اشتقاق تقديرات نقطية، يُستخدم المتوسط ​​عادةً بدلاً من المنوال، كما هو الحال في الاستدلال البايزي. وبناءً على ذلك، فإن المعلمات المحسوبة في VB لا تحمل نفس أهمية تلك المحسوبة في طريقة التوقع والتعظيم (EM). تحسب EM القيم المثلى لمعلمات شبكة بايز نفسها، بينما تحسب VB القيم المثلى لمعلمات التوزيعات المستخدمة لتقريب معلمات ومتغيرات شبكة بايز الكامنة. على سبيل المثال، يحتوي نموذج خليط غاوسي نموذجي على معلمات للمتوسط ​​والتباين لكل مكون من مكونات الخليط. تُقدّر EM القيم المثلى لهذه المعلمات مباشرةً. أما VB، فتقوم أولاً بملاءمة توزيع لهذه المعلمات - عادةً في شكل توزيع مسبق ، مثل توزيع غاما معكوس مُقاس طبيعياً - ثم تحسب قيم معلمات هذا التوزيع المسبق، أي المعلمات الفائقة . في هذه الحالة، ستقوم VB بحساب التقديرات المثلى للمعلمات الأربعة لتوزيع جاما العكسي ذي المقياس الطبيعي الذي يصف التوزيع المشترك للمتوسط ​​والتباين للمكون.