الاستدلال البايزي

جدول الطوارئ

فرضية شهادة	يفي بالفرضية H	ينتهك الفرضية​${\displaystyle \neg H}$⁠		المجموع
يوجد دليل هـ	${\displaystyle P(H|E)\cdot P(E)}$${\displaystyle =P(E|H)\cdot P(H)}$	${\displaystyle P(\neg H|E)\cdot P(E)}$${\displaystyle =P(E|\neg H)\cdot P(\neg H)}$		⁠${\displaystyle P(E)}$⁠
لا يوجد دليل${\displaystyle \neg E}$⁠	${\displaystyle P(H|\neg E)\cdot P(\neg E)}$${\displaystyle =P(\neg E|H)\cdot P(H)}$	${\displaystyle P(\neg H|\neg E)\cdot P(\neg E)}$${\displaystyle =P(\neg E|\neg H)\cdot P(\neg H)}$		${\displaystyle P(\neg E)}$=${\displaystyle 1-P(E)}$
المجموع	⁠${\displaystyle P(H)}$⁠	${\displaystyle P(\neg H)=1-P(H)}$	1

يستنتج الاستدلال البايزي الاحتمال اللاحق كنتيجة لمقدمتين : الاحتمال المسبق و" دالة الاحتمال " المستمدة من نموذج إحصائي للبيانات المرصودة. ويحسب الاستدلال البايزي الاحتمال اللاحق وفقًا لنظرية بايز .

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

أين

• ${\displaystyle H}$يشير هذا المصطلح إلى أي فرضية قد تتأثر احتمالية حدوثها بالبيانات (التي تُسمى فيما يلي بالأدلة ). غالبًا ما توجد فرضيات متنافسة، والمهمة هي تحديد أيها الأكثر احتمالًا.
• ${\displaystyle P(H)}$الاحتمال المسبق هو تقدير لاحتمالية صحة الفرضية${\displaystyle H}$قبل البيانات${\displaystyle E}$، كما هو موضح في الأدلة الحالية.
• ${\displaystyle E}$، الأدلة ، تتوافق مع بيانات جديدة لم يتم استخدامها في حساب الاحتمالية المسبقة.
• ${\displaystyle P(H\mid E)}$الاحتمال اللاحق هو احتمال${\displaystyle H}$منح${\displaystyle E}$أي بعد${\displaystyle E}$يتم رصدها. هذا ما نريد معرفته: احتمال صحة الفرضية بالنظر إلى الأدلة المرصودة.
• ${\displaystyle P(E\mid H)}$هي احتمالية الملاحظة${\displaystyle E}$منح${\displaystyle H}$ويُطلق عليه اسم الاحتمالية . كدالة لـ${\displaystyle E}$مع${\displaystyle H}$إذا كانت القيمة ثابتة، فإنها تشير إلى مدى توافق الأدلة مع الفرضية المعطاة. دالة الاحتمال هي دالة للأدلة.${\displaystyle E}$بينما يُعد الاحتمال اللاحق دالةً للفرضية،${\displaystyle H}$.
• ${\displaystyle P(E)}$يُطلق عليه أحيانًا اسم الاحتمالية الحدية أو "دليل النموذج". هذا العامل هو نفسه لجميع الفرضيات المحتملة قيد الدراسة (كما يتضح من حقيقة أن الفرضية${\displaystyle H}$لا يظهر في أي مكان في الرمز (على عكس جميع العوامل الأخرى) وبالتالي لا يدخل في تحديد الاحتمالات النسبية للفرضيات المختلفة.
• ${\displaystyle P(E)>0}$(وإلا فإن المرء لديه${\displaystyle 0/0}$.)

لقيم مختلفة من${\displaystyle H}$العوامل فقط${\displaystyle P(H)}$و${\displaystyle P(E\mid H)}$يؤثر كل من البسط والمقام على قيمة${\displaystyle P(H\mid E)}$ – الاحتمال اللاحق لفرضية ما يتناسب مع احتمالها المسبق (احتمالها الكامن) والاحتمال المكتسب حديثًا (توافقها مع الأدلة الجديدة المرصودة).

في الحالات التي${\displaystyle \neg H}$("لا${\displaystyle H}$"), النفي المنطقي لـ${\displaystyle H}$إذا كان الاحتمال صحيحًا، فيمكن إعادة كتابة قاعدة بايز على النحو التالي:

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$

لأن

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

و

$${\displaystyle P(H)+P(\neg H)=1.}$$

وهذا يلفت الانتباه إلى المصطلح

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

إذا كان هذا الحد يقارب 1، فإن احتمال صحة الفرضية بالنظر إلى الأدلة،${\displaystyle P(H\mid E)}$، يتعلق الأمر${\displaystyle {\tfrac {1}{2}}}$احتمالية حدوث الفرضية حوالي 50%، أي احتمالية متساوية أو معدومة. إذا كانت هذه النسبة ضئيلة جدًا، قريبة من الصفر، فإن احتمالية صحة الفرضية، بالنظر إلى الأدلة،${\displaystyle P(H\mid E)}$إذا كانت قيمة هذا الحد قريبة من 1، فإن الفرضية الشرطية تكون مرجحة جدًا. أما إذا كانت هذه القيمة كبيرة جدًا، أكبر بكثير من 1، فإن الفرضية، بالنظر إلى الأدلة، تكون مستبعدة جدًا. وإذا كانت الفرضية (دون النظر إلى الأدلة) مستبعدة، فإن${\displaystyle P(H)}$صغير (ولكن ليس بالضرورة صغيرًا جدًا) و${\displaystyle {\tfrac {1}{P(H)}}}$وهي أكبر بكثير من 1، ويمكن تقريب هذا الحد على النحو التالي:${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$ويمكن مقارنة الاحتمالات ذات الصلة مباشرة ببعضها البعض.

إحدى الطرق السريعة والسهلة لتذكر المعادلة هي استخدام قاعدة الضرب :

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

يُعدّ التحديث البايزي شائع الاستخدام ومريحًا من الناحية الحسابية. ومع ذلك، فهو ليس قاعدة التحديث الوحيدة التي يمكن اعتبارها منطقية.

لاحظ إيان هاكينغ أن حجج " الكتاب الهولندي " التقليدية لم تُحدد التحديث البايزي، بل تركت الباب مفتوحًا أمام إمكانية تجنب قواعد التحديث غير البايزية للكتب الهولندية. وكتب هاكينغ: ^{[ 3 ]} "لا تستلزم حجة الكتاب الهولندي، ولا أي حجة أخرى في ترسانة البراهين الشخصية لبديهيات الاحتمال، الافتراض الديناميكي. ولا تستلزم أي منها البايزية. لذا، يشترط الشخصاني أن يكون الافتراض الديناميكي بايزيًا. صحيح أنه من باب الاتساق، قد يتخلى الشخصاني عن النموذج البايزي للتعلم من التجربة. قد يفقد الملح مذاقه."

في الواقع، توجد قواعد تحديث غير بايزية تتجنب أيضًا الكتب الهولندية (كما نوقش في الأدبيات المتعلقة بـ " حركية الاحتمالات ") بعد نشر قاعدة ريتشارد سي. جيفري ، التي تطبق قاعدة بايز على الحالة التي تُسند فيها احتمالية إلى الدليل نفسه. ^{[ 4 ]} وقد اعتُبرت الفرضيات الإضافية اللازمة لاشتراط التحديث البايزي بشكل حصري جوهرية ومعقدة وغير مُرضية. ^{[ 5 ]}

لنفترض أن عملية ما تولد أحداثًا مستقلة وموزعة بشكل متطابق${\displaystyle E_{n},\ n=1,2,3,\ldots }$لكن توزيع الاحتمالات غير معروف. لنفترض أن فضاء الأحداث${\displaystyle \Omega }$تمثل هذه النماذج الحالة الراهنة للاعتقاد بهذه العملية. ويتم تمثيل كل نموذج بحدث.${\displaystyle M_{m}}$الاحتمالات الشرطية${\displaystyle P(E_{n}\mid M_{m})}$يتم تحديدها لتعريف النماذج.${\displaystyle P(M_{m})}$هي درجة الإيمان بـ${\displaystyle M_{m}}$قبل خطوة الاستدلال الأولى،${\displaystyle \{P(M_{m})\}}$هي مجموعة من الاحتمالات الأولية المسبقة . يجب أن يكون مجموعها 1، ولكنها اختيارية فيما عدا ذلك.

لنفترض أن العملية لوحظ أنها تولد${\displaystyle E\in \{E_{n}\}}$لكل${\displaystyle M\in \{M_{m}\}}$السابق${\displaystyle P(M)}$يتم تحديثها إلى الجزء الخلفي${\displaystyle P(M\mid E)}$من نظرية بايز : ^{[ 6 ]}

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

عند ملاحظة أدلة إضافية، يمكن تكرار هذا الإجراء.

بالنسبة لسلسلة من الملاحظات المستقلة والموزعة بشكل متطابق${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$ويمكن إثبات بالاستقراء أن التطبيق المتكرر لما سبق يعادل $${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$ أين $${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

من خلال تحديد معلمات فضاء النماذج، يمكن تحديث مستوى الثقة في جميع النماذج بخطوة واحدة. ويمكن اعتبار توزيع مستوى الثقة في فضاء النماذج بمثابة توزيع لمستوى الثقة في فضاء المعلمات. تُعبّر التوزيعات في هذا القسم عن توزيعات متصلة، ممثلة بكثافات احتمالية، كما هو معتاد. ومع ذلك، فإن هذه التقنية قابلة للتطبيق بنفس القدر على التوزيعات المنفصلة.

ليكن المتجه${\displaystyle {\boldsymbol {\theta }}}$قم بتوسيع نطاق المعلمات. دع التوزيع المسبق الأولي على${\displaystyle {\boldsymbol {\theta }}}$يكون${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$، أين${\displaystyle {\boldsymbol {\alpha }}}$هي مجموعة من المعاملات الخاصة بالتوزيع الاحتمالي المسبق نفسه، أو المعاملات الفائقة . لنفترض${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$لتكن سلسلة من مشاهدات الأحداث المستقلة والموزعة بشكل متطابق ، حيث جميع${\displaystyle e_{i}}$يتم توزيعها على النحو التالي${\displaystyle p(e\mid {\boldsymbol {\theta }})}$بالنسبة للبعض${\displaystyle {\boldsymbol {\theta }}}$يتم تطبيق نظرية بايز لإيجاد التوزيع الاحتمالي اللاحق على${\displaystyle {\boldsymbol {\theta }}}$:

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ أين $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$، نقطة بيانات بشكل عام. قد يكون هذا متجهًا من القيم.
• ${\displaystyle \theta }$، معلمة توزيع نقطة البيانات، أي${\displaystyle x\sim p(x\mid \theta )}$قد يكون هذا متجهًا من المعاملات.
• ${\displaystyle \alpha }$، المعلمة الفائقة لتوزيع المعلمات، أي${\displaystyle \theta \sim p(\theta \mid \alpha )}$ قد يكون هذا متجهًا من المعلمات الفائقة .
• ${\displaystyle \mathbf {X} }$هي العينة، وهي مجموعة من${\displaystyle n}$نقاط البيانات المرصودة، أي${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$، نقطة بيانات جديدة يُراد التنبؤ بتوزيعها.

• التوزيع المسبق هو توزيع المعلمة (المعلمات) قبل رصد أي بيانات، أي${\displaystyle p(\theta \mid \alpha )}$قد لا يكون من السهل تحديد التوزيع المسبق؛ في مثل هذه الحالة، قد يكون أحد الاحتمالات هو استخدام توزيع جيفريز المسبق للحصول على توزيع مسبق قبل تحديثه بملاحظات أحدث.
• التوزيع الاحتمالي هو توزيع البيانات المرصودة المشروطة بمعلماتها، أي${\displaystyle p(\mathbf {X} \mid \theta )}$ ويُطلق على هذا أيضًا اسم الاحتمالية ، خاصةً عند النظر إليه كدالة للمعلمة (المعلمات)، والتي تُكتب أحيانًا${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$.
• الاحتمال الهامشي (ويُطلق عليه أحيانًا الدليل ) هو توزيع البيانات المرصودة المهمشة على المعلمة (المعلمات)، أي$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$يُحدد هذا المقياس مدى التوافق بين البيانات وآراء الخبراء، بطريقة هندسية دقيقة. ^{[ 7 ]} إذا كان الاحتمال الهامشي يساوي صفرًا، فلا يوجد توافق بين البيانات وآراء الخبراء، وبالتالي لا يمكن تطبيق قاعدة بايز.
• التوزيع الاحتمالي اللاحق هو توزيع المعلمة (أو المعلمات) بعد الأخذ في الاعتبار البيانات المرصودة. ويتم تحديده بواسطة قاعدة بايز ، التي تُشكل جوهر الاستدلال البايزي.

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}}$${\displaystyle ={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$

ويتم التعبير عن ذلك بالكلمات على النحو التالي: "الاحتمال اللاحق يتناسب مع الاحتمال مضروبًا في الاحتمال السابق"، أو أحيانًا على النحو التالي: "الاحتمال اللاحق = الاحتمال مضروبًا في الاحتمال السابق، على الأدلة".

• عمليًا، بالنسبة لجميع نماذج بايز المعقدة المستخدمة في التعلم الآلي تقريبًا، فإن التوزيع الاحتمالي اللاحق${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$لا يمكن الحصول عليها في توزيع مغلق الشكل، ويرجع ذلك أساسًا إلى أن فضاء المعلمات لـ${\displaystyle \theta }$قد تكون مرتفعة للغاية، أو يحتفظ النموذج البايزي ببنية هرمية معينة مستمدة من الملاحظات.${\displaystyle \mathbf {X} }$المعامل${\displaystyle \theta }$في مثل هذه الحالات، نحتاج إلى اللجوء إلى تقنيات التقريب. ^{[ 8 ]}
• تعميم: دع${\displaystyle P_{Y}^{x}}$ليكن التوزيع الشرطي لـ${\displaystyle Y}$منح${\displaystyle X=x}$ودع${\displaystyle P_{X}}$توزيع${\displaystyle X}$ثم يكون التوزيع المشترك${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$التوزيع الشرطي${\displaystyle P_{X}^{y}}$ل${\displaystyle X}$ منح${\displaystyle Y=y}$ثم يتم تحديده بواسطة

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$إن وجود وتفرد التوقع الشرطي المطلوب هو نتيجة لنظرية رادون-نيكوديم ، التي صاغها كولموغوروف في كتابه الشهير عام 1933. ويؤكد كولموغوروف على أهمية الاحتمال الشرطي بقوله في مقدمة الكتاب: "أود أن ألفت الانتباه إلى... وخاصة نظرية الاحتمالات الشرطية والتوقعات الشرطية...". ^{[ 9 ]} تحدد نظرية بايز التوزيع الاحتمالي اللاحق من التوزيع الاحتمالي المسبق. ويتطلب التفرد افتراضات الاستمرارية. ^{[ 10 ]} ويمكن تعميم نظرية بايز لتشمل التوزيعات الاحتمالية المسبقة غير المناسبة، مثل التوزيع المنتظم على خط الأعداد الحقيقية. ^{[ 11 ]} وقد عززت طرق مونت كارلو الحديثة لسلاسل ماركوف أهمية نظرية بايز، بما في ذلك الحالات التي تتضمن توزيعات احتمالية مسبقة غير مناسبة. ^{[ 12 ]}

• التوزيع التنبؤي اللاحق هو توزيع نقطة بيانات جديدة، مهمشًا على التوزيع اللاحق:$${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• التوزيع التنبؤي المسبق هو توزيع نقطة بيانات جديدة، مهمشًا على التوزيع المسبق:$${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

تستدعي نظرية بايز استخدام التوزيع التنبؤي اللاحق لإجراء الاستدلال التنبؤي ، أي التنبؤ بتوزيع نقطة بيانات جديدة غير مُلاحظة. بمعنى آخر، بدلاً من نقطة ثابتة للتنبؤ، يتم الحصول على توزيع على النقاط المُحتملة. بهذه الطريقة فقط يُستخدم التوزيع اللاحق الكامل للمعلمة (أو المعلمات). بالمقارنة، غالبًا ما يتضمن التنبؤ في الإحصاء التكراري إيجاد تقدير نقطي أمثل للمعلمة (أو المعلمات) - على سبيل المثال، باستخدام طريقة الاحتمال الأقصى أو تقدير الاحتمال اللاحق الأقصى (MAP) - ثم إدخال هذا التقدير في صيغة توزيع نقطة البيانات. يُعاب على هذه الطريقة أنها لا تأخذ في الحسبان أي عدم يقين في قيمة المعلمة، وبالتالي تُقلل من تقدير تباين التوزيع التنبؤي.

في بعض الحالات، يمكن للإحصاءات التكرارية التغلب على هذه المشكلة. على سبيل المثال، تُبنى فترات الثقة وفترات التنبؤ في الإحصاءات التكرارية، عند إنشائها من توزيع طبيعي بمتوسط ​​وتباين غير معلومين، باستخدام توزيع t للطالب . وهذا يُقدّر التباين بدقة، نظرًا لأن (1)  متوسط ​​المتغيرات العشوائية ذات التوزيع الطبيعي هو أيضًا توزيع طبيعي، و(2) التوزيع التنبؤي لنقطة بيانات ذات توزيع طبيعي بمتوسط ​​وتباين غير معلومين، باستخدام توزيعات مسبقة مترافقة أو غير إعلامية، يتبع توزيع t للطالب. أما في الإحصاءات البايزية، فيمكن دائمًا تحديد التوزيع التنبؤي اللاحق بدقة تامة، أو على الأقل بدقة عالية عند استخدام الطرق العددية.

يتخذ كلا نوعي التوزيعات التنبؤية شكل توزيع احتمالي مركب (كما هو الحال مع الاحتمالية الحدية ). في الواقع، إذا كان التوزيع المسبق توزيعًا مسبقًا مترافقًا ، بحيث ينتمي التوزيعان المسبق واللاحق إلى نفس العائلة، فإنه يمكن ملاحظة أن كلا التوزيعين التنبؤيين المسبق واللاحق ينتميان أيضًا إلى نفس عائلة التوزيعات المركبة. الفرق الوحيد هو أن التوزيع التنبؤي اللاحق يستخدم القيم المُحدَّثة للمعاملات الفائقة (بتطبيق قواعد التحديث البايزية الواردة في مقال التوزيع المسبق المترافق )، بينما يستخدم التوزيع التنبؤي المسبق قيم المعاملات الفائقة التي تظهر في التوزيع المسبق.

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$أي أنه إذا كان النموذج صحيحًا، فسيكون الدليل أكثر ترجيحًا مما تتوقعه الحالة الراهنة للاعتقاد. وينطبق العكس في حالة انخفاض الاعتقاد. أما إذا لم يتغير الاعتقاد،${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$أي أن الأدلة مستقلة عن النموذج. فلو كان النموذج صحيحاً، لكانت الأدلة بنفس احتمالية ما تنبأت به الحالة الراهنة للاعتقاد.

لو${\displaystyle P(M)=0}$ثم${\displaystyle P(M\mid E)=0}$. لو${\displaystyle P(M)=1}$و${\displaystyle P(E)>0}$، ثم${\displaystyle P(M|E)=1}$ويمكن تفسير ذلك على أنه يعني أن الإدانات القاطعة لا تتأثر بالأدلة المضادة.

الأولى تستنتج مباشرة من نظرية بايز. أما الثانية فيمكن استنتاجها بتطبيق القاعدة الأولى على حدث "ليس".${\displaystyle M}$"بدلا من"${\displaystyle M}$"، مما يؤدي إلى "إذا${\displaystyle 1-P(M)=0}$، ثم${\displaystyle 1-P(M\mid E)=0}$"، والتي تتبعها النتيجة مباشرة.

لنتأمل سلوك توزيع المعتقدات عند تحديثه مرات عديدة بتجارب مستقلة ومتطابقة التوزيع . بالنسبة لاحتمالات مسبقة جيدة بما فيه الكفاية، تنص نظرية برنشتاين-فون ميزس على أنه في حالة التجارب اللانهائية، يتقارب التوزيع اللاحق إلى توزيع غاوسي مستقل عن الاحتمال المسبق الأولي، وذلك في ظل شروط محددة ومثبتة بدقة من قِبل جوزيف ل. دوب عام 1948، وتحديدًا إذا كان للمتغير العشوائي قيد الدراسة فضاء احتمالي محدود . وقد توصل الإحصائي ديفيد أ. فريدمان لاحقًا إلى نتائج أكثر عمومية ، حيث نشر بحثين رائدين عامي 1963 ^{[ 13 ]} و1965 ^{[ 14 ]} حول متى وتحت أي ظروف يكون السلوك التقاربي للتوزيع اللاحق مضمونًا. ويتناول بحثه المنشور عام 1963، كما فعل دوب (1949)، الحالة المحدودة، ويخلص إلى نتيجة مرضية. مع ذلك، إذا كان للمتغير العشوائي فضاء احتمالي لانهائي ولكنه قابل للعد (أي، يُشابه نردًا ذا عدد لا نهائي من الأوجه)، فإن ورقة بحثية نُشرت عام ١٩٦٥ تُبين أنه بالنسبة لمجموعة فرعية كثيفة من التوزيعات الاحتمالية المسبقة، فإن نظرية برنشتاين-فون ميزس لا تنطبق. في هذه الحالة، يكاد يكون من المؤكد عدم وجود تقارب تقاربي. وفي وقت لاحق من ثمانينيات وتسعينيات القرن العشرين، واصل فريدمان وبيرسي دياكونيس العمل على حالة فضاءات الاحتمال اللانهائية القابلة للعد. ^{[ ١٥ ]} باختصار، قد لا تكون هناك تجارب كافية لكبح آثار الاختيار الأولي، وخاصة بالنسبة للأنظمة الكبيرة (ولكن المحدودة)، قد يكون التقارب بطيئًا للغاية.

في الصيغة البارامترية، يُفترض غالبًا أن التوزيع المسبق ينتمي إلى عائلة من التوزيعات تُسمى التوزيعات المسبقة المترافقة . وتكمن فائدة التوزيع المسبق المترافق في أن التوزيع اللاحق المقابل سيكون ضمن نفس العائلة، ويمكن التعبير عن الحساب بصيغة مغلقة .

يُفضّل في كثير من الأحيان استخدام التوزيع الاحتمالي اللاحق لتقدير معلمة أو متغير. وتختار العديد من طرق التقدير البايزي قياسات النزعة المركزية من التوزيع الاحتمالي اللاحق.

بالنسبة للمسائل أحادية البعد، يوجد وسيط فريد للمسائل العملية المستمرة. يُعد الوسيط اللاحق مقدراً قوياً وجذاباً . ^{[ 16 ]}

إذا كان هناك متوسط ​​محدود للتوزيع الاحتمالي اللاحق، فإن المتوسط ​​الاحتمالي اللاحق هو طريقة للتقدير. ^{[ 17 ]}$${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

إن أخذ القيمة ذات الاحتمالية الأكبر يحدد تقدير الاحتمالية القصوى اللاحقة (MAP): ^{[ 18 ]}$${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

هناك أمثلة لا يتم فيها الوصول إلى الحد الأقصى، وفي هذه الحالة تكون مجموعة تقديرات MAP فارغة .

توجد طرق أخرى للتقدير تقلل من المخاطرة اللاحقة (الخسارة المتوقعة اللاحقة) بالنسبة لدالة الخسارة ، وهذه الطرق ذات أهمية لنظرية القرار الإحصائي باستخدام توزيع المعاينة (الإحصاءات التكرارية). ^{[ 19 ]}

التوزيع التنبؤي اللاحق لملاحظة جديدة${\displaystyle {\tilde {x}}}$(أي مستقل عن الملاحظات السابقة) يتم تحديده بواسطة ^{[ 20 ]}${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta }$${\displaystyle =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

لنفترض وجود وعاءين ممتلئين بالبسكويت. يحتوي الوعاء الأول على 10 قطع من بسكويت رقائق الشوكولاتة و30 قطعة من البسكويت العادي، بينما يحتوي الوعاء الثاني على 20 قطعة من كل نوع. يختار فريد وعاءً عشوائيًا ثم يختار قطعة بسكويت عشوائيًا، مما يعني أنه لا يوجد سبب للاعتقاد بأن فريد يعامل أحد الوعاءين بشكل مختلف عن الآخر، وكذلك الأمر بالنسبة لقطع البسكويت. اتضح أن قطعة البسكويت المختارة كانت عادية. أما بالنسبة لاحتمالية أن يكون فريد قد اختارها من الوعاء الأول، فهذا مثال على مشكلة يمكن حلها باستخدام الاستدلال البايزي.

يبدو بديهيًا أن الإجابة يجب أن تكون أكثر من النصف، نظرًا لوجود عدد أكبر من قطع البسكويت السادة في الوعاء رقم 1. وتُعطى الإجابة الدقيقة بواسطة نظرية بايز. لنفترض${\displaystyle H_{1}}$يتوافق مع الوعاء رقم 1، و${\displaystyle H_{2}}$إلى الوعاء رقم ٢. من المعلوم أن الوعاءين متطابقان من وجهة نظر فريد، وبالتالي${\displaystyle P(H_{1})=P(H_{2})}$ويجب أن يكون مجموعهما 1، لذا فإن كليهما يساوي 0.5. الحدث${\displaystyle E}$إن ملاحظة قطعة بسكويت عادية هي أمرٌ معروف. ومن محتويات الأوعية، يُعرف أن${\displaystyle P(E\mid H_{1})=30/40=0.75}$و${\displaystyle P(E\mid H_{2})=20/40=0.5.}$ثم ينتج عن صيغة بايز ${\displaystyle P(H_{1}\mid E)={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}}$${\displaystyle ={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}=0.6}$

قبل ملاحظة كعكة فريد، كان احتمال اختيار فريد للوعاء رقم 1 هو الاحتمال المسبق${\displaystyle P(H_{1})=50\%.}$من خلال الإقرار بوجود ملف تعريف الارتباط، يصبح تقدير فريد (أو أي مراقب) الأكثر دقة لـ${\displaystyle P(H_{1})}$تم تحديثه إلى${\displaystyle P(H_{1}\mid E)=60\%.}$

يعمل عالم آثار في موقع يُعتقد أنه يعود إلى العصور الوسطى، بين القرنين الحادي عشر والسادس عشر. مع ذلك، لا يزال من غير المؤكد متى سُكن الموقع تحديدًا خلال هذه الفترة. عُثر على شظايا فخارية، بعضها مزجج وبعضها مزخرف. يُتوقع أنه إذا كان الموقع مأهولًا خلال أوائل العصور الوسطى، فإن 1% من الفخار سيكون مزججًا و50% من مساحته مزخرفًا، بينما إذا كان مأهولًا في أواخر العصور الوسطى، فإن 81% منه سيكون مزججًا و5% من مساحته مزخرفًا. ما مدى ثقة عالم الآثار في تاريخ الاستيطان مع استمرار اكتشاف الشظايا؟

درجة الإيمان بالمتغير المستمر${\displaystyle C}$(القرن) سيتم حسابه، مع مجموعة الأحداث المنفصلة${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$كدليل. المعلومات الواردة في الفقرة السابقة تؤدي إلى $${\displaystyle p_{G}(c)=0.01+{\frac {0.80}{5}}(c-11)}$$ بالنسبة لاحتمالية التزجيج و $${\displaystyle p_{D}(c)=0.5-{\frac {0.45}{5}}(c-11)}$$ لاحتمالية التزيين؛ ومكملاتها هي $${\displaystyle {\bar {p}}_{G}(c)=1-p_{G}(c),\quad {\bar {p}}_{D}(c)=1-p_{D}(c).}$$ بافتراض التغير الخطي للطلاء والزخرفة مع مرور الوقت، وأن هذه المتغيرات مستقلة، فإن احتمال كل حدث يُقرأ كالتالي:

عندما يكون جزء جديد من النوع${\displaystyle e}$في حال اكتشافها، فهذا يعني الحصول على مزيد من المعلومات للتحقيق، ومن خلال نظرية بايز، استدلال بايزي مُحدَّث نحو درجة أفضل من الثقة في تقدير علماء الآثار. بافتراض توزيع احتمالي أولي موحد لـ${\textstyle f_{C}(c)=0.2}$وأن التجارب مستقلة وموزعة بشكل متطابق ،

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)}$${\displaystyle ={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c).}$

يُظهر الرسم البياني محاكاة حاسوبية لتغير المعتقدات مع اكتشاف 50 قطعة أثرية. في المحاكاة، كان الموقع مأهولًا بالسكان حوالي عام 1420، أو${\displaystyle c=15.2}$بحساب المساحة تحت الجزء ذي الصلة من الرسم البياني لخمسين تجربة، يستطيع عالم الآثار أن يستنتج أنه لا توجد عمليًا أي فرصة لأن يكون الموقع مأهولًا بالسكان في القرنين الحادي عشر والثاني عشر، ونحو 1% أنه كان مأهولًا بالسكان خلال القرن الثالث عشر، و63% خلال القرن الرابع عشر، و36% خلال القرن الخامس عشر. وتؤكد نظرية برنشتاين-فون ميزس هنا التقارب التقاربي نحو التوزيع "الحقيقي" لأن فضاء الاحتمالات المقابل لمجموعة الأحداث المنفصلة${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$هي محدودة (انظر القسم أعلاه حول السلوك التقاربي للتوزيع الاحتمالي اللاحق).

تلعب المنهجية البايزية دورًا في اختيار النموذج ، حيث يهدف إلى اختيار نموذج واحد من بين مجموعة نماذج متنافسة يُمثل العملية الأساسية التي ولّدت البيانات المرصودة بأقرب صورة. في مقارنة النماذج البايزية، يُختار النموذج ذو أعلى احتمال لاحق بالنظر إلى البيانات. يعتمد الاحتمال اللاحق للنموذج على الدليل، أو الاحتمال الهامشي ، الذي يعكس احتمال أن يكون النموذج هو مصدر البيانات، وعلى الاعتقاد المسبق للنموذج. عندما يُفترض مسبقًا أن نموذجين متنافسين متساويان في الاحتمال، فإن نسبة احتمالاتهما اللاحقة تُقابل عامل بايز . ولأن مقارنة النماذج البايزية تهدف إلى اختيار النموذج ذي أعلى احتمال لاحق، تُعرف هذه المنهجية أيضًا بقاعدة اختيار الاحتمال اللاحق الأقصى (MAP) ^{[ 29 ]} أو قاعدة احتمال MAP ^{[ 30 ] .}

انظر إلى مدخل ويكيبيديا المنفصل حول الإحصاءات البايزية ، وتحديداً قسم النمذجة الإحصائية في تلك الصفحة.

للاستدلال البايزي تطبيقات في الذكاء الاصطناعي وأنظمة الخبراء . وقد شكلت تقنيات الاستدلال البايزي جزءًا أساسيًا من تقنيات التعرف على الأنماط المحوسبة منذ أواخر الخمسينيات. ^{[ 34 ]} كما أن هناك ارتباطًا متزايدًا بين الأساليب البايزية وتقنيات مونت كارلو القائمة على المحاكاة ، نظرًا لأن النماذج المعقدة لا يمكن معالجتها بصيغة مغلقة باستخدام التحليل البايزي، بينما قد يسمح هيكل النموذج البياني بخوارزميات محاكاة فعالة مثل أخذ عينات جيبس ​​وخوارزميات متروبوليس-هاستينغز الأخرى . ^{[ 35 ]} وقد اكتسب الاستدلال البايزي مؤخرًا شعبية واسعة بين مجتمع علم الوراثة العرقي لهذه الأسباب؛ إذ يسمح عدد من التطبيقات بتقدير العديد من المعايير الديموغرافية والتطورية في آن واحد.

في مجال التصنيف الإحصائي ، استُخدم الاستدلال البايزي لتطوير خوارزميات لتحديد البريد الإلكتروني العشوائي . ومن التطبيقات التي تستخدم الاستدلال البايزي لتصفية البريد العشوائي: CRM114 ، وDSPAM ، وBogofilter ، و SpamAssassin ، وSpamBayes ، وMozilla ، وXEAMS، وغيرها. يُناقش تصنيف البريد العشوائي بمزيد من التفصيل في مقال مُصنِّف بايز البسيط .

الاستدلال الاستقرائي لسولومونوف هو نظرية للتنبؤ مبنية على الملاحظات؛ على سبيل المثال، التنبؤ بالرمز التالي بناءً على سلسلة معينة من الرموز. الافتراض الوحيد هو أن البيئة تتبع توزيعًا احتماليًا غير معروف ولكنه قابل للحساب . إنه إطار استقرائي رسمي يجمع بين مبدأين مدروسين جيدًا للاستدلال الاستقرائي: الإحصاء البايزي ومبدأ أوكام . ^{[ 36 ]} الاحتمال المسبق الشامل لسولومونوف لأي بادئة p من متتالية قابلة للحساب x هو مجموع احتمالات جميع البرامج (لحاسوب شامل) التي تحسب شيئًا ما يبدأ بـ p . بالنظر إلى p وأي توزيع احتمالي قابل للحساب ولكنه غير معروف يتم أخذ عينة x منه ، يمكن استخدام الاحتمال المسبق الشامل ونظرية بايز للتنبؤ بالأجزاء غير المرئية من x بطريقة مثلى. ^{[ 37 ] [ 38 ]}

تم تطبيق الاستدلال البايزي في تطبيقات المعلوماتية الحيوية المختلفة ، بما في ذلك تحليل التعبير الجيني التفاضلي. ^{[ 39 ]} كما يُستخدم الاستدلال البايزي في نموذج عام لمخاطر الإصابة بالسرطان، يُسمى مؤشر المخاطر الفردية المستمرة ( CIRI )، حيث تُدمج القياسات المتسلسلة لتحديث نموذج بايزي مبني أساسًا على المعرفة المسبقة. ^{[ 40 ] [ 41 ]}

لقد كان النهج البايزي محورياً في التقدم الأخير في علم الكونيات والتطبيقات الفيزيائية الفلكية، ^{[ 42 ] [ 43 ]} ويمتد ليشمل نطاقاً واسعاً من المشكلات الفيزيائية الفلكية، بما في ذلك توصيف الكواكب الخارجية (مثل مطابقة الغلاف الجوي لكوكب k2-18b ^{[ 44 ]} )، وقيود المعلمات باستخدام البيانات الكونية، ^{[ 45 ]} والمعايرة في التجارب الفيزيائية الفلكية. ^{[ 46 ]}

في علم الكونيات، يُستخدم هذا الأسلوب غالبًا مع تقنيات حسابية مثل مونت كارلو لسلسلة ماركوف (MCMC) وخوارزمية أخذ العينات المتداخلة لتحليل مجموعات البيانات المعقدة والتنقل في فضاء المعلمات عالي الأبعاد. ومن أبرز تطبيقاته بيانات إشعاع الخلفية الكونية الميكروي (CMB) من مرصد بلانك عام 2018 لاستنتاج المعلمات. ^{[ 45 ]} لا تُتنبأ المعلمات الكونية الأساسية الست في نموذج لامدا-CDM بنظرية محددة، بل تُستنتج من بيانات إشعاع الخلفية الكونية الميكروي (CMB) لنموذج كوني مُختار (نموذج لامدا-CDM). ^{[ 47 ]} يقوم برنامج بايزي لعلم الكونيات "كوبايا" ^{[ 48 ]} بإعداد عمليات محاكاة كونية وربط احتمالات كونية، وبرنامج بولتزمان ^{[ 49 ] [ 50 ]} الذي يحسب تباينات إشعاع الخلفية الكونية الميكروي المتوقعة لأي مجموعة معينة من المعلمات الكونية، باستخدام مونت كارلو لسلسلة ماركوف أو خوارزمية أخذ العينات المتداخلة.

لا يقتصر هذا الإطار الحسابي على النموذج القياسي، بل هو ضروري أيضًا لاختبار نظريات بديلة أو موسعة لعلم الكونيات، مثل النظريات التي تتضمن الطاقة المظلمة المبكرة، ^{[ 51 ]} أو نظريات الجاذبية المعدلة التي تُدخل معلمات إضافية تتجاوز نموذج لامدا-سي دي إم. ويمكن بعد ذلك استخدام مقارنة النماذج البايزية لحساب الأدلة الداعمة للنماذج المتنافسة، مما يوفر أساسًا إحصائيًا لتقييم ما إذا كانت البيانات تدعمها مقارنةً بنموذج لامدا-سي دي إم القياسي. ^{[ 52 ]}

يمكن للمحلفين استخدام الاستدلال البايزي لجمع الأدلة المؤيدة والمعارضة للمتهم بشكل متماسك، وللتحقق مما إذا كانت، في مجملها، تفي بمعيارهم الشخصي " بما لا يدع مجالاً للشك ". ^{[ 53 ] [ 54 ] [ 55 ]} تُطبق نظرية بايز تباعًا على جميع الأدلة المقدمة، حيث يصبح الاحتمال اللاحق من مرحلة ما هو الاحتمال المسبق للمرحلة التالية. تكمن فائدة المنهج البايزي في أنه يمنح المحلف آلية عقلانية وغير متحيزة لدمج الأدلة. قد يكون من المناسب شرح نظرية بايز للمحلفين بصيغة احتمالات ، لأن احتمالات المراهنة مفهومة على نطاق أوسع من الاحتمالات. بدلاً من ذلك، قد يكون استخدام المنهج اللوغاريتمي ، الذي يستبدل الضرب بالجمع، أسهل على هيئة المحلفين.

إذا لم يكن هناك شك في وقوع الجريمة، وإنما فقط في هوية الجاني، فقد اقتُرح أن يكون الاحتمال المسبق موحدًا بين جميع أفراد المجتمع المؤهلين. ^{[ 56 ]} على سبيل المثال، إذا كان من الممكن أن يرتكب 1000 شخص الجريمة، فإن الاحتمال المسبق للذنب سيكون 1/1000.

يُعدّ استخدام نظرية بايز من قِبل هيئة المحلفين أمرًا مثيرًا للجدل. ففي المملكة المتحدة، شرح خبير دفاعي نظرية بايز لهيئة المحلفين في قضية "آر ضد آدامز" . أدانت هيئة المحلفين المتهم، لكن القضية رُفعت استئنافًا على أساس عدم توفير أي وسيلة لجمع الأدلة للمحلفين الذين لا يرغبون في استخدام نظرية بايز. أيدت محكمة الاستئناف الإدانة، لكنها رأت أيضًا أن "إدخال نظرية بايز، أو أي طريقة مماثلة، في محاكمة جنائية يُغرق هيئة المحلفين في مجالات نظرية وتعقيد غير مناسبة وغير ضرورية، مما يُشتت انتباههم عن مهمتهم الأساسية".

يجادل غاردنر-ميدوين ^{[ 57 ]} بأن المعيار الذي ينبغي أن يُبنى عليه الحكم في المحاكمة الجنائية ليس احتمال الإدانة، بل احتمال الأدلة، بافتراض براءة المتهم (وهو ما يُشبه قيمة p في الإحصاء التكراري ). ويجادل بأنه إذا كان سيتم حساب احتمال الإدانة اللاحق باستخدام نظرية بايز، فلا بد من معرفة احتمال الإدانة المسبق. وهذا يعتمد على مدى تكرار الجريمة، وهو دليل غير مألوف في المحاكمات الجنائية. لننظر في الافتراضات الثلاثة التالية:

أ – الحقائق المعروفة والشهادة التي كان من الممكن أن تظهر إذا كان المتهم مذنباً.

ب - الحقائق المعروفة والشهادة التي كان من الممكن أن تظهر إذا كان المتهم بريئاً.

ج – المتهم مذنب.

يجادل غاردنر-ميدوين بأن على هيئة المحلفين أن تصدق كلاً من (أ) و( ب) من عدمها لإدانة المتهم. فعدم تصديق (أ) و (ب) من عدمها يستلزم صحة (ج) ، ولكن العكس غير صحيح. من الممكن أن تكون (ب) و (ج) صحيحتين، لكنه في هذه الحالة يرى أنه ينبغي على هيئة المحلفين تبرئة المتهم، حتى وإن كانوا يعلمون أنهم سيطلقون سراح بعض المذنبين. انظر أيضاً مفارقة ليندلي .

نظرية المعرفة البايزية هي حركة تدعو إلى الاستدلال البايزي كوسيلة لتبرير قواعد المنطق الاستقرائي.

رفض كارل بوبر وديفيد ميلر فكرة العقلانية البايزية، أي استخدام قاعدة بايز للاستدلال المعرفي: ^{[ 58 ]} فهي عرضة لنفس الحلقة المفرغة التي تقع فيها أي نظرية معرفية تبريرية أخرى ، لأنها تفترض مسبقًا ما تحاول تبريره. ووفقًا لهذا الرأي، فإن التفسير العقلاني للاستدلال البايزي يعتبره مجرد نسخة احتمالية من التكذيب ، رافضًا الاعتقاد السائد بين البايزيين بأن الاحتمالية العالية التي يتم تحقيقها من خلال سلسلة من التحديثات البايزية ستثبت الفرضية بما لا يدع مجالًا للشك، أو حتى باحتمالية أكبر من الصفر.

• يُفسَّر المنهج العلمي أحيانًا على أنه تطبيق للاستدلال البايزي. من هذا المنظور، تُوجِّه قاعدة بايز (أو ينبغي أن تُوجِّه) تحديث الاحتمالات المتعلقة بالفرضيات بناءً على الملاحظات أو التجارب الجديدة . ^{[ 59 ]} كما طُبِّق الاستدلال البايزي لمعالجة مشاكل الجدولة العشوائية ذات المعلومات غير الكاملة بواسطة كاي وآخرون (2009). ^{[ 60 ]}
• تُستخدم نظرية البحث البايزي للبحث عن الأشياء المفقودة.
• الاستدلال البايزي في علم الوراثة العرقي
• أداة بايزية لتحليل المثيلة
• تستكشف المناهج البايزية لوظائف الدماغ الدماغ كآلية بايزية.
• الاستدلال البايزي في الدراسات البيئية ^{[ 61 ] [ 62 ]}
• يتم استخدام الاستدلال البايزي لتقدير المعلمات في نماذج الحركية الكيميائية العشوائية ^{[ 63 ]}
• الاستدلال البايزي في الفيزياء الاقتصادية للعملات أو التنبؤ بتغيرات الاتجاه في الاقتباسات المالية ^{[ 64 ]}
• الاستدلال البايزي في التسويق
• الاستدلال البايزي في التعلم الحركي
• يُستخدم الاستدلال البايزي في الحسابات العددية الاحتمالية لحل المسائل العددية.

الكتب التالية مدرجة بترتيب تصاعدي حسب مستوى تعقيدها الاحتمالي:

• ستون، جيه في (2013)، "قاعدة بايز: مقدمة تعليمية للتحليل البايزي"، "حمّل الفصل الأول من هنا" . مؤرشف من الأصل بتاريخ 22-07-2015.دار نشر سيبتل، إنجلترا.
• دينيس ف. ليندلي (2013). فهم عدم اليقين، الطبعة المنقحة (  الطبعة الثانية). جون وايلي. ISBN 978-1-118-65012-7.
• كولين هاوسون وبيتر أورباخ (2005). التفكير العلمي: المنهج البايزي (  الطبعة الثالثة). دار نشر أوبن كورت . رقم ISBN 978-0-8126-9578-6.
• بيري، دونالد أ. (1996). الإحصاء: منظور بايزي . دوكسبوري. ISBN 978-0-534-23476-8.
• موريس إتش. ديغروت ومارك جيه. شيرفيش (2002). الاحتمالات والإحصاء (  الطبعة الثالثة). أديسون-ويسلي. ISBN 978-0-201-52488-8.
• بولستاد، ويليام م. (2007) مقدمة في الإحصاء البايزي : الطبعة الثانية، جون وايلي ، رقم ISBN 0-471-27020-2
• وينكلر، روبرت ل. (2003). مقدمة في الاستدلال واتخاذ القرار البايزي (  الطبعة الثانية). الاحتمالات. ISBN 978-0-9647938-4-2.كتاب مدرسي كلاسيكي مُحدَّث. نظرية بايز مُقدَّمة بوضوح.
• لي، بيتر م. الإحصاء البايزي: مقدمة . الطبعة الرابعة (2012)، جون وايلي، رقم ISBN 978-1-1183-3257-3
• كارلين، برادلي ب. ولويس، توماس أ. (2008). الأساليب البايزية لتحليل البيانات، الطبعة الثالثة . بوكا راتون، فلوريدا: تشابمان آند هول/سي آر سي. رقم ISBN 978-1-58488-697-6.
• جيلمان، أندرو ؛ كارلين، جون ب.؛ ستيرن، هال س.؛ دونسون، ديفيد ب.؛ فيهتاري، آكي؛ روبين، دونالد ب. (2013). تحليل البيانات البايزي، الطبعة الثالثة . تشابمان آند هول/سي آر سي. رقم ISBN 978-1-4398-4095-5.

• بيرغر، جيمس أو (1985). نظرية القرار الإحصائي والتحليل البايزي . سلسلة سبرينغر في الإحصاء (  الطبعة الثانية). سبرينغر-فيرلاغ. رمز Bibcode : 1985sdtb.book.....B . رقم ISBN 978-0-387-96098-2.
• برناردو، خوسيه  م.؛ سميث ، أدريان  ف.  م. (1994). نظرية بايز . وايلي.
• ديغروت، موريس هـ. ، القرارات الإحصائية المثلى . مكتبة وايلي كلاسيكس. 2004. (نُشرت أصلاً عام 1970 بواسطة ماكجرو هيل). ISBN 0-471-68029-X.
• شيرفيش، مارك ج. (1995). نظرية الإحصاء . سبرينغر-فيرلاغ. رقم ISBN 978-0-387-94546-0.
• جاينز، إي تي (1998). نظرية الاحتمالات: منطق العلم .
• أوهيغان، أ. وفورستر، ج. (2003). نظرية كيندال المتقدمة في الإحصاء ، المجلد 2ب: الاستدلال البايزي . أرنولد، نيويورك. ISBN 0-340-52922-9.
• روبرت، كريستيان ب. (2007). الاختيار البايزي: من الأسس النظرية للقرار إلى التطبيق الحسابي (  طبعة ورقية). سبرينغر. ISBN 978-0-387-71598-8.
• بيرل، جوديا . (1988). الاستدلال الاحتمالي في الأنظمة الذكية: شبكات الاستدلال المعقول ، سان ماتيو، كاليفورنيا: مورغان كوفمان.
• بيير بيسيير وآخرون. (2013). " البرمجة بايزي ". الصحافة اتفاقية حقوق الطفل. رقم ISBN 9781439880326
• فرانسيسكو ج. سامانييغو (2010). "مقارنة بين المنهجين البايزي والترددي في التقدير". سبرينغر. نيويورك، ISBN 978-1-4419-5940-9