قانون التباين الكلي

لنفترض أن خمسة طلاب يخضعون لامتحان تتراوح درجاته بين 0 و100. لنفترض أن Y = درجة الطالب و X تشير إلى ما إذا كان الطالب *دوليًا* أو *محليًا*:

• المتوسط ​​والتباين الدوليان:${\displaystyle \operatorname {E} [Y\mid X={\text{Intl}}]=50,\;\operatorname {Var} (Y\mid X={\text{Intl}})\approx 1266.7.}$
• المتوسط ​​والتباين للاستهلاك المحلي:${\displaystyle \operatorname {E} [Y\mid X={\text{Dom}}]=50,\;\operatorname {Var} (Y\mid X={\text{Dom}})=100.}$

تشترك المجموعتان في نفس المتوسط ​​(50)، لذا فإن التباين المُفسَّر${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X])}$وهي 0، والتباين الكلي يساوي متوسط ​​التباينات داخل المجموعة (مرجحًا بحجم المجموعة)، أي 800.

ليكن X رمية عملة تأخذ قيمتي " صورة" باحتمالية h و "كتابة" باحتمالية 1−h . بمعلومية "صورة"،${\displaystyle Y\sim \mathrm {عادي} (\mu _{h},\sigma _{h}^{2})}$; بالنظر إلى الذيل،${\displaystyle Y\sim \mathrm {عادي} (\mu _{t},\sigma _{t}^{2})}$. ثم${\displaystyle \operatorname {E} [\operatorname {Var} (Y\mid X)]=h\,\sigma _{h}^{2}+(1-h)\,\sigma _{t}^{2},}$${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X])=h\,(1-h)\,(\mu _{h}-\mu _{t})^{2},}$ لذا ${\displaystyle \operatorname {Var} (Y)=h\,\sigma _{h}^{2}+(1-h)\,\sigma _{t}^{2}\;+\;h\,(1-h)\,(\mu _{h}-\mu _{t})^{2}.}$

لنفترض تجربة من مرحلتين:

1. قم برمي نرد متوازن (قيم من 1 إلى 6) لاختيار واحدة من ست عملات معدنية غير متوازنة.
2. اقلب العملة المختارة؛ دع Y = 1 إذا كانت الصورة، و 0 إذا كانت الكتابة.

ثم${\displaystyle \operatorname {E} [Y\mid X=i]=p_{i},\;\operatorname {Var} (Y\mid X=i)=p_{i}(1-p_{i}).}$يصبح التباين الكلي لـ Y$${\displaystyle \operatorname {Var} (Y)=\operatorname {E} {\bigl [}p_{X}(1-p_{X}){\bigr ]}+\operatorname {Var} {\bigl (}p_{X}{\bigr )},}$$ مع${\displaystyle p_{X}}$الزي الرسمي${\displaystyle \{p_{1},\dots ,p_{6}\}.}$

يترك${\displaystyle (X_{i},Y_{i})}$،${\displaystyle i=1,\ldots ,n}$، تُلاحظ الأزواج. عرّف${\displaystyle {\overline {Y}}=\operatorname {E} [Y].}$ثم $${\displaystyle {\begin{aligned}\operatorname {Var} (Y)&={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}\\[1ex]&={\frac {1}{n}}\sum _{i=1}^{n}\left[\left(Y_{i}-{\overline {Y}}_{\!\!X_{i}}\right)+\left({\overline {Y}}_{\!\!X_{i}}-{\overline {Y}}\right)\right]^{2},\end{aligned}}}$$ أين${\displaystyle {\overline {Y}}_{X_{i}}=\operatorname {E} [Y\mid X=X_{i}].}$يؤدي توسيع المربع وملاحظة حذف الحد المختلط في عملية الجمع إلى: ${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[\operatorname {Var} (Y\mid X)\right]+\operatorname {Var} \left(\operatorname {E} [Y\mid X]\right).}$

استخدام${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [Y^{2}]-\operatorname {E} [Y]^{2}}$وقانون التوقع الكلي : $${\displaystyle {\begin{aligned}\operatorname {E} [Y^{2}]&=\operatorname {E} \left[\operatorname {E} (Y^{2}\mid X)\right]\\&=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+(\operatorname {E} [Y\mid X])^{2}\right].\end{aligned}}}$$ طرح${\displaystyle \operatorname {E} [Y]^{2}=\left(\operatorname {E} [\operatorname {E} (Y\mid X)]\right)^{2}}$ثم إعادة التجمع للوصول إلى ${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[\operatorname {Var} (Y\mid X)\right]+\operatorname {Var} \left(\operatorname {E} [Y\mid X]\right).}$

في تحليل التباين أحادي الاتجاه ، يكون مجموع المربعات الكلي (متناسبًا مع${\displaystyle \operatorname {Var} (Y)}$) يتم تقسيمها إلى مجموع مربعات "بين المجموعات" (${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X])}$) بالإضافة إلى مجموع مربعات "داخل المجموعة" (${\displaystyle \operatorname {E} [\operatorname {Var} (Y\mid X)]}$). يختبر اختبار F ما إذا كان المكون المُفسَّر كبيرًا بما يكفي للإشارة إلى أن X له تأثير كبير على Y. ^{[ 3 ]}

في الانحدار الخطي والنماذج ذات الصلة، إذا${\displaystyle {\hat {Y}}=\operatorname {E} [Y\mid X],}$نسبة التباين المُفسَّر هي $${\displaystyle {\begin{aligned}R^{2}={\frac {\operatorname {Var} ({\hat {Y}})}{\operatorname {Var} (Y)}}&={\frac {\operatorname {Var} (\operatorname {E} [Y\mid X])}{\operatorname {Var} (Y)}}\\[1ex]&=1-{\frac {\operatorname {E} [\operatorname {Var} (Y\mid X)]}{\operatorname {Var} (Y)}}.\end{aligned}}}$$ في الحالة الخطية البسيطة (متغير تنبؤي واحد)،${\displaystyle R^{2}}$كما يساوي مربع معامل ارتباط بيرسون بين X و Y.

في العديد من الطرق البايزية وطرق التجميع، يتم تحليل عدم اليقين في التنبؤ من خلال قانون التباين الكلي. بالنسبة لشبكة عصبية بايزية ذات معلمات عشوائية${\displaystyle \theta }$: ${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[\operatorname {Var} (Y\mid \theta )\right]+\operatorname {Var} \left(\operatorname {E} [Y\mid \theta ]\right),}$ يُشار إليها غالبًا باسم عدم اليقين "العشوائي" (داخل النموذج) مقابل عدم اليقين "المعرفي" (بين النماذج). ^{[ 4 ]}

تستخدم نظرية المصداقية نفس التقسيم: القيمة المتوقعة لتباين العملية (EVPV).${\displaystyle \operatorname {E} [\operatorname {Var} (Y\mid X)],}$وتباين المتوسطات الافتراضية (VHM)،${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X]).}$تحدد نسبة التباين المُفسَّر إلى التباين الكلي مدى "المصداقية" التي تُمنح لتصنيفات المخاطر الفردية. ^{[ 2 ]}

بالنسبة للتوزيع الغاوسي المشترك${\displaystyle (X,Y)}$، الكسر${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X])/\operatorname {Var} (Y)}$يرتبط ذلك بشكل مباشر بالمعلومات المتبادلة${\displaystyle I(Y;X).}$^{[ 5 ]} في الإعدادات غير الغاوسية، لا تزالنسبة التباين المفسر العالية تشير إلى معلومات مهمة حولYالموجودة فيX.

ينطبق قانون التباين الكلي على الشروط المتعددة أو المتداخلة. على سبيل المثال، مع متغيرين شرطيين${\displaystyle X_{1}}$و${\displaystyle X_{2}}$: $${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[\operatorname {Var} (Y\mid X_{1},X_{2})\right]+\operatorname {E} \left[\operatorname {Var} (\operatorname {E} [Y\mid X_{1},X_{2}]\mid X_{1})\right]+\operatorname {Var} (\operatorname {E} [Y\mid X_{1}]).}$$ وبشكل أعم، فإن قانون التراكم الكلي يوسع هذا النهج ليشمل اللحظات الأعلى.