تقدير مصفوفات التغاير

دالة الاحتمال هي:

${\displaystyle {\mathcal {L}}(\mu ,\Sigma )=(2\pi )^{-{\frac {np}{2}}}\,\prod _{i=1}^{n}\det(\Sigma )^{-{\frac {1}{2}}}\exp \left(-{\frac {1}{2}}(x_{i}-\mu )^{\mathrm {T} }\Sigma ^{-1}(x_{i}-\mu )\right)}$

من السهل إثبات أن تقدير الاحتمال الأقصى لمتجه المتوسط ​​μ هو متجه " متوسط ​​العينة ":

${\displaystyle {\overline {x}}={\frac {x_{1}+\cdots +x_{n}}{n}}.}$

راجع قسم التقدير في المقالة المتعلقة بالتوزيع الطبيعي لمزيد من التفاصيل؛ فالعملية هنا مماثلة.

منذ التقدير${\displaystyle {\bar {x}}}$لا يعتمد على Σ، يمكننا ببساطة استبداله بـ μ في دالة الاحتمال ، فنحصل على

${\displaystyle {\mathcal {L}}({\overline {x}},\Sigma )\propto \det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{\mathrm {T} }\Sigma ^{-1}(x_{i}-{\overline {x}})\right),}$

ثم ابحث عن قيمة Σ التي تزيد من احتمالية البيانات (من الناحية العملية، من الأسهل العمل مع اللوغاريتم). ${\displaystyle {\mathcal {L}}}$).

والآن نأتي إلى الخطوة الأولى المفاجئة: لننظر إلى الكمية القياسية${\displaystyle (x_{i}-{\overline {x}})^{\mathrm {T} }\Sigma ^{-1}(x_{i}-{\overline {x}})}$باعتبارها أثر مصفوفة 1×1. وهذا يُتيح استخدام متطابقة tr( AB ) = tr( BA ) عندما تكون A و B مصفوفتين بحيث يكون كلا حاصل ضربهما موجودًا. فنحصل على

$\begin{aligned}{\mathcal{L}}(\overline{x},\Sigma)&\propto \det(\Sigma)^{-\frac{n}{2}}}\exp \left(-1/2\sum_{i=1}^{n}\left(\left(x_{i}-\overline{x}}\right)^{\mathrm{T}}\Sigma^{-1}\left(x_{i}-\overline{x}}\right)\right)\right)\\&=\det(\Sigma)^{-\frac{n}{2}}}\exp \left(-1/2\sum_{i=1}^{n}\operatorname{tr}\left(\left(x_{i}-\overline{x}} \begin{cd} \left(\Sigma \right) \left(\x_{i}-\overline {x}\right)^{\mathrm {t} \Sigma^{-1}\right)\right)\\&=\det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\operatorname {tr} \left(\sum _{i=1}^{n}\left(\x_{i}-\overline {x}\right)\left(\x_{i}-\overline {x}\right)^{\mathrm {t} \Sigma^{-1}\right)\right)\\&=\det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\operatorname {tr} \left(S\Sigma ^{-1}\right)\right)\end{aligned}}}$

أين

${\displaystyle S=\sum _{i=1}^{n}(x_{i}-{\overline {x}})(x_{i}-{\overline {x}})^{\mathrm {T} }\in \mathbf {R} ^{p\times p}.}$

${\displaystyle S}$تُسمى أحيانًا مصفوفة التشتت ، وتكون موجبة التحديد إذا وُجدت مجموعة جزئية من البيانات تتكون من${\displaystyle p}$الملاحظات المستقلة خطيًا (وهو ما سنفترضه).

يستنتج من نظرية الطيف في الجبر الخطي أن المصفوفة المتناظرة الموجبة المحددة S لها جذر تربيعي متناظر موجب محدد وحيد S ^1/2 . ويمكننا مرة أخرى استخدام "الخاصية الدورية" للأثر لكتابة

${\displaystyle \det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\operatorname {tr} \left(S^{\frac {1}{2}}\Sigma ^{-1}S^{\frac {1}{2}}\right)\right).}$

ليكن B = S ^1/2 Σ ⁻¹ S ^1/2 . عندئذٍ يصبح التعبير أعلاه

${\displaystyle \det(S)^{-{\frac {n}{2}}}\det(B)^{\frac {n}{2}}\exp \left(-{1 \over 2}\operatorname {tr} (B)\right).}$

يمكن تحويل المصفوفة B الموجبة المحددة إلى مصفوفة قطرية، ومن ثمّ تكمن المشكلة في إيجاد قيمة B التي تُعظّم

${\displaystyle \det(B)^{\frac {n}{2}}\exp \left(-{1 \over 2}\operatorname {tr} (B)\right)}$

بما أن أثر المصفوفة المربعة يساوي مجموع قيمها الذاتية ( "الأثر والقيم الذاتية" )، _فإن المعادلة تختزل إلى مسألة إيجاد القيم الذاتية λ₁ _، ...، λₚ التي تُعظّم

${\displaystyle \prod _{i=1}^{n}\lambda _{i}^{\frac {n}{2}}\exp \left(-{\frac {\lambda _{i}}{2}}\right).}$

_{هذه مجرد مسألة حسابية ،} ونحصل على λᵢ = n لجميع قيم i. لذا، بافتراض أن Q هي مصفوفة المتجهات الذاتية، فإن

${\displaystyle B=Q(nI_{p})Q^{-1}=nI_{p}}$

أي، n مرة مصفوفة الوحدة p × p .

وأخيراً حصلنا

${\displaystyle \Sigma =S^{\frac {1}{2}}B^{-1}S^{\frac {1}{2}}=S^{\frac {1}{2}}\left({\frac {1}{n}}I_{p}\right)S^{\frac {1}{2}}={\frac {S}{n}},}$

أي، مصفوفة التغاير العيني من الرتبة p × p

${\displaystyle {S \over n}={1 \over n}\sum _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{\mathrm {T} }}$

يمثل Σ مُقدِّر الاحتمال الأقصى لمصفوفة التغاير السكاني  Σ. نستخدم هنا الحرف X الكبير بدلاً من x الصغير لأننا نعتبره "مُقدِّراً وليس مجرد تقدير"، أي شيئاً عشوائياً يمكننا الاستفادة من معرفة توزيعه الاحتمالي. يمكن إثبات أن المصفوفة العشوائية S تتبع توزيع ويشارت بدرجات حرية n − 1. ^{[ 5 ]} أي:

${\displaystyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{\mathrm {T} }\sim W_{p}(\Sigma ,n-1).}$

يمكن اشتقاق مُقدِّر الاحتمال الأقصى بطريقة بديلة باستخدام صيغ حساب المصفوفات (انظر أيضًا تفاضل المحدد وتفاضل المصفوفة العكسية ). كما تُؤكد هذه الطريقة الحقيقة المذكورة سابقًا حول تقدير الاحتمال الأقصى للمتوسط. أعد كتابة الاحتمال في الصيغة اللوغاريتمية باستخدام حيلة الأثر.

${\displaystyle \ln {\mathcal {L}}(\mu ,\Sigma )=\operatorname {constant} -{n \over 2}\ln \det(\Sigma )-{1 \over 2}\operatorname {tr} \left[\Sigma ^{-1}\sum _{i=1}^{n}(x_{i}-\mu )(x_{i}-\mu )^{\mathrm {T} }\right].}$

مشتق دالة الاحتمال اللوغاريتمي هذه هو

${\displaystyle d\ln {\mathcal {L}}(\mu ,\Sigma )=-{\frac {n}{2}}\operatorname {tr} \left[\Sigma ^{-1}\left\{d\Sigma \right\}\right]-{1 \over 2}\operatorname {tr} \left[-\Sigma ^{-1}\{d\Sigma \}\Sigma ^{-1}\sum _{i=1}^{n}(x_{i}-\mu )(x_{i}-\mu )^{\mathrm {T} }-2\Sigma ^{-1}\sum _{i=1}^{n}(x_{i}-\mu )\{d\mu \}^{\mathrm {T} }\right].}$

ينقسم هذا بشكل طبيعي إلى جزء يتعلق بتقدير المتوسط، وجزء يتعلق بتقدير التباين. شرط الرتبة الأولى للقيمة القصوى،${\displaystyle d\ln {\mathcal {L}}(\mu ,\Sigma )=0}$يتحقق الشرط عندما تكون الحدود مضروبة${\displaystyle d\mu }$و${\displaystyle d\Sigma }$تساوي جميعها صفرًا. بافتراض (تقدير الاحتمال الأقصى لـ)${\displaystyle \Sigma }$إذا كانت المصفوفة غير منفردة، فإن شرط الرتبة الأولى لتقدير متجه المتوسط ​​هو

${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )=0,}$

مما يؤدي إلى مقدر الاحتمال الأقصى

${\displaystyle {\widehat {\mu }}={\bar {X}}={1 \over n}\sum _{i=1}^{n}X_{i}.}$

هذا يسمح لنا بالتبسيط

${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )(x_{i}-\mu )^{\mathrm {T} }=\sum _{i=1}^{n}(x_{i}-{\bar {x}})(x_{i}-{\bar {x}})^{\mathrm {T} }=S}$

كما هو موضح أعلاه. ثم المصطلحات التي تتضمن${\displaystyle d\Sigma }$في${\displaystyle d\ln L}$يمكن دمجها كما

${\displaystyle -{1 \over 2}\operatorname {tr} \left(\Sigma ^{-1}\left\{d\Sigma \right\}\left[nI_{p}-\Sigma ^{-1}S\right]\right).}$

الشرط الأول${\displaystyle d\ln {\mathcal {L}}(\mu ,\Sigma )=0}$سيتحقق ذلك عندما يكون الحد الموجود بين القوسين المربعين يساوي صفرًا (قيمة مصفوفة). بضرب هذا الأخير من اليسار في${\displaystyle \Sigma }$والقسمة على${\displaystyle n}$أعطِ

${\displaystyle {\widehat {\Sigma }}={1 \over n}S,}$

وهو ما يتوافق بالطبع مع الاشتقاق المتعارف عليه المذكور سابقاً.

يشير دواير ^{[ 6 ]} إلى أن التفكيك إلى حدين كما هو موضح أعلاه "غير ضروري"، ويستنتج المُقدِّر في خطين من العمل. تجدر الإشارة إلى أنه قد لا يكون من السهل إثبات أن هذا المُقدِّر المُستنتج هو المُعظِّم العالمي الوحيد لدالة الاحتمال.

بالنظر إلى عينة من n مشاهدة مستقلة x1 _، ...، _xn لمتغير عشوائي غاوسي X ذي p بُعد ومتوسط ​​صفري ومصفوفة تباين R ، فإن مقدر الاحتمال الأقصى لـ R يُعطى بالصيغة التالية:

${\displaystyle {\hat {\mathbf {R} }}={1 \over n}\sum _{i=1}^{n}x_{i}x_{i}^{\mathrm {T} }.}$

المعلمة${\displaystyle R}$ينتمي إلى مجموعة المصفوفات الموجبة المحددة ، وهي فضاء ريماني متعدد الشعب ، وليست فضاءً متجهيًا ، ومن ثمّ مفاهيم التوقع المعتادة في الفضاءات المتجهة ، أي "${\displaystyle \mathrm {E} [{\hat {\mathbf {R} }}]}$ويجب تعميم تحيز المُقدِّر على المتشعبات لفهم مشكلة تقدير مصفوفة التغاير. ويمكن القيام بذلك عن طريق تعريف القيمة المتوقعة لمُقدِّر ذي قيم متشعبة.${\displaystyle {\hat {\mathbf {R} }}}$بالنسبة للنقطة متعددة القيم${\displaystyle R}$مثل

${\displaystyle \mathrm {E} _{\mathbf {R} }[{\hat {\mathbf {R} }}]\ {\stackrel {\mathrm {def} }{=}}\ \exp _{\mathbf {R} }\mathrm {E} \left[\exp _{\mathbf {R} }^{-1}{\hat {\mathbf {R} }}\right]}$

أين

${\displaystyle \exp _{\mathbf {R} }({\hat {\mathbf {R} }})=\mathbf {R} ^{\frac {1}{2}}\exp \left(\mathbf {R} ^{-{\frac {1}{2}}}{\hat {\mathbf {R} }}\mathbf {R} ^{-{\frac {1}{2}}}\right)\mathbf {R} ^{\frac {1}{2}}}$

${\displaystyle \exp _{\mathbf {R} }^{-1}({\hat {\mathbf {R} }})=\mathbf {R} ^{\frac {1}{2}}\left(\log \mathbf {R} ^{-{\frac {1}{2}}}{\hat {\mathbf {R} }}\mathbf {R} ^{-{\frac {1}{2}}}\right)\mathbf {R} ^{\frac {1}{2}}}$

يمثل كل من و الخريطة الأسية والخريطة الأسية العكسية على التوالي، ويرمز الرمز "exp" إلى الدالة الأسية للمصفوفة العادية، بينما يرمز الرمز "log" إلى اللوغاريتم اللوغاريتمي للمصفوفة العادية ، و E[·] هو عامل التوقع العادي المعرف على فضاء متجهي، وفي هذه الحالة هو الفضاء المماسي للمتشعب. ^{[ 1 ]}

حقل متجه الانحياز الجوهري لمُقدِّر SCM${\displaystyle {\hat {\mathbf {R} }}}$يُعرَّف بأنه

${\displaystyle \mathbf {B} ({\hat {\mathbf {R} }})=\exp _{\mathbf {R} }^{-1}\mathrm {E} _{\mathbf {R} }\left[{\hat {\mathbf {R} }}\right]=\mathrm {E} \left[\exp _{\mathbf {R} }^{-1}{\hat {\mathbf {R} }}\right]}$

يُعطى الانحياز الجوهري للمُقدِّر بالصيغة التالية:${\displaystyle \exp _{\mathbf {R} }\mathbf {B} ({\hat {\mathbf {R} }})}$.

بالنسبة للمتغيرات العشوائية الغاوسية المعقدة ، يمكن إثبات أن حقل متجه الانحياز هذا ^{[ 1 ]} يساوي

${\displaystyle \mathbf {B} ({\hat {\mathbf {R} }})=-\beta (p,n)\mathbf {R} }$

أين

${\displaystyle \beta (p,n)={\frac {1}{p}}\left(p\log n+p-\psi (n-p+1)+(n-p+1)\psi (n-p+2)+\psi (n+1)-(n+1)\psi (n+2)\right)}$

وψ(·) هي دالة ديغاما . يساوي الانحياز الجوهري لمصفوفة التغاير العيني

${\displaystyle \exp _{\mathbf {R} }\mathbf {B} ({\hat {\mathbf {R} }})=e^{-\beta (p,n)}\mathbf {R} }$

ويكون نموذج SCM غير متحيز تقاربياً عندما n → ∞.

وبالمثل، فإن عدم الكفاءة الجوهرية لمصفوفة التغاير العيني تعتمد على انحناء ريمان لمساحة المصفوفات الموجبة المحددة.