المربعات الصغرى الخطية

وتشمل التركيبات الأخرى ما يلي:

• تُستخدم طريقة المربعات الصغرى الموزونة المُعاد ترجيحها تكراريًا (IRLS) عندما يكون التباين غير المتجانس ، أو الارتباطات، أو كلاهما موجودًا بين حدود الخطأ في النموذج، ولكن عندما تكون المعلومات المتوفرة عن بنية التغاير للأخطاء مستقلة عن البيانات قليلة. ^{[ 3 ]} في التكرار الأول، يتم تطبيق طريقة المربعات الصغرى العادية (OLS) أو طريقة المربعات الصغرى المعممة (GLS) مع بنية تغاير مؤقتة، ويتم الحصول على البواقي من عملية المطابقة. بناءً على البواقي، يمكن عادةً الحصول على تقدير مُحسَّن لبنية التغاير للأخطاء. ثم يتم إجراء تكرار لاحق لطريقة المربعات الصغرى المعممة (GLS) باستخدام هذا التقدير لبنية الخطأ لتحديد الأوزان. يمكن تكرار هذه العملية حتى الوصول إلى التقارب، ولكن في كثير من الحالات، يكفي تكرار واحد فقط لتحقيق تقدير فعال لـ β . ^{[ 4 ] [ 5 ]}
• _{يمكن إجراء تحليل الانحدار باستخدام} المتغيرات الآلية (IV) عندما تكون المتغيرات المستقلة مرتبطة بالأخطاء. في هذه الحالة، نحتاج إلى وجود بعض المتغيرات الآلية المساعدة zᵢ بحيث يكون E[ zᵢ _εᵢ ]=0. إذا كانت Z هي مصفوفة المتغيرات الآلية، فيمكن كتابة المُقدِّر بصيغة مغلقة كما يلي :  $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .}$$يُعد الانحدار الأمثل للأدوات امتدادًا للانحدار الكلاسيكي للأدوات الآلية إلى الحالة التي يكون فيها E[ ε _i | z _i ] = 0 .
• تُعدّ طريقة المربعات الصغرى الكلية (TLS) ^{[ 6 ]} منهجًا لتقدير نموذج الانحدار الخطي باستخدام طريقة المربعات الصغرى، حيث تُعامل المتغيرات المستقلة والمتغير التابع بطريقة أكثر تماثلًا هندسيًا من طريقة المربعات الصغرى العادية (OLS). وهي إحدى الطرق لمعالجة مشكلة "أخطاء المتغيرات"، وتُستخدم أحيانًا حتى عند افتراض خلو المتغيرات المستقلة من الأخطاء.
• تجمع طريقة ملاءمة القالب الخطي (LTF) ^{[ 7 ]} بين الانحدار الخطي وطريقة المربعات الصغرى (المعممة) لتحديد أفضل مُقدِّر. تعالج هذه الطريقة مشكلة شائعة: قد يكون من المستحيل التعبير عن البواقي تحليليًا أو قد يستغرق تقييمها وقتًا طويلاً، كما هو الحال غالبًا في خوارزميات التصغير التكرارية. في طريقة ملاءمة القالب الخطي، تُقدَّر البواقي من المتغيرات العشوائية ومن تقريب خطي للنموذج الحقيقي الأساسي ، والذي يجب توفيره لمدة لا تقل عن 10000 ثانية.${\displaystyle n+1}$قيم مرجعية مميزة β (حيث${\displaystyle n}$يمثل عدد المُقدِّرات). ثم يتم تقريب التوزيع الحقيقي بواسطة الانحدار الخطي، ويتم الحصول على أفضل المُقدِّرات بصيغة مغلقة كما يلي:$${\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,}$$أين${\displaystyle \mathbf {Y} }$يشير إلى مصفوفة القالب التي تحتوي على قيم النموذج المعروف أو المحدد مسبقًا لأي من القيم المرجعية β ،${\displaystyle \mathbf {y} }$المتغيرات العشوائية (مثل القياس)، والمصفوفة${\displaystyle \mathbf {\tilde {M}} }$والمتجه${\displaystyle \mathbf {\tilde {m}} }$تُحسب هذه القيم من قيم β . ويمكن أيضًا التعبير عن دالة الانحدار الخطي (LTF) لمتغيرات عشوائية موزعة وفقًا للتوزيع اللوغاريتمي الطبيعي . ومن تعميمات دالة الانحدار الخطي (LTF) دالة الانحدار التربيعي، التي تفترض انحدارًا من الدرجة الثانية للنموذج، وتتطلب تنبؤات لمدة لا تقل عن 10 سنوات.${\displaystyle n^{2}+2n}$القيم المميزة β ، ويجد أفضل مقدر باستخدام طريقة نيوتن .
• تركز طريقة المربعات الصغرى النسبية على تقليل الأخطاء النسبية، وهو أمر مفيد في مجال التنبؤ أو تحليل السلاسل الزمنية. كما أنها مفيدة في الحالات التي يكون فيها للمتغير التابع نطاق واسع دون تباين ثابت، حيث إن القيم المتبقية الأكبر في الطرف الأعلى من النطاق ستطغى في هذه الحالة إذا تم استخدام طريقة المربعات الصغرى العادية (OLS). عندما يكون الخطأ النسبي أو النسبي موزعًا توزيعًا طبيعيًا، فإن انحدار المربعات الصغرى النسبية يوفر تقديرات الاحتمال الأقصى. يرتبط انحدار النسبة المئوية بنموذج خطأ ضربي، بينما ترتبط طريقة المربعات الصغرى العادية (OLS) بنماذج تحتوي على حد خطأ جمعي. ^{[ 8 ]}
• يشير مصطلح المربعات الصغرى المقيدة إلى مشكلة المربعات الصغرى الخطية مع قيود إضافية على الحل.

يفترض التحليل المذكور أعلاه أن المتغير المستقل، x ، خالٍ من الأخطاء. عمليًا، عادةً ما تكون أخطاء قياسات المتغير المستقل أصغر بكثير من أخطاء المتغير التابع، وبالتالي يمكن تجاهلها. في حال عدم تحقق ذلك، يُنصح باستخدام طريقة المربعات الصغرى الكلية ، أو بشكل أعم، نماذج أخطاء المتغيرات ، أو طريقة المربعات الصغرى الدقيقة . يمكن تحقيق ذلك بتعديل نظام الترجيح لمراعاة أخطاء كل من المتغير التابع والمستقل، ثم اتباع الإجراء القياسي. ^{[ 12 ] [ 13 ]}

في بعض الحالات، تكون مصفوفة المعادلات الطبيعية (الموزونة) X_^T سيئة التكييف . عند تركيب كثيرات الحدود، تكون مصفوفة المعادلات الطبيعية مصفوفة فاندرموند . تزداد سوء تكييف مصفوفات فاندرموند مع ازدياد رتبة المصفوفة. في هذه الحالات، يُضخّم تقدير المربعات الصغرى ضوضاء القياس وقد يكون غير دقيق بشكل كبير. يمكن تطبيق تقنيات تنظيم مختلفة في مثل هذه الحالات، وأكثرها شيوعًا ما يُسمى بانحدار ريدج . إذا كانت معلومات إضافية حول المعلمات معروفة، على سبيل المثال، نطاق القيم الممكنة لـ${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$ثم يمكن استخدام تقنيات مختلفة لزيادة استقرار الحل. على سبيل المثال، انظر إلى طريقة المربعات الصغرى المقيدة .

من عيوب مقدر المربعات الصغرى الأخرى حقيقة أن معيار البواقي،${\displaystyle \|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|}$يتم تقليلها إلى الحد الأدنى، بينما في بعض الحالات يكون المرء مهتمًا حقًا بالحصول على خطأ صغير في المعلمة${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$على سبيل المثال، قيمة صغيرة من${\displaystyle \|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|}$ومع ذلك ، بما أن المعلمة الحقيقية${\displaystyle {\boldsymbol {\beta }}}$بما أن هذه الكمية غير معروفة بالضرورة، فلا يمكن تقليلها بشكل مباشر. إذا كان هناك احتمال مسبق على${\displaystyle {\hat {\boldsymbol {\beta }}}}$إذا كانت قيمة معروفة، فيمكن استخدام مقدر بايز لتقليل متوسط ​​مربع الخطأ .${\displaystyle E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}}$تُستخدم طريقة المربعات الصغرى غالبًا عندما لا تتوفر معلومات مسبقة. عند تقدير عدة معلمات معًا، يمكن بناء مُقدِّرات أفضل، وهي ظاهرة تُعرف باسم ظاهرة شتاين . على سبيل المثال، إذا كان خطأ القياس يتبع التوزيع الطبيعي (غاوسي) ، فهناك العديد من المُقدِّرات المعروفة التي تتفوق على طريقة المربعات الصغرى؛ وأشهرها مُقدِّر جيمس-شتاين . هذا مثال على مُقدِّرات الانكماش الأكثر عمومية التي طُبِّقت على مسائل الانحدار.

يُستخدم أسلوب المربعات الصغرى الخطية بشكل أساسي في ملاءمة البيانات . بالنظر إلى مجموعة من m نقطة بيانات${\displaystyle y_{1},y_{2},\dots ,y_{m},}$تتكون من قيم تم قياسها تجريبياً عند قيم m${\displaystyle x_{1},x_{2},\dots ,x_{m}}$لمتغير مستقل (${\displaystyle x_{i}}$(قد تكون كميات قياسية أو متجهة)، وبالنظر إلى دالة نموذجية${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$مع${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$المطلوب إيجاد المعاملات${\displaystyle \beta _{j}}$بحيث يكون نموذج الدالة هو الأنسب للبيانات. في طريقة المربعات الصغرى الخطية، يُقصد بالخطية أن تكون الخطية بالنسبة للمعاملات.${\displaystyle \beta _{j},}$لذا $${\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).}$$

هنا، الوظائف${\displaystyle \varphi _{j}}$قد يكون غير خطي بالنسبة للمتغير x .

من الناحية المثالية، تتطابق دالة النموذج مع البيانات تمامًا، لذلك $${\displaystyle y_{i}=f(x_{i},{\boldsymbol {\beta }})}$$ للجميع${\displaystyle i=1,2,\dots ,m.}$لا يكون هذا ممكنًا عادةً في الواقع العملي، نظرًا لوجود نقاط بيانات أكثر من عدد المعلمات المطلوب تحديدها. ولذلك، يتم اختيار طريقة لإيجاد أقل قيمة ممكنة لمجموع مربعات البواقي .$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)}$$ لذا لتقليل الدالة $${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).}$$

بعد استبدال${\displaystyle r_{i}}$ثم لـ${\displaystyle f}$، تصبح مسألة التصغير هذه مسألة التصغير التربيعية المذكورة أعلاه مع $${\displaystyle X_{ij}=\varphi _{j}(x_{i}),}$$ ويمكن إيجاد أفضل تطابق عن طريق حل المعادلات العادية.

إحدى أبسط العلاقات الممكنة بين${\displaystyle x}$و${\displaystyle y}$هو خط${\displaystyle y=\beta _{1}+\beta _{2}x}$الاعتراض${\displaystyle \beta _{1}}$والمنحدر${\displaystyle \beta _{2}}$تكون هذه القيم غير معروفة في البداية. ويرغب الباحث في إيجاد قيمها.${\displaystyle \beta _{1}}$و${\displaystyle \beta _{2}}$مما يؤدي إلى مرور الخط عبر نقاط البيانات الأربع. بعبارة أخرى، يرغب الباحث في حل نظام المعادلات الخطية $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}}$$ بوجود أربع معادلات في مجهولين، فإن هذا النظام مُفرط التحديد. لا يوجد حل دقيق. وللنظر في الحلول التقريبية، يتم إدخال البواقي.${\displaystyle r_{1}}$،${\displaystyle r_{2}}$،${\displaystyle r_{3}}$،${\displaystyle r_{4}}$في المعادلات: $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}}$$ ال${\displaystyle i}$الباقي${\displaystyle r_{i}}$هو الشخص غير المتوافق بين${\displaystyle i}$الملاحظة${\displaystyle y_{i}}$و${\displaystyle i}$التوقع${\displaystyle \beta _{1}+\beta _{2}x_{i}}$: $${\displaystyle {\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}}$$ من بين جميع الحلول التقريبية، يرغب الباحث في إيجاد الحل " الأفضل " بمعنى ما.

في طريقة المربعات الصغرى ، يتم التركيز على المجموع${\displaystyle S}$من مربعات البواقي: $${\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}}$$ يُعرَّف الحل الأمثل بأنه الحل الذي يقلل من${\displaystyle S}$بالنسبة إلى${\displaystyle \beta _{1}}$و${\displaystyle \beta _{2}}$يمكن حساب الحد الأدنى عن طريق تحديد المشتقات الجزئية لـ${\displaystyle S}$إلى الصفر: $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,}$$$${\displaystyle 0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.}$$ تُشكّل هذه المعادلات العادية نظامًا من معادلتين خطيتين بمجهولين. والحل هو${\displaystyle \beta _{1}=3.5}$و${\displaystyle \beta _{2}=1.4}$وبالتالي فإن خط المطابقة الأمثل هو${\displaystyle y=3.5+1.4x}$. البواقي هي${\displaystyle 1.1,}$${\displaystyle -1.3,}$${\displaystyle -0.7,}$و${\displaystyle 0.9}$(انظر الرسم البياني على اليمين). القيمة الدنيا لمجموع مربعات البواقي هي $${\displaystyle S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.}$$

يمكن التعبير عن هذه العملية الحسابية باستخدام ترميز المصفوفات كما يلي. النظام الأصلي للمعادلات هو${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$، أين $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].}$$ بشكل بديهي، $${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].}$$ وبشكل أكثر دقة، إذا${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$إذا كانت قابلة للعكس، فإن المصفوفة${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$يمثل الإسقاط المتعامد على فضاء الأعمدة لـ${\displaystyle \mathbf {X} }$لذلك، من بين جميع المتجهات من الشكل${\displaystyle \mathbf {X} \mathbf {\beta } }$، الأقرب إلى${\displaystyle \mathbf {y} }$يكون${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$. جلسة $${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,}$$ من الواضح أن${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$هذا حل.

لنفترض أن الباحث الافتراضي يرغب في مطابقة قطع مكافئ على الشكل التالي:${\displaystyle y=\beta _{1}x^{2}}$والأهم من ذلك، أن هذا النموذج لا يزال خطيًا في المعاملات المجهولة (الآن فقط${\displaystyle \beta _{1}}$وبالتالي، لا تزال طريقة المربعات الصغرى الخطية قابلة للتطبيق. نظام المعادلات الذي يتضمن البواقي هو $${\displaystyle {\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}}$$

مجموع مربعات البواقي هو $${\displaystyle S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.}$$ يوجد مشتق جزئي واحد فقط يجب ضبطه على الصفر: $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.}$$ الحل هو${\displaystyle \beta _{1}=0.703}$، والنموذج المناسب هو${\displaystyle y=0.703x^{2}}$.

في صيغة المصفوفات، تكون المعادلات بدون بواقي مرة أخرى${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$أين الآن $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].}$$ وبناءً على المنطق نفسه المذكور أعلاه، فإن الحل هو $${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].}$$

يوضح الشكل امتدادًا لتركيب القطع المكافئ ذي المعلمات الثلاث باستخدام مصفوفة تصميم.${\displaystyle \mathbf {X} }$بثلاثة أعمدة (واحد لـ${\displaystyle x^{0}}$،${\displaystyle x^{1}}$، و${\displaystyle x^{2}}$)، وصف واحد لكل نقطة من نقاط البيانات الحمراء.

وبشكل أعم، يمكن للمرء أن يمتلك${\displaystyle n}$المتغيرات التراجعية${\displaystyle x_{j}}$ونموذج خطي $${\displaystyle y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.}$$