المربعات الصغرى العادية

جزء من سلسلة عن
تحليل الانحدار
نماذج
الانحدار الخطي الانحدار البسيط الانحدار المتعدد الحدود النموذج الخطي العام
نموذج خطي معمم نموذج خطي معمم متجه اختيار منفصل الانحدار الثنائي الانحدار الثنائي الانحدار اللوجستي الانحدار اللوجستي المتعدد الحدود لوجيت مختلط بروبيت بروبيت متعدد الحدود تم ترتيب اللوجيت بروبيت مرتب سمكة
نموذج متعدد المستويات تأثيرات ثابتة تأثيرات عشوائية نموذج التأثيرات المختلطة الخطية نموذج التأثيرات المختلطة غير الخطية
الانحدار غير الخطي غير معياري شبه معلمية قوي كمية متساوي التوتر المكونات الرئيسية أقل زاوية محلي مجزأة
أخطاء في المتغيرات
تقدير
المربعات الصغرى خطي غير خطي
عادي موزون Generalized Generalized estimating equation
Partial Total Non-negative Ridge regression Regularized
Least absolute deviations Iteratively reweighted Bayesian Bayesian multivariate Least-squares spectral analysis
Background
Regression validation Mean and predicted response Errors and residuals Goodness of fit Studentized residual Gauss–Markov theorem
Mathematics portal
v t e

في الإحصاء ، المربعات الصغرى العادية ( OLS ) هي نوع من طرق المربعات الصغرى الخطية لاختيار المعلمات غير المعروفة في نموذج الانحدار الخطي (مع تأثيرات ثابتة على المستوى الأول ^{[ يحتاج إلى توضيح ]} لدالة خطية لمجموعة من المتغيرات التفسيرية ) وفقًا لمبدأ المربعات الصغرى : تقليل مجموع مربعات الاختلافات بين المتغير التابع المرصود (قيم المتغير المرصود) في مجموعة البيانات المدخلة ومخرجات الدالة (الخطية) للمتغير المستقل . تعتبر بعض المصادر أن المربعات الصغرى العادية هي انحدار خطي. ^[1]

من الناحية الهندسية، يُنظر إلى هذا على أنه مجموع المسافات التربيعية، الموازية لمحور المتغير التابع، بين كل نقطة بيانات في المجموعة والنقطة المقابلة لها على سطح الانحدار - فكلما كانت الاختلافات أصغر، كان النموذج أفضل ملاءمة للبيانات. يمكن التعبير عن المقدر الناتج بصيغة بسيطة، خاصة في حالة الانحدار الخطي البسيط ، حيث يوجد مقدر انحدار واحد على الجانب الأيمن من معادلة الانحدار.

مقدر المربعات الصغرى العادية متسق للتأثيرات الثابتة من المستوى الأول عندما تكون المتغيرات الخارجية وتشكل تزامنًا مثاليًا (شرط الرتبة)، ومتسق لتقدير تباين المتبقيات عندما يكون للمتغيرات الانحدارية لحظات رابعة محدودة ^[2] و- وفقًا لنظرية جاوس-ماركوف - مثالي في فئة المقدرين الخطيين غير المتحيزين عندما تكون الأخطاء متجانسة التباين وغير مرتبطة تسلسليًا . في ظل هذه الظروف، توفر طريقة المربعات الصغرى العادية تقديرًا غير متحيز لمتوسط ​​التباين الأدنى عندما تكون الأخطاء ذات تباينات محدودة . تحت الافتراض الإضافي بأن الأخطاء موزعة بشكل طبيعي بمتوسط ​​صفري، فإن المربعات الصغرى العادية هي مقدر الاحتمالية القصوى الذي يتفوق على أي مقدر غير خطي غير متحيز.

افترض أن البيانات تتكون من ملاحظات . تتضمن كل ملاحظة استجابة قياسية ومتجه عمودي للمعلمات (المتغيرات الانحدارية)، أي، في نموذج الانحدار الخطي ، متغير الاستجابة، هو دالة خطية للمتغيرات الانحدارية: ${\displaystyle n}$ ${\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}$${\displaystyle i}$${\displaystyle y_{i}}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle p}$${\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}$${\displaystyle y_{i}}$

${\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}$

أو في شكل متجه ،

${\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}$

حيث ، كما تم تقديمه سابقًا، هو متجه عمودي للملاحظة - لجميع المتغيرات التفسيرية؛ هو متجه للمعلمات غير المعروفة؛ ويمثل المقياس المتغيرات العشوائية غير الملاحظة ( الأخطاء ) للملاحظة -. يأخذ في الاعتبار التأثيرات على الاستجابات من مصادر أخرى غير المتغيرات التفسيرية . يمكن أيضًا كتابة هذا النموذج في صيغة المصفوفة على النحو التالي ${\displaystyle \mathbf {x} _{i}}$${\displaystyle i}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle p\times 1}$${\displaystyle \varepsilon _{i}}$${\displaystyle i}$${\displaystyle \varepsilon _{i}}$${\displaystyle y_{i}}$${\displaystyle \mathbf {x} _{i}}$

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

حيث و هي متجهات لمتغيرات الاستجابة وأخطاء الملاحظات ، و هي مصفوفة من المتغيرات التنبؤية، والتي تسمى أحيانًا أيضًا مصفوفة التصميم ، والتي يكون صفها و يحتوي على الملاحظات - على جميع المتغيرات التفسيرية. ${\displaystyle \mathbf {y} }$${\displaystyle {\boldsymbol {\varepsilon }}}$${\displaystyle n\times 1}$${\displaystyle n}$${\displaystyle \mathbf {X} }$${\displaystyle n\times p}$${\displaystyle i}$${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}$${\displaystyle i}$

عادةً، يتم تضمين مصطلح ثابت في مجموعة المتغيرات المتراجعة ، على سبيل المثال، عن طريق أخذ لكل . يُطلق على المعامل المقابل لهذا المتغير المتراجع اسم التقاطع . بدون التقاطع، يُجبر الخط الملائم على عبور الأصل عندما . ${\displaystyle \mathbf {X} }$${\displaystyle x_{i1}=1}$${\displaystyle i=1,\dots ,n}$${\displaystyle \beta _{1}}$${\displaystyle x_{i}={\vec {0}}}$

لا يلزم أن تكون المتغيرات المستقلة مستقلة حتى تكون التقديرات متسقة، على سبيل المثال قد تكون غير تابعة خطيًا. وفي غياب التعدد الخطي المثالي، قد تظل تقديرات المعلمات متسقة؛ ومع ذلك، مع ارتفاع التعدد الخطي، يزداد الخطأ المعياري حول مثل هذه التقديرات ويقلل من دقة هذه التقديرات. وعندما يكون هناك تعدد خطي مثالي، لم يعد من الممكن الحصول على تقديرات فريدة للمعاملات للمتغيرات المرتبطة؛ ولا يمكن أن يتقارب التقدير لهذه المعلمات (وبالتالي، لا يمكن أن يكون متسقًا).

كمثال ملموس حيث تكون المتغيرات المتراجعة غير معتمدة خطيًا ولكن التقدير قد يظل متسقًا، فقد نشك في أن الاستجابة تعتمد خطيًا على كل من القيمة ومربعها؛ وفي هذه الحالة سنقوم بتضمين متغير متراجع قيمته مجرد مربع متغير متراجع آخر. في هذه الحالة، سيكون النموذج تربيعيًا في المتغير المتراجع الثاني، ولكن مع ذلك لا يزال يُعتبر نموذجًا خطيًا لأن النموذج لا يزال خطيًا في المعلمات ( ). ${\displaystyle {\boldsymbol {\beta }}}$

فكر في نظام محدد بشكل مفرط

${\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}$

من المعادلات الخطية في معاملات غير معروفة ،، مع . ويمكن كتابة ذلك في شكل مصفوفة على النحو التالي${\displaystyle n}$ ${\displaystyle p}$${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}$${\displaystyle n>p}$

${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,}$

أين

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}$

(ملاحظة: بالنسبة للنموذج الخطي كما هو موضح أعلاه، لا تحتوي جميع العناصر في على معلومات حول نقاط البيانات. العمود الأول مملوء بالعناصر 1، . فقط الأعمدة الأخرى تحتوي على بيانات فعلية. لذا فإن هذا يساوي عدد المتنبئين زائد واحد). ${\displaystyle \mathbf {X} }$${\displaystyle X_{i1}=1}$${\displaystyle p}$

لا يوجد عادةً حل دقيق لمثل هذا النظام، لذا فإن الهدف هو بدلاً من ذلك العثور على المعاملات التي تناسب المعادلات "بشكل أفضل"، بمعنى حل مشكلة التقليل التربيعي${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}$

حيث يتم إعطاء دالة الهدف بواسطة${\displaystyle S}$

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}$

تم تقديم مبرر لاختيار هذا المعيار في الخصائص أدناه. تحتوي مشكلة التقليل هذه على حل فريد، بشرط أن تكون أعمدة المصفوفة مستقلة خطيًا ، ويتم ذلك عن طريق حل المعادلات الطبيعية المسماة :${\displaystyle p}$${\displaystyle \mathbf {X} }$

${\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}$

تُعرف المصفوفة باسم المصفوفة الطبيعية أو مصفوفة جرام وتُعرف المصفوفة باسم مصفوفة اللحظة للانحدار بواسطة المتراجعين. ^[3] وأخيرًا، هو متجه معامل المستوى الفائق لأقل المربعات ، ويُعبر عنه على النحو التالي ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }$${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }\mathbf {y} .}$

أو

${\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }{\boldsymbol {\varepsilon }}.}$

افترض أن b هي قيمة "مرشحة" لمتجه المعلمة β . تقيس الكمية y _i − x _i ^T b ، والتي تسمى المتبقي للملاحظة i ، المسافة الرأسية بين نقطة البيانات ( x _i , y _i ) والمستوى الفائق y = x ^T b ، وبالتالي تقيم درجة الملاءمة بين البيانات الفعلية والنموذج. مجموع المتبقيات التربيعية ( SSR ) (يُسمى أيضًا مجموع مربعات الخطأ ( ESS ) أو مجموع المربعات المتبقية ( RSS )) ^[4] مقياسًا لملاءمة النموذج الإجمالية:

${\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}$

حيث يشير T إلى مصفوفة النقل ، وصفوف X ، التي تشير إلى قيم جميع المتغيرات المستقلة المرتبطة بقيمة معينة للمتغير التابع، هي X _i = x _i ^T. وتسمى قيمة b التي تقلل هذا المجموع مقدر المربعات الصغرى العادية لـ β . الدالة S ( b ) تربيعية في b مع هيسيان موجبة محددة ، وبالتالي تمتلك هذه الدالة حدًا أدنى عالميًا فريدًا عند ، والذي يمكن إعطاؤه بالصيغة الصريحة: ^{[5] [إثبات]}${\displaystyle b={\hat {\beta }}}$

${\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}$

حاصل الضرب N = X ^T X هو مصفوفة جرام ومعكوسها، Q = N ^–1 ، هو مصفوفة العوامل المساعدة لـ β ، ^{[6] [7] [8]} وثيقة الصلة بمصفوفة التغاير الخاصة بها، C _β . تسمى المصفوفة ( X ^T X ) ^–1 X ^T = Q X ^{T مصفوفة} شبه معكوسة مور-بينروز لـ X. تسلط هذه الصيغة الضوء على النقطة التي مفادها أنه يمكن إجراء التقدير إذا، وفقط إذا، لم يكن هناك تعدد خطي مثالي بين المتغيرات التفسيرية (مما قد يتسبب في عدم وجود معكوس لمصفوفة جرام).

بعد أن قمنا بتقدير β ، ستكون القيم الملائمة (أو القيم المتوقعة ) من الانحدار هي

${\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}$

حيث P = X ( X ^T X ) ⁻¹ X ^T هي مصفوفة الإسقاط على الفضاء V الذي يمتد بين أعمدة X. تسمى هذه المصفوفة P أحيانًا أيضًا مصفوفة القبعة لأنها "تضع قبعة" على المتغير y . مصفوفة أخرى وثيقة الصلة بـ P هي مصفوفة الإبادة M = I _n − P ؛ هذه مصفوفة إسقاط على الفضاء المتعامد على V. كلتا المصفوفتين P و M متماثلتان ومثاليتان (بمعنى أن P ² = P و M ² = M )، وترتبطان بمصفوفة البيانات X عبر الهويات PX = X و MX = 0. [ ^9] تنشئ المصفوفة M المتبقيات من الانحدار:

${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}$

باستخدام هذه المتبقيات، يمكننا تقدير قيمة σ ² باستخدام إحصائية مربع كاي المخفضة :

${\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}$

المقام، n − p ، هو درجات الحرية الإحصائية . الكمية الأولى، s ² ، هي تقدير المربعات الصغرى العادية لـ σ ² ، بينما الكمية الثانية، ، هي تقدير الانحراف المعياري الاقصى لـ σ ^2. المقدران متشابهان تمامًا في العينات الكبيرة؛ المقدر الأول غير متحيز دائمًا ، بينما المقدر الثاني متحيز ولكنه يحتوي على خطأ متوسط ​​مربع أصغر . في الممارسة العملية، يتم استخدام s ² بشكل متكرر، لأنه أكثر ملاءمة لاختبار الفرضيات. الجذر التربيعي لـ s ² يسمى خطأ الانحدار المعياري ، ^[10] الخطأ المعياري للانحدار ، ^{[11] [12]} أو الخطأ المعياري للمعادلة . ^[9]${\displaystyle \scriptstyle {\hat {\sigma }}^{2}}$

من الشائع تقييم مدى ملاءمة انحدار المربعات الصغرى العادية من خلال مقارنة مقدار الاختلاف الأولي في العينة الذي يمكن تقليله عن طريق الانحدار إلى X. يتم تعريف معامل التحديد R ² كنسبة التباين "المفسر" إلى التباين "الإجمالي" للمتغير التابع y ، في الحالات التي يكون فيها مجموع مربعات الانحدار مساويًا لمجموع مربعات المتبقيات: ^[13]

${\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}$

حيث TSS هو المجموع الكلي لمربعات المتغير التابع، و هي مصفوفة n × n من الآحاد. ( هي مصفوفة مركزية تعادل الانحدار على ثابت؛ فهي ببساطة تطرح المتوسط ​​من متغير.) لكي تكون R ^{2 ذات معنى، يجب أن تحتوي مصفوفة} X للبيانات على المتراجعين على متجه عمودي من الآحاد لتمثيل الثابت الذي يكون معامله هو نقطة التقاطع مع الانحدار. في هذه الحالة، سيكون R ² دائمًا رقمًا بين 0 و1، مع وجود قيم قريبة من 1 تشير إلى درجة جيدة من الملاءمة. ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$${\textstyle J_{n}}$${\displaystyle L}$

يتم إعطاء التباين في التنبؤ بالمتغير المستقل كدالة للمتغير التابع في المقالة المربعات الصغرى متعددة الحدود .

إذا كانت مصفوفة البيانات X تحتوي على متغيرين فقط، ثابت ومتغير انحدار قياسي x _i ، فإن هذا يسمى "نموذج الانحدار البسيط". غالبًا ما يتم النظر في هذه الحالة في فصول الإحصاء للمبتدئين، لأنها توفر صيغًا أبسط كثيرًا ومناسبة حتى للحساب اليدوي. يشار إلى المعلمات عادةً باسم ( α ، β ) :

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

يتم إعطاء تقديرات المربعات الصغرى في هذه الحالة بواسطة صيغ بسيطة

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}$

في القسم السابق، تم الحصول على مقدر المربعات الصغرى كقيمة تقلل مجموع المتبقيات التربيعية للنموذج. ومع ذلك، من الممكن أيضًا استنباط نفس المقدر من طرق أخرى. في جميع الحالات، تظل صيغة مقدر المربعات الصغرى العادية كما هي: ^{^} β = ( X ^T X ) ⁻¹ X ^T y ؛ الفرق الوحيد هو في كيفية تفسير هذه النتيجة. ${\displaystyle {\hat {\beta }}}$

This section may need to be cleaned up. It has been merged from Linear least squares.

بالنسبة لعلماء الرياضيات، فإن المربعات الصغرى العادية هي حل تقريبي لنظام معادلات خطية مفرط التحديد Xβ ≈ y ، حيث β هو المجهول. بافتراض أنه لا يمكن حل النظام بدقة (عدد المعادلات n أكبر بكثير من عدد المجهولات p )، فإننا نبحث عن حل يمكن أن يوفر أصغر تباين بين الجانبين الأيمن والأيسر. بعبارة أخرى، نحن نبحث عن الحل الذي يرضي

${\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ,}$

حيث ‖ · ‖ هو  المعيار القياسي L ² في الفضاء الإقليدي ذي الأبعاد n R ⁿ . الكمية المتوقعة Xβ هي مجرد تركيبة خطية معينة من متجهات المتراجعين. وبالتالي، فإن المتجه المتبقي y − Xβ سيكون له أصغر طول عندما يتم إسقاط y بشكل عمودي على الفضاء الفرعي الخطي الممتد بواسطة أعمدة X . يمكن تفسير مقدر المربعات الصغرى العادية في هذه الحالة على أنه معاملات تحلل المتجه لـ ^{^} y = Py على أساس X . ${\displaystyle {\hat {\beta }}}$

وبعبارة أخرى، يمكن كتابة معادلات التدرج عند الحد الأدنى على النحو التالي:

${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}$

التفسير الهندسي لهذه المعادلات هو أن متجه المتبقيات، متعامد مع فضاء العمود لـ X ، حيث أن حاصل الضرب النقطي يساوي صفرًا لأي متجه مطابق، v . وهذا يعني أن هو أقصر المتجهات الممكنة ، أي أن تباين المتبقيات هو الحد الأدنى الممكن. ويوضح ذلك على اليمين. ${\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}$ ${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }$${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}$${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$

عند تقديم مصفوفة K مع افتراض أن المصفوفة غير مفردة و K ^T X = 0 (راجع الإسقاطات المتعامدة )، يجب أن يلبي المتجه المتبقي المعادلة التالية: ${\displaystyle {\hat {\boldsymbol {\gamma }}}}$${\displaystyle [\mathbf {X} \ \mathbf {K} ]}$

${\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}$

ويتم وصف معادلة وحل المربعات الصغرى الخطية على النحو التالي:

${\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}$

هناك طريقة أخرى للنظر إلى الأمر وهي اعتبار خط الانحدار متوسطًا مرجحًا للخطوط التي تمر عبر مجموعة أي نقطتين في مجموعة البيانات. ^[14] على الرغم من أن طريقة الحساب هذه أكثر تكلفة من الناحية الحسابية، إلا أنها توفر حدسًا أفضل بشأن المربعات الصغرى العادية.

مقدر المربعات الصغرى العادية مطابق لمقدر الاحتمالية القصوى (MLE) تحت افتراض الطبيعية لمصطلحات الخطأ. ^{[15] [دليل]} هذا الافتراض الطبيعي له أهمية تاريخية، حيث قدم الأساس للعمل المبكر في تحليل الانحدار الخطي بواسطة يول وبيرسون . ^{[ بحاجة لمصدر ]} من خصائص MLE، يمكننا أن نستنتج أن مقدر المربعات الصغرى العادية فعال بشكل مقارب (بمعنى تحقيق حد كرامر-راو للتباين) إذا تم استيفاء افتراض الطبيعية. ^[16 ]

في حالة iid ، يمكن أيضًا اعتبار مقدر المربعات الصغرى العادية كمقدر GMM ناشئ عن ظروف اللحظة

${\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}$

تنص شروط اللحظة هذه على أن المتنبئات يجب ألا تكون مرتبطة بالأخطاء. ونظرًا لأن x _i عبارة عن متجه p ، فإن عدد شروط اللحظة يساوي بُعد متجه المعلمة β ، وبالتالي يتم تحديد النظام بدقة. هذه هي الحالة المعروفة باسم GMM الكلاسيكية، عندما لا يعتمد المقدر على اختيار مصفوفة الترجيح.

لاحظ أن افتراض المنشأ الخارجي الصارم الأصلي E[ ε _i  |  x _i ] = 0 يعني مجموعة أغنى بكثير من شروط اللحظة مما هو مذكور أعلاه. على وجه الخصوص، يعني هذا الافتراض أنه بالنسبة لأي دالة متجهة ƒ ، فإن شرط اللحظة E[ ƒ ( x _i )· ε _i ] = 0 سوف يكون صحيحًا. ومع ذلك، يمكن إثبات ذلك باستخدام نظرية جاوس-ماركوف أن الاختيار الأمثل للدالة ƒ هو أخذ ƒ ( x ) = x ، مما يؤدي إلى معادلة اللحظة المذكورة أعلاه.

هناك العديد من الأطر المختلفة التي يمكن من خلالها صياغة نموذج الانحدار الخطي من أجل جعل تقنية المربعات الصغرى العادية قابلة للتطبيق. كل من هذه الإعدادات تنتج نفس الصيغ ونفس النتائج. والفرق الوحيد هو التفسير والافتراضات التي يجب فرضها حتى تعطي الطريقة نتائج ذات مغزى. يعتمد اختيار الإطار القابل للتطبيق في الغالب على طبيعة البيانات الموجودة، وعلى مهمة الاستدلال التي يجب القيام بها.

أحد خطوط الاختلاف في التفسير هو ما إذا كان يجب التعامل مع المتغيرات العشوائية كمتغيرات عشوائية، أو كثوابت محددة مسبقًا. في الحالة الأولى ( التصميم العشوائي )، تكون المتغيرات العشوائية x _i عشوائية ويتم أخذ عينات منها مع المتغيرات y _i من بعض السكان ، كما هو الحال في الدراسة الرصدية . يسمح هذا النهج بدراسة أكثر طبيعية للخصائص المقاربة للمقدرين. في التفسير الآخر ( التصميم الثابت )، يتم التعامل مع المتغيرات العشوائية X كثوابت معروفة يحددها التصميم ، ويتم أخذ عينات من y بشروط على قيم X كما هو الحال في التجربة . لأغراض عملية، غالبًا ما يكون هذا التمييز غير مهم، حيث يتم إجراء التقدير والاستدلال أثناء التكييف على X. جميع النتائج المذكورة في هذه المقالة تقع ضمن إطار التصميم العشوائي.

يركز النموذج الكلاسيكي على تقدير واستنتاج "العينة المحدودة"، مما يعني أن عدد الملاحظات n ثابت. وهذا يتناقض مع الأساليب الأخرى، التي تدرس السلوك المقارب للمربعات الصغرى العادية، والتي تتم فيها دراسة السلوك عند عدد كبير من العينات.

• المواصفات الصحيحة . يجب أن يتطابق الشكل الوظيفي الخطي مع شكل عملية توليد البيانات الفعلية.
• الخارجية الصارمة . يجب أن يكون للأخطاء في الانحدار متوسط ​​مشروط يساوي صفرًا: ^[17] والنتيجة المباشرة لافتراض الخارجية هي أن الأخطاء لها متوسط ​​يساوي صفرًا: E[ ε ] = 0 (لقانون التوقع الكلي )، وأن المتغيرات غير مرتبطة بالأخطاء: E[ X ^T ε ] = 0 .$${\displaystyle \operatorname {E} [\,\varepsilon \mid X\,]=0.}$$
  إن افتراض الخارجية أمر بالغ الأهمية لنظرية المربعات الصغرى العادية. وإذا كان صحيحًا، فإن المتغيرات المتراجعة تسمى خارجية . وإذا لم يكن كذلك، فإن المتغيرات المتراجعة التي ترتبط بمصطلح الخطأ تسمى داخلية ، ^[18] ويصبح مقدر المربعات الصغرى العادية متحيزًا. وفي هذه الحالة، يمكن استخدام طريقة المتغيرات الآلية لإجراء الاستدلال.
• لا يوجد اعتماد خطي . يجب أن تكون جميع المتغيرات في X مستقلة خطيًا . رياضيًا، هذا يعني أن المصفوفة X يجب أن يكون لها رتبة عمود كاملة بشكل شبه مؤكد: ^[19] عادةً، يُفترض أيضًا أن المتغيرات لها لحظات محدودة تصل إلى اللحظة الثانية على الأقل. ثم تكون المصفوفة Q _xx = E[ X ^T X  /  n ] محدودة وشبه محددة موجبة.$${\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}$$
  عندما يتم انتهاك هذا الافتراض، تسمى المتغيرات المتراجعة بالتبعية الخطية أو متعددة الخطوط تمامًا . في هذه الحالة ، لا يمكن تعلم قيمة معامل الانحدار β ، على الرغم من أن التنبؤ بقيم y لا يزال ممكنًا للقيم الجديدة للمتغيرات المتراجعة التي تقع في نفس الفضاء الفرعي التابع خطيًا.
• الأخطاء الكروية : ^[19] حيث I _n هي مصفوفة الهوية في البعد n ، و σ ² هي معلمة تحدد تباين كل ملاحظة. تعتبر هذه σ ² معلمة مزعجة في النموذج، على الرغم من أنها عادة ما يتم تقديرها أيضًا. إذا تم انتهاك هذا الافتراض، فإن تقديرات المربعات الصغرى العادية لا تزال صالحة، لكنها لم تعد فعالة.$${\displaystyle \operatorname {Var} [\,\varepsilon \mid X\,]=\sigma ^{2}I_{n},}$$
  ومن المعتاد تقسيم هذا الافتراض إلى قسمين:
  • التجانس في التباين : E[  ε _i ²  |  X  ] = σ ² ، مما يعني أن حد الخطأ له نفس التباين σ ² في كل ملاحظة. عندما يتم انتهاك هذا الشرط، يُطلق على هذا التجانس في التباين ، وفي هذه الحالة، سيكون المقدر الأكثر كفاءة هو المربعات الصغرى المرجحة . إذا كانت الأخطاء ذات تباين لا نهائي، فستكون تقديرات المربعات الصغرى العادية أيضًا ذات تباين لا نهائي (على الرغم من أنها ستميل مع ذلك إلى القيم الحقيقية وفقًا لقانون الأعداد الكبيرة طالما أن متوسط ​​الأخطاء يساوي صفرًا). في هذه الحالة،يوصى باستخدام تقنيات تقدير قوية .
  • لا يوجد ارتباط ذاتي : الأخطاء غير مرتبطة بين الملاحظات: E[  ε _i ε _j  |  X  ] = 0 لـ i ≠ j . قد يتم انتهاك هذا الافتراض في سياق بيانات السلاسل الزمنية ، وبيانات اللوحة ، وعينات المجموعة، والبيانات الهرمية، وبيانات القياسات المتكررة، والبيانات الطولية، وغيرها من البيانات ذات التبعيات. في مثل هذه الحالات، توفر المربعات الصغرى المعممة بديلاً أفضل من المربعات الصغرى العادية. هناك تعبير آخر للارتباط الذاتي وهو الارتباط التسلسلي .
• الطبيعية . يُفترض أحيانًا أيضًا أن الأخطاء لها توزيع طبيعي مشروط بالمتغيرات المتراجعة: ^[20] هذا الافتراض غير ضروري لصحة طريقة المربعات الصغرى العادية، على الرغم من أنه يمكن إنشاء بعض خصائص العينة المحدودة الإضافية في حالة حدوث ذلك (خاصة في مجال اختبار الفرضيات). أيضًا عندما تكون الأخطاء طبيعية، يكون مقدر المربعات الصغرى العادية معادلاً لمقدر الاحتمال الأقصى (MLE)، وبالتالي فهو فعال بشكل مقارب في فئة جميع المقدرين المنتظمين . من المهم أن افتراض الطبيعية ينطبق فقط على مصطلحات الخطأ؛ على عكس الاعتقاد الخاطئ الشائع، لا يُشترط أن يكون متغير الاستجابة (التابع) موزعًا بشكل طبيعي. ^[21]$${\displaystyle \varepsilon \mid X\sim {\mathcal {N}}(0,\sigma ^{2}I_{n}).}$$

في بعض التطبيقات، وخاصة مع البيانات المقطعية ، يتم فرض افتراض إضافي - وهو أن جميع الملاحظات مستقلة وموزعة بشكل متطابق . وهذا يعني أن جميع الملاحظات مأخوذة من عينة عشوائية مما يجعل جميع الافتراضات المذكورة سابقًا أبسط وأسهل في التفسير. كما يسمح هذا الإطار للمرء بذكر نتائج مقاربة (مثل حجم العينة n  → ∞ )، والتي تُفهم على أنها إمكانية نظرية لجلب ملاحظات مستقلة جديدة من عملية توليد البيانات . قائمة الافتراضات في هذه الحالة هي:

• ملاحظات iid : ( x _i ، y _i ) مستقلة عن، ولها نفس توزيع ، ( x _j ، y _j ) لجميع i ≠ j ؛
• لا يوجد تعدد خطي مثالي : Q _xx = E[  x _i  x _i ^T  ] هي مصفوفة محددة موجبة ؛
• الخارجية : E[  ε _i  |  x _i  ] = 0؛
• التجانس اللوني : Var[  ε _i  |  x _i  ] = σ ² .

• العملية العشوائية { x _i , y _i } ثابتة ومتغيرة ؛ إذا كانت { x _i , y _i } غير ثابتة، فإن نتائج المربعات الصغرى العادية غالبًا ما تكون زائفة ما لم تكن { x _i , y _i } متكاملة بشكل مشترك . ^[22]
• يتم تحديد المتغيرات الانحدارية مسبقًا : E[ x _i ε _i ] = 0 لجميع i = 1، ...، n ؛
• المصفوفة p × p Q _xx = E[  x _i  x _i ^T  ] لها رتبة كاملة، وبالتالي فهي موجبة محددة ؛
• { x _i ε _i } هي متوالية فرق مارتينجال ، مع مصفوفة محدودة من اللحظات الثانية Q _{xxε ²} = E[  ε _i ² x _i  x _i ^T  ] .

أولاً وقبل كل شيء، تحت افتراض المنشأ الخارجي الصارم، فإن مقدرين المربعات الصغرى العادية و s ² غير متحيزين ، مما يعني أن قيمهم المتوقعة تتطابق مع القيم الحقيقية للمعلمات: ^{[23] [إثبات]}${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}$

إذا لم تصمد الخارجية الصارمة (كما هي الحال مع العديد من نماذج السلاسل الزمنية ، حيث يُفترض الخارجية فقط فيما يتعلق بالصدمات الماضية ولكن ليس الصدمات المستقبلية)، فإن هذه التقديرات ستكون متحيزة في العينات المحدودة.

مصفوفة التباين-التغاير (أو ببساطة مصفوفة التغاير ) تساوي ^[24]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}$

على وجه الخصوص، الخطأ المعياري لكل معامل يساوي الجذر التربيعي للعنصر القطري j لهذه المصفوفة. يتم الحصول على تقدير هذا الخطأ المعياري عن طريق استبدال الكمية غير المعروفة σ ² بتقديرها s ² . وبالتالي، ${\displaystyle \scriptstyle {\hat {\beta }}_{j}}$

${\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}$

يمكن أيضًا إظهار بسهولة أن المقدر غير مرتبط بالمخلفات من النموذج: ^[24]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}$

تنص نظرية جاوس-ماركوف على أنه بموجب افتراض الأخطاء الكروية (أي أن الأخطاء يجب أن تكون غير مترابطة ومتجانسة التباين ) فإن المقدر يكون فعالاً في فئة المقدرين الخطيين غير المتحيزين. وهذا ما يسمى بأفضل مقدر خطي غير متحيز (BLUE). يجب فهم الكفاءة كما لو كنا سنجد مقدرًا آخر يكون خطيًا في y وغير متحيز، إذن ^[24]${\displaystyle \scriptstyle {\hat {\beta }}}$${\displaystyle \scriptstyle {\tilde {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}$

بمعنى أن هذه مصفوفة غير سالبة محددة . تثبت هذه النظرية المثالية فقط في فئة المقدرين الخطيين غير المتحيزين، وهو أمر مقيد للغاية. اعتمادًا على توزيع حدود الخطأ ε ، قد توفر مقدرات أخرى غير خطية نتائج أفضل من المربعات الصغرى العادية.

الخصائص المذكورة حتى الآن صالحة جميعها بغض النظر عن التوزيع الأساسي لمصطلحات الخطأ. ومع ذلك، إذا كنت على استعداد لافتراض أن افتراض الطبيعية صحيح (أي أن ε ~ N (0, σ ² I _n ) )، فيمكن ذكر خصائص إضافية لمقدري المربعات الصغرى العادية.

يتم توزيع المقدر بشكل طبيعي، مع المتوسط ​​والتباين كما هو موضح سابقًا: ^[25]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}$

يصل هذا المقدر إلى حد كرامر-راو للنموذج، وبالتالي فهو مثالي في فئة جميع المقدرين غير المتحيزين. ^[16] لاحظ أنه على عكس نظرية جاوس-ماركوف ، فإن هذه النتيجة تثبت المثالية بين كل من المقدرين الخطيين وغير الخطيين، ولكن فقط في حالة مصطلحات الخطأ الموزعة بشكل طبيعي.

سيكون المقدر s ^{2 متناسبًا مع} توزيع مربع كاي : ^[26]

${\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}$

تباين هذا المقدر يساوي 2 σ ⁴ /( n  −  p ) ، والذي لا يصل إلى حد كرامر-راو 2 σ ⁴ / n . ومع ذلك فقد تبين أنه لا توجد مقدرات غير متحيزة لـ σ 2 ^بتباين أصغر من تباين المقدر s ² . ^[27] إذا كنا على استعداد للسماح بالمقدرين المتحيزين، والنظر في فئة المقدرين المتناسبين مع مجموع المتبقيات التربيعية (SSR) للنموذج، فإن أفضل مقدر (بمعنى متوسط ​​الخطأ التربيعي ) في هذه الفئة سيكون ^~ σ ² = SSR  /  ( n  −  p  + 2) ، والذي يتفوق حتى على حد كرامر-راو في حالة وجود متراجع واحد فقط ( p = 1 ). ^[28]

علاوة على ذلك ، فإن المقدرين وs2 مستقلين، ^[ 29 ] وهي الحقيقة التي ^تأتي مفيدة عند بناء اختبارات t وF للانحدار. ${\displaystyle \scriptstyle {\hat {\beta }}}$

كما ذكرنا سابقًا، يكون المقدر خطيًا في y ، مما يعني أنه يمثل تركيبة خطية للمتغيرات التابعة y _i . الأوزان في هذه التركيبة الخطية هي دوال للمتغيرات المتراجعة X ، وهي غير متساوية بشكل عام. تسمى الملاحظات ذات الأوزان العالية مؤثرة لأن لها تأثيرًا أكثر وضوحًا على قيمة المقدر. ${\displaystyle {\hat {\beta }}}$

لتحليل الملاحظات المؤثرة، نزيل ملاحظة j محددة ونفكر في مقدار التغير الذي ستحدثه الكميات المقدرة (على غرار طريقة السكين ). يمكن إظهار أن التغير في مقدر المربعات الصغرى العادية لـ β سيكون مساويًا لـ ^[30]

${\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}$

حيث h _j = x _j ^T  ( X ^T X ) ⁻¹ x _j هو العنصر القطري j لمصفوفة القبعة P ، و x _j هو متجه الانحدار المقابل للملاحظة j . وبالمثل، فإن التغيير في القيمة المتوقعة للملاحظة j الناتجة عن حذف تلك الملاحظة من مجموعة البيانات سيكون مساويًا لـ ^[30]

${\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}$

من خصائص مصفوفة القبعة، 0 ≤ h _j ≤ 1 ، ومجموعها يساوي p ، بحيث يكون h _j ≈ p/n في المتوسط. تسمى هذه الكميات h _j بالروافع ، وتسمى الملاحظات ذات h _j العالية نقاط الرافعة . ^[31] عادةً ما يجب فحص الملاحظات ذات الرافعة العالية بعناية أكبر، في حالة كونها خاطئة، أو شاذة، أو غير نمطية بأي شكل آخر من الأشكال لبقية مجموعة البيانات.

في بعض الأحيان، يمكن تقسيم المتغيرات والمعلمات المقابلة في الانحدار منطقيًا إلى مجموعتين، بحيث يأخذ الانحدار الشكل

${\displaystyle y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,}$

حيث أن X ₁ و X ₂ لهما أبعاد n × p ₁ و n × p ₂ و β ₁ و β ₂ عبارة عن متجهات p ₁ × 1 و p ₂ × 1، مع p ₁ + p ₂ = p .

تنص نظرية فريش-واو-لوفيل على أنه في هذا الانحدار ستكون المتبقيات وتقدير المربعات الصغرى العادية متطابقة عدديًا مع المتبقيات وتقدير المربعات الصغرى العادية لـ β ₂ في الانحدار التالي: ^[32]${\displaystyle {\hat {\varepsilon }}}$${\displaystyle \scriptstyle {\hat {\beta }}_{2}}$

${\displaystyle M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,}$

حيث M ₁ هي مصفوفة الإبادة للمتراجعين X ₁ .

يمكن استخدام النظرية لتأسيس عدد من النتائج النظرية. على سبيل المثال، فإن وجود انحدار مع ثابت ومتغير انحدار آخر يعادل طرح المتوسطات من المتغير التابع والمتغير الانحداري ثم تشغيل الانحدار للمتغيرات التي تم إزالة معناها ولكن بدون الحد الثابت.

افترض أنه من المعروف أن المعاملات في الانحدار تلبي نظام المعادلات الخطية

${\displaystyle A\colon \quad Q^{\operatorname {T} }\beta =c,\,}$

حيث Q هي مصفوفة p × q ذات رتبة كاملة، و c هي متجه q × 1 من الثوابت المعروفة، حيث q < p . في هذه الحالة، يكون تقدير المربعات الصغرى معادلاً لتقليل مجموع المتبقيات التربيعية للنموذج الخاضع للقيد A. يمكن إعطاء مقدر المربعات الصغرى المقيدة (CLS) بواسطة صيغة صريحة: ^[33]

${\displaystyle {\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).}$

هذا التعبير للمقدر المقيد صالح طالما أن المصفوفة X ^T X قابلة للعكس. لقد افترضنا منذ بداية هذه المقالة أن هذه المصفوفة ذات رتبة كاملة، وقد لوحظ أنه عندما يفشل شرط الرتبة، فلن يكون من الممكن تحديد β . ومع ذلك، قد يحدث أن إضافة القيد A يجعل β قابلة للتحديد، وفي هذه الحالة يرغب المرء في إيجاد صيغة للمقدر. المقدر يساوي ^[34]

${\displaystyle {\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,}$

حيث R هي مصفوفة p ×( p  −  q ) بحيث تكون المصفوفة [ QR ] غير مفردة، و R ^T Q = 0. يمكن دائمًا العثور على مثل هذه المصفوفة، على الرغم من أنها ليست فريدة بشكل عام. تتطابق الصيغة الثانية مع الأولى في حالة قابلية X ^T X للعكس. ^[34]

إن تقديرات المربعات الصغرى هي تقديرات نقطية لمعلمات نموذج الانحدار الخطي β . ومع ذلك، فإننا عمومًا نريد أيضًا معرفة مدى قرب هذه التقديرات من القيم الحقيقية للمعلمات. بعبارة أخرى، نريد إنشاء تقديرات الفاصل الزمني .

نظرًا لأننا لم نقم بأي افتراض حول توزيع حد الخطأ ε _i ، فمن المستحيل استنتاج توزيع المقدرين و . ومع ذلك، يمكننا تطبيق نظرية الحد المركزي لاستنتاج خصائصهما المقاربة حيث يتجه حجم العينة n إلى ما لا نهاية. وبينما يكون حجم العينة محدودًا بالضرورة، فمن المعتاد افتراض أن n "كبير بما يكفي" بحيث يكون التوزيع الحقيقي لمقدر المربعات الصغرى العادية قريبًا من حده المقارب. ${\displaystyle {\hat {\beta }}}$${\displaystyle {\hat {\sigma }}^{2}}$

يمكننا أن نظهر أنه وفقًا لافتراضات النموذج، فإن مقدر المربعات الصغرى لـ β متسق ( أي يتقارب في الاحتمالية مع β ) وطبيعي بشكل مقارب: ^{[الدليل]}${\displaystyle {\hat {\beta }}}$

${\displaystyle ({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},}$

أين${\displaystyle Q_{xx}=X^{\operatorname {T} }X.}$

باستخدام هذا التوزيع المقارب، يمكن إنشاء فترات ثقة تقريبية ثنائية الجانب للمكون j للمتجه على النحو التالي${\displaystyle {\hat {\beta }}}$

${\displaystyle \beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}}$   عند مستوى الثقة 1 −  α ،

حيث يشير q إلى دالة الكمية للتوزيع الطبيعي القياسي، و[·] _jj هو العنصر القطري j للمصفوفة.

على نحو مماثل، فإن مقدر المربعات الصغرى لـ σ ² متسق أيضًا وطبيعي بشكل مقارب (بشرط وجود اللحظة الرابعة لـ ε _i ) مع التوزيع المحدود

${\displaystyle ({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).}$

يمكن استخدام هذه التوزيعات المقاربة للتنبؤ واختبار الفرضيات وبناء مقدرين آخرين وما إلى ذلك. على سبيل المثال، ضع في اعتبارك مشكلة التنبؤ. افترض أن هناك نقطة ما ضمن نطاق توزيع المتنبئات، ويريد المرء أن يعرف ما كان ليكون متغير الاستجابة في تلك النقطة. متوسط ​​الاستجابة هو الكمية ، في حين أن الاستجابة المتوقعة هي . من الواضح أن الاستجابة المتوقعة هي متغير عشوائي، ويمكن اشتقاق توزيعها من توزيع : ${\displaystyle x_{0}}$${\displaystyle y_{0}=x_{0}^{\mathrm {T} }\beta }$${\displaystyle {\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}}$${\displaystyle {\hat {\beta }}}$

${\displaystyle \left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),}$

الذي يسمح بإنشاء فترات ثقة لمتوسط ​​الاستجابة : ${\displaystyle y_{0}}$

${\displaystyle y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]}$   عند مستوى الثقة 1 −  α .

This section needs expansion. You can help by adding to it. (February 2017)

يتم استخدام اختبارين للفرضيات على نطاق واسع بشكل خاص. أولاً، يريد المرء أن يعرف ما إذا كانت معادلة الانحدار المقدرة أفضل من مجرد التنبؤ بأن جميع قيم متغير الاستجابة تساوي متوسط ​​العينة (إذا لم يكن الأمر كذلك، فيقال إنه ليس له قوة تفسيرية). يتم اختبار الفرضية الصفرية لعدم وجود قيمة تفسيرية للانحدار المقدر باستخدام اختبار F. إذا وجد أن قيمة F المحسوبة كبيرة بما يكفي لتجاوز قيمتها الحرجة لمستوى الأهمية المختار مسبقًا، يتم رفض الفرضية الصفرية وقبول الفرضية البديلة ، التي تقول إن الانحدار لديه قوة تفسيرية. خلاف ذلك، يتم قبول الفرضية الصفرية لعدم وجود قوة تفسيرية.

ثانيًا، بالنسبة لكل متغير تفسيري ذي أهمية، نريد أن نعرف ما إذا كان معامله المقدر يختلف بشكل كبير عن الصفر - أي ما إذا كان هذا المتغير التفسيري المعين يتمتع في الواقع بقوة تفسيرية في التنبؤ بمتغير الاستجابة. هنا تكون الفرضية الصفرية هي أن المعامل الحقيقي هو صفر. يتم اختبار هذه الفرضية عن طريق حساب إحصاء t للمعامل، كنسبة تقدير المعامل إلى خطأه المعياري. إذا كانت إحصاء t أكبر من قيمة محددة مسبقًا، يتم رفض الفرضية الصفرية ويجد أن المتغير يتمتع بقوة تفسيرية، مع اختلاف معامله بشكل كبير عن الصفر. خلاف ذلك، يتم قبول الفرضية الصفرية لقيمة صفرية للمعامل الحقيقي.

بالإضافة إلى ذلك، يتم استخدام اختبار تشاو لاختبار ما إذا كانت كلتا العينتين الفرعيتين لهما نفس قيم المعاملات الحقيقية الأساسية. تتم مقارنة مجموع المتبقيات التربيعية للانحدارات في كل من المجموعات الفرعية وفي مجموعة البيانات المجمعة عن طريق حساب إحصائية F؛ إذا تجاوزت هذه القيمة قيمة حرجة، يتم رفض الفرضية الصفرية لعدم وجود فرق بين المجموعتين الفرعيتين؛ وإلا يتم قبولها.

تعطي مجموعة البيانات التالية متوسط ​​الطول والوزن للنساء الأمريكيات في الفئة العمرية 30-39 عامًا (المصدر: The World Almanac and Book of Facts، 1975 ).

الارتفاع (م)	1.47	1.50	1.52	1.55	1.57
الوزن (كجم)	52.21	53.12	54.48	55.84	57.20
الارتفاع (م)	1.60	1.63	1.65	1.68	1.70
الوزن (كجم)	58.57	59.93	61.29	63.11	64.47
الارتفاع (م)	1.73	1.75	1.78	1.80	1.83
الوزن (كجم)	66.28	68.10	69.92	72.19	74.46

عندما يتم نمذجة متغير تابع واحد فقط، فإن مخطط التشتت سيقترح شكل وقوة العلاقة بين المتغير التابع والمتغيرات المتراجعة. وقد يكشف أيضًا عن القيم المتطرفة، وعدم تجانس التباين، وجوانب أخرى للبيانات قد تعقد تفسير نموذج الانحدار الملائم. يشير مخطط التشتت إلى أن العلاقة قوية ويمكن تقريبها كدالة تربيعية. يمكن لـ OLS التعامل مع العلاقات غير الخطية من خلال إدخال المتغير المتراجع HEIGHT ^2. ثم يصبح نموذج الانحدار نموذجًا خطيًا متعددًا:

${\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}$

سيبدو الناتج من الحزم الإحصائية الأكثر شيوعًا مشابهًا لهذا:

طريقة	المربعات الصغرى
متغير تابع	وزن
ملاحظات	15
المعلمة	قيمة	خطأ معياري	إحصائية t	قيمة p
${\displaystyle \beta _{1}}$	128.8128	16.3083	7.8986	0.0000
${\displaystyle \beta _{2}}$	-143.1620	19.8332	-7.2183	0.0000
${\displaystyle \beta _{3}}$	61.9603	6.0084	10.3122	0.0000
ر 2	0.9989	خطأ في الانحدار		0.2516
تم تعديل R 2	0.9987	نموذج مجموع المربعات		692.61
احتمالية السجل	1.0890	المجموع المتبقي من المربع.		0.7595
إحصاء دوربين-واتسون.	2.1013	المجموع الإجمالي للمساحة المربعة.		693.37
معيار أكايكي	0.2548	إحصائية F		5471.2
معيار شوارتز	0.3964	القيمة الاحتمالية (F)		0.0000

في هذا الجدول:

• يعطي عمود القيمة تقديرات المربعات الصغرى للمعلمات β _j
• يوضح عمود الخطأ المعياري الأخطاء المعيارية لكل تقدير معامل:${\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}$
• تختبر أعمدة الإحصاء t والقيمة p ما إذا كان أي من المعاملات قد يساوي الصفر. يتم حساب الإحصاء t ببساطة على النحو التالي . إذا كانت الأخطاء ε تتبع توزيعًا طبيعيًا، فإن t تتبع توزيع Student-t. في ظل ظروف أضعف، يكون t طبيعيًا بشكل مقارب. تشير القيم الكبيرة لـ t إلى أنه يمكن رفض الفرضية الصفرية وأن المعامل المقابل ليس صفرًا. يعبر العمود الثاني، القيمة p ، عن نتائج اختبار الفرضية كمستوى دلالة . تقليديًا، تُعتبر قيم p الأصغر من 0.05 دليلاً على أن معامل السكان ليس صفرًا.${\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}$
• R-squared هو معامل التحديد الذي يشير إلى مدى ملاءمة الانحدار. ستكون هذه الإحصائية مساوية لواحد إذا كان التناسب مثاليًا، وتساوي صفرًا عندما لا تتمتع المتغيرات X بأي قوة تفسيرية على الإطلاق. هذا تقدير متحيز لـ R-squared ، ولن ينخفض ​​أبدًا إذا تمت إضافة متغيرات انحدار إضافية، حتى لو كانت غير ذات صلة.
• R-squared المعدل هو نسخة معدلة قليلاً من ، مصممة لمعاقبة العدد الزائد من المتغيرات التي لا تضيف إلى القوة التفسيرية للانحدار. هذه الإحصائية دائمًا أصغر من ، ويمكن أن تقل مع إضافة متغيرات جديدة، وحتى تكون سلبية للنماذج غير الملائمة:${\displaystyle R^{2}}$${\displaystyle R^{2}}$

${\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}$

• يتم حساب احتمالية اللوغاريتم على افتراض أن الأخطاء تتبع التوزيع الطبيعي. وعلى الرغم من أن هذا الافتراض ليس معقولاً للغاية، إلا أن هذه الإحصائية قد تظل مفيدة في إجراء اختبارات LR.
• تختبر إحصائيات دوربين-واتسون ما إذا كان هناك أي دليل على وجود ارتباط تسلسلي بين المتبقيات. وكقاعدة عامة، فإن القيمة الأصغر من 2 ستكون دليلاً على وجود ارتباط إيجابي.
• يتم استخدام معيار معلومات أكايكي ومعيار شوارتز لاختيار النموذج. بشكل عام، عند مقارنة نموذجين بديلين، فإن القيم الأصغر لأحد هذين المعيارين تشير إلى نموذج أفضل. ^[35]
• الخطأ المعياري للانحدار هو تقدير لـ σ ، الخطأ المعياري لمصطلح الخطأ.
• يخبرنا مجموع المربعات الإجمالي ، ومجموع المربعات النموذجي ، ومجموع المربعات المتبقية عن مقدار التباين الأولي في العينة الذي تم تفسيره بواسطة الانحدار.
• تحاول إحصاءة F اختبار الفرضية القائلة بأن جميع المعاملات (باستثناء التقاطع) تساوي صفرًا. تتمتع هذه الإحصائية بتوزيع F ( p–1 ، n–p ) تحت الفرضية الصفرية وافتراض الطبيعية، وتشير قيمتها p إلى احتمالية أن تكون الفرضية صحيحة بالفعل. لاحظ أنه عندما لا تكون الأخطاء طبيعية تصبح هذه الإحصائية غير صالحة، ويجب استخدام اختبارات أخرى مثل اختبار Wald أو اختبار LR .

غالبًا ما يتضمن تحليل المربعات الصغرى العادية استخدام مخططات تشخيصية مصممة للكشف عن انحرافات البيانات عن الشكل المفترض للنموذج. فيما يلي بعض المخططات التشخيصية الشائعة:

• المتبقيات مقابل المتغيرات التفسيرية في النموذج. تشير العلاقة غير الخطية بين هذه المتغيرات إلى أن خطية دالة المتوسط ​​الشرطي قد لا تصمد. تشير المستويات المختلفة من التباين في المتبقيات لمستويات مختلفة من المتغيرات التفسيرية إلى احتمال وجود تباين غير متجانس.
• المتبقيات مقابل المتغيرات التفسيرية غير الموجودة في النموذج. أي علاقة بين المتبقيات وهذه المتغيرات من شأنها أن تشير إلى ضرورة النظر في تضمين هذه المتغيرات في النموذج.
• المتبقي مقابل القيم المجهزة .${\displaystyle {\hat {y}}}$
• المتبقيات مقابل المتبقي السابق. قد تحدد هذه المؤامرة الارتباطات التسلسلية في المتبقيات.

من الاعتبارات المهمة عند إجراء الاستدلال الإحصائي باستخدام نماذج الانحدار هو كيفية أخذ العينات من البيانات. في هذا المثال، البيانات عبارة عن متوسطات وليست قياسات على النساء بشكل فردي. إن ملاءمة النموذج جيدة جدًا، لكن هذا لا يعني أنه يمكن التنبؤ بوزن المرأة الفردية بدقة عالية بناءً على طولها فقط.

يوضح هذا المثال أيضًا أن المعاملات التي تم تحديدها بواسطة هذه الحسابات حساسة لكيفية إعداد البيانات. تم في الأصل إعطاء الارتفاعات مقربة إلى أقرب بوصة وتم تحويلها وتقريبها إلى أقرب سنتيمتر. نظرًا لأن عامل التحويل هو بوصة واحدة إلى 2.54 سم، فهذا ليس تحويلًا دقيقًا. يمكن استرداد البوصات الأصلية بواسطة Round(x/0.0254) ثم إعادة تحويلها إلى النظام المتري دون تقريب. إذا تم ذلك، تصبح النتائج:

	ثابت	ارتفاع	الارتفاع 2
تم تحويله إلى النظام المتري مع التقريب.	128.8128	-143.162	61.96033
تم تحويله إلى النظام المتري دون تقريب.	119.0205	-131.5076	58.5046

إن استخدام أي من هذه المعادلات للتنبؤ بوزن امرأة طولها 5 أقدام و6 بوصات (1.6764 متر) يعطي قيمًا مماثلة: 62.94 كجم مع التقريب مقابل 62.98 كجم بدون تقريب. وبالتالي فإن الاختلاف الطفيف في البيانات له تأثير حقيقي على المعاملات ولكن تأثير صغير على نتائج المعادلة.

ورغم أن هذا قد يبدو غير ضار في منتصف نطاق البيانات، فإنه قد يصبح ذا أهمية في الحالات القصوى أو في حالة استخدام النموذج الملائم للتنبؤ خارج نطاق البيانات ( الاستقراء ).

يسلط هذا الضوء على خطأ شائع: هذا المثال هو إساءة استخدام المربعات الصغرى العادية التي تتطلب بطبيعتها أن تكون الأخطاء في المتغير المستقل (في هذه الحالة الارتفاع) صفرًا أو على الأقل يمكن إهمالها. يشكل التقريب الأولي لأقرب بوصة بالإضافة إلى أي أخطاء قياس فعلية خطأً محدودًا وغير قابل للإهمال. ونتيجة لذلك، فإن المعلمات الملائمة ليست أفضل التقديرات التي يُفترض أنها كذلك. ورغم أنها ليست زائفة تمامًا، فإن الخطأ في التقدير سيعتمد على الحجم النسبي لأخطاء x و y .

يمكننا استخدام آلية المربعات الصغرى لمعرفة معادلة مدار جسمين في إحداثيات قاعدية قطبية. المعادلة المستخدمة عادةً هي حيث هو نصف قطر المسافة بين الجسمين. في المعادلة، تُستخدم المعلمات و لتحديد مسار المدار. لقد قمنا بقياس البيانات التالية. ${\displaystyle r(\theta )={\frac {p}{1-e\cos(\theta )}}}$${\displaystyle r(\theta )}$${\displaystyle p}$${\displaystyle e}$

${\displaystyle \theta }$(بالدرجات)	43	45	52	93	108	116
${\displaystyle r(\theta )}$	4.7126	4.5542	4.0419	2.2187	1.8910	1.7599

نحن بحاجة إلى إيجاد التقريب الأقل مربعات لـ و للبيانات المعطاة. ${\displaystyle e}$${\displaystyle p}$

أولاً، نحتاج إلى تمثيل e وp في شكل خطي. لذا سنعيد كتابة المعادلة على النحو التالي . علاوة على ذلك، يمكن للمرء أن يناسب apsides عن طريق التوسع باستخدام معلمة إضافية مثل ، والتي تكون خطية في كل من و في دالة الأساس الإضافية ، المستخدمة في extra . نستخدم الشكل الأصلي المكون من معلمتين لتمثيل بيانات الرصد الخاصة بنا على النحو التالي: ${\displaystyle r(\theta )}$${\displaystyle {\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )}$${\displaystyle \cos(\theta )}$${\displaystyle \cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})}$${\displaystyle \cos(\theta )}$${\displaystyle \sin(\theta )}$${\displaystyle \tan \theta _{0}=\sin(\theta _{0})/\cos(\theta _{0})}$

${\displaystyle A^{T}A{\binom {x}{y}}=A^{T}b}$حيث يكون و يكون و يتم إنشاؤه بواسطة العمود الأول الذي يكون معامل و العمود الثاني الذي يكون معامل و تكون القيم الخاصة بكل من و${\displaystyle x}$${\displaystyle {\frac {1}{p}}}$${\displaystyle y}$${\displaystyle {\frac {e}{p}}}$${\displaystyle A}$${\displaystyle {\frac {1}{p}}}$${\displaystyle {\frac {e}{p}}}$${\displaystyle b}$${\displaystyle {\frac {1}{r(\theta )}}}$${\displaystyle A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}}}$${\displaystyle b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.}$

عند الحل نحصل على${\displaystyle {\binom {x}{y}}={\binom {0.43478}{0.30435}}}$

لذلك و${\displaystyle p={\frac {1}{x}}=2.3000}$${\displaystyle e=p\cdot y=0.70001}$

• المربعات الصغرى البايزية
• انحدار فاما-ماكبث
• المربعات الصغرى غير الخطية
• الأساليب العددية للمربعات الصغرى الخطية
• تحديد النظام غير الخطي

• دوجيرتي، كريستوفر (2002). مقدمة في القياس الاقتصادي (الطبعة الثانية). نيويورك: مطبعة جامعة أكسفورد. ص 48-113. رقم ISBN 0-19-877643-8.
• جوجاراتي، دامودار ن .؛ بورتر، داون سي. (2009). علم الاقتصاد الأساسي (الطبعة الخامسة). بوسطن: ماكجرو هيل إروين. ص 55-96. رقم ISBN 978-0-07-337577-9.
• هيج كريستيان. بوير، بول. فرانسيس، فيليب ه. كلوك، تيون؛ فان ديك، هيرمان ك. (2004). أساليب الاقتصاد القياسي مع التطبيقات في الأعمال والاقتصاد (الطبعة الأولى). أكسفورد: مطبعة جامعة أكسفورد. ص 76-115. رقم ISBN 978-0-19-926801-6.
• هيل، ر. كارتر؛ جريفثس، ويليام إي؛ ليم، غواي سي. (2008). مبادئ القياس الاقتصادي (الطبعة الثالثة). هوبوكين، نيوجيرسي: جون وايلي وأولاده. ص 8-47. رقم ISBN 978-0-471-72360-8.
• Wooldridge, Jeffrey (2008). "The Simple Regression Model". Introductory Economicmetrics: A Modern Approach (الطبعة الرابعة). Mason, OH: Cengage Learning. ص 22-67. ISBN 978-0-324-58162-1.