المربعات الصغرى العادية

📅 آخر تحديث: ٢ أغسطس ٢٠٢٦
✍️ نُشر في: ٢ أغسطس ٢٠٢٦
📷 يحتوي على 141 صور
الموسوعة الحرة
ينص قانون أوكون في الاقتصاد الكلي على أن نمو الناتج المحلي الإجمالي في أي اقتصاد يجب أن يعتمد خطيًا على التغيرات في معدل البطالة. ويُستخدم هنا أسلوب المربعات الصغرى العادية لرسم خط الانحدار الذي يصف هذا القانون.

في الإحصاء ، تُعدّ طريقة المربعات الصغرى العادية ( OLS ) نوعًا من طرق المربعات الصغرى الخطية لاختيار المعاملات المجهولة في نموذج الانحدار الخطي، وذلك وفقًا لمبدأ المربعات الصغرى : تقليل مجموع مربعات الفروق بين المتغير التابع المرصود (قيم المتغير قيد الملاحظة) في مجموعة بيانات الإدخال ومخرجات الدالة (الخطية) للمتغير المستقل . وتعتبر بعض المصادر طريقة المربعات الصغرى العادية نوعًا من الانحدار الخطي. [ 1 ]

هندسيًا، يُنظر إلى هذا على أنه مجموع مربعات المسافات، الموازية لمحور المتغير التابع، بين كل نقطة بيانات في المجموعة والنقطة المقابلة لها على سطح الانحدار - فكلما صغرت الفروق، كان النموذج أكثر ملاءمة للبيانات. ويمكن التعبير عن المُقدِّر الناتج بصيغة بسيطة، خاصة في حالة الانحدار الخطي البسيط ، حيث يوجد مُتنبئ واحد على الجانب الأيمن من معادلة الانحدار.

يُعدّ مُقدِّر المربعات الصغرى العادية (OLS) متسقًا للتأثيرات الثابتة من المستوى الأول عندما تكون المتغيرات المستقلة خارجية وتُشكِّل ارتباطًا خطيًا تامًا (شرط الرتبة)، ومتسقًا لتقدير تباين البواقي عندما يكون للمتغيرات المستقلة عزم رابع محدود [ 2 ] ، وبحسب نظرية جاوس-ماركوف ، فهو الأمثل في فئة المُقدِّرات الخطية غير المتحيزة عندما تكون الأخطاء متجانسة التباين وغير مرتبطة تسلسليًا . في ظل هذه الشروط، تُوفِّر طريقة المربعات الصغرى العادية تقديرًا غير متحيز بمتوسط ​​تباين أدنى عندما تكون تباينات الأخطاء محدودة . وبافتراض إضافي أن الأخطاء موزعة توزيعًا طبيعيًا بمتوسط ​​صفر، فإن طريقة المربعات الصغرى العادية هي مُقدِّر الاحتمال الأقصى الذي يتفوق على أي مُقدِّر غير خطي غير متحيز.

النموذج الخطي

لنفترض أن البيانات تتكون منن{\displaystyle n}الملاحظات{xأنا،yأنا}أنا=1ن{\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}كل ملاحظةأنا{\displaystyle i}يتضمن استجابة عدديةyأنا{\displaystyle y_{i}}ومتجه عموديxأنا{\displaystyle \mathbf {x} _{i}}لص{\displaystyle p}المعلمات (المتغيرات المستقلة)، أيxأنا=[xأنا1،xأنا2،...،xأناص]تي{\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}في نموذج الانحدار الخطي ، يكون المتغير التابع،yأنا{\displaystyle y_{i}}، هي دالة خطية للمتغيرات المستقلة:

yأنا=β1 xأنا1+β2 xأنا2+⋯+βص xأناص+εأنا،{\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}

أو في شكل متجه ،

yأنا=xأناتيβ+εأنا،{\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}

أينxأنا{\displaystyle \mathbf {x} _{i}}كما سبق ذكره، هو متجه عمودي منأنا{\displaystyle i}الملاحظة رقم - من بين جميع المتغيرات التفسيرية؛β{\displaystyle {\boldsymbol {\beta }}}هوص×1{\displaystyle p\times 1}متجه المعاملات المجهولة؛ والكمية العدديةεأنا{\displaystyle \varepsilon _{i}}يمثل المتغيرات العشوائية غير المرصودة ( الأخطاء ) لـأنا{\displaystyle i}الملاحظة رقم -th.εأنا{\displaystyle \varepsilon _{i}}يفسر ذلك التأثيرات على الاستجاباتyأنا{\displaystyle y_{i}}من مصادر أخرى غير المتغيرات التفسيريةxأنا{\displaystyle \mathbf {x} _{i}}يمكن كتابة هذا النموذج أيضًا باستخدام تدوين المصفوفات كما يلي:

y=Xβ+ε،{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}

أينy{\displaystyle \mathbf {y} }وε{\displaystyle {\boldsymbol {\varepsilon }}}نكونن×1{\displaystyle n\times 1}متجهات متغيرات الاستجابة وأخطاءن{\displaystyle n}الملاحظات، وX{\displaystyle \mathbf {X} }هون×ص{\displaystyle n\times p}مصفوفة المتغيرات المستقلة، والتي تسمى أحيانًا مصفوفة التصميم ، والتي صفهاأنا{\displaystyle i}يكونxأناتي{\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}ويحتوي علىأنا{\displaystyle i}الملاحظات رقم - على جميع المتغيرات التفسيرية.

عادةً، يتم تضمين حد ثابت في مجموعة المتغيرات المستقلة.X{\displaystyle \mathbf {X} }على سبيل المثال، عن طريق أخذxأنا1=1{\displaystyle x_{i1}=1}للجميعأنا=1،...،ن{\displaystyle i=1,\dots ,n}المعاملβ1{\displaystyle \beta _{1}}يُطلق على الجزء المقابل لهذا المتغير المستقل اسم نقطة التقاطع . وبدون نقطة التقاطع، يُجبر الخط المُطابق على عبور نقطة الأصل عندماxأنا=0→{\displaystyle x_{i}={\vec {0}}}.

لا يشترط أن تكون المتغيرات المستقلة مستقلة لكي يكون التقدير متسقًا، فقد تكون مرتبطة ارتباطًا غير خطي. وفي حال عدم وجود ارتباط خطي تام، قد تظل تقديرات المعلمات متسقة؛ إلا أنه مع ازدياد الارتباط الخطي، يزداد الخطأ المعياري حول هذه التقديرات، مما يقلل من دقتها. وعند وجود ارتباط خطي تام، يصبح من المستحيل الحصول على تقديرات فريدة لمعاملات المتغيرات المستقلة المرتبطة؛ وبالتالي، لا يمكن أن يتقارب تقدير هذه المعلمات (وبالتالي، لا يمكن أن يكون متسقًا).

كمثال ملموس حيث تكون المتغيرات المستقلة مرتبطة بشكل غير خطي ومع ذلك قد يظل التقدير متسقًا، قد نشك في أن الاستجابة تعتمد خطيًا على كل من القيمة ومربعها؛ في هذه الحالة، سنُدرج متغيرًا مستقلًا تكون قيمته هي مربع متغير مستقل آخر. في هذه الحالة، سيكون النموذج تربيعيًا في المتغير المستقل الثاني، ولكنه مع ذلك لا يزال يُعتبر نموذجًا خطيًا لأن النموذج لا يزال خطيًا في المعاملات (β{\displaystyle {\boldsymbol {\beta }}}).

صياغة المصفوفة/المتجه

النظر في نظام مفرط التحديد

∑ج=1صxأناجβج=yأنا، (أنا=1،2،...،ن)،{\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}

لن{\displaystyle n}المعادلات الخطية فيص{\displaystyle p}معاملات مجهولة ،β1،β2،...،βص{\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}، معن>ص{\displaystyle n>p}يمكن كتابة ذلك في شكل مصفوفة كما يلي:

Xβ=y،{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,}

أين

X=[X11X12⋯X1صX21X22⋯X2ص⋮⋮⋱⋮Xن1Xن2⋯Xنص]،β=[β1β2⋮βص]،y=[y1y2⋮yن].{\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}

(ملاحظة: بالنسبة للنموذج الخطي كما هو موضح أعلاه، لا تكون جميع العناصر فيX{\displaystyle \mathbf {X} }يحتوي على معلومات حول نقاط البيانات. العمود الأول مملوء بالآحاد.Xأنا1=1{\displaystyle X_{i1}=1}تحتوي الأعمدة الأخرى فقط على البيانات الفعلية. لذا هناص{\displaystyle p}يساوي عدد المتغيرات المستقلة زائد واحد).

لا يمتلك هذا النوع من الأنظمة عادةً حلاً دقيقاً، لذا فإن الهدف بدلاً من ذلك هو إيجاد المعاملات.β{\displaystyle {\boldsymbol {\beta }}}والتي تتناسب مع المعادلات "بشكل أفضل"، بمعنى حل مسألة التصغير التربيعي

β^=أرزمأنانβS(β)،{\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}حيث دالة الهدفS{\displaystyle S}يُعطى بواسطة:
S(β)=∑أنا=1ن|yأنا-∑ج=1صXأناجβج|2=‖y-Xβ‖2.{\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}

يُقدَّم تبرير لاختيار هذا المعيار في قسم الخصائص أدناه. لهذه المسألة التصغيرية حلٌّ وحيد، بشرط أنص{\displaystyle p}أعمدة المصفوفةX{\displaystyle \mathbf {X} }مستقلة خطيًا ، ويتم تحديدها عن طريق حل ما يسمى بالمعادلات العادية :

(XتيX)β^=Xتيy .{\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}

المصفوفةXتيX{\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }تُعرف باسم المصفوفة العادية أو مصفوفة غرام والمصفوفةXتيy{\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }تُعرف باسم مصفوفة العزوم للمتغير التابع بواسطة المتغيرات المستقلة. [ 3 ] وأخيرًا،β^{\displaystyle {\hat {\boldsymbol {\beta }}}}يمثل متجه معاملات المستوى الفائق للمربعات الصغرى ، معبراً عنه على النحو التالي:

β^=(X⊤X)-1X⊤y.{\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} .}

أو

β^=β+(X⊤X)-1X⊤ε.{\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}.}

تقدير

لنفترض أن b قيمة "مرشحة" لمتجه المعاملات β. الكمية yᵢ - xᵢTb ، والتي تُسمى الباقي للملاحظة رقم i، تقيس المسافة الرأسية بين نقطة البيانات (xᵢ, yᵢ ) والمستوى الفائق y = xᵢTb ، وبالتالي تُقيّم درجة التطابق بين البيانات الفعلية والنموذج . مجموع مربعات البواقي ( SSR ) ( ويُسمى أيضًا مجموع مربعات الخطأ ( ESS ) أو مجموع مربعات البواقي ( RSS ) ) [ 4 ] هو مقياس لمدى تطابق النموذج بشكل عام.

S(ب)=∑أنا=1ن(yأنا-xأناتيب)2=(y-Xب)تي(y-Xب)،{\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}

حيث يرمز T إلى منقولة المصفوفة ، وصفوف X ، التي تمثل قيم جميع المتغيرات المستقلة المرتبطة بقيمة معينة للمتغير التابع، هي Xᵢ = xᵢT . تُسمى قيمة b التي تُقلل هذا المجموع مُقدِّر المربعات الصغرى العادية لـ β . الدالة S ( b ) هي دالة تربيعية في b ذات مصفوفة هيسية موجبة التحديد ، وبالتالي تمتلك هذه الدالة قيمة صغرى عالمية فريدة عندب=β^{\displaystyle b={\hat {\beta }}}، والتي يمكن الحصول عليها من خلال الصيغة الصريحة [ 5 ] [إثبات]

β^=أرجينينب∈Rص⁡S(ب)=(XتيX)-1Xتيy .{\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}

المصفوفة N = X T X هي مصفوفة غرام ، ومعكوسها Q = N −1 هي مصفوفة العوامل المرافقة لـ β ، [ 6 ] [ 7 ] [ 8 ] وهي مرتبطة ارتباطًا وثيقًا بمصفوفة التباين C β . تُسمى المصفوفة ( X T X ) −1 X T = Q X T مصفوفة مور-بنروز شبه المعكوسة لـ X. تُبرز هذه الصيغة أنه لا يمكن إجراء التقدير إلا إذا لم يكن هناك ارتباط خطي متعدد تام بين المتغيرات التفسيرية (مما سيؤدي إلى عدم وجود معكوس لمصفوفة غرام).   

تنبؤ

بعد تقدير قيمة β ، ستكون القيم المُقدَّرة (أو القيم المتوقعة ) من الانحدار هي

y^=Xβ^=Py،{\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}

حيث P = X ( X T X ) −1 X T هي مصفوفة الإسقاط على الفضاء V الذي تولده أعمدة X. تُسمى هذه المصفوفة P أحيانًا بمصفوفة القبعة لأنها "تضع قبعة" على المتغير y . مصفوفة أخرى، وثيقة الصلة بـ P، هي مصفوفة الإفناء M = I n − P ؛ وهي مصفوفة إسقاط على الفضاء المتعامد مع V. كلتا المصفوفتين P و M متناظرتان ومتساويتان (بمعنى أن P 2 = P و M 2 = M )، وترتبطان بمصفوفة البيانات X عبر المتطابقات PX = X و MX = 0. [ 9 ] تُنشئ المصفوفة M البواقي من الانحدار.

ε^=y-y^=y-Xβ^=مy=م(Xβ+ε)=(مX)β+مε=مε.{\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}

تباينات القيم المتوقعةsy^أنا2{\displaystyle s_{{\hat {y}}_{i}}^{2}}توجد في القطر الرئيسي لمصفوفة التباين والتباين المشترك للقيم المتوقعة:

جy^=s2P،{\displaystyle C_{\hat {y}}=s^{2}P,}

حيث P هي مصفوفة الإسقاط و s² هي تباين العينة. [ 10 ] المصفوفة الكاملة كبيرة جدًا؛ ويمكن حساب عناصرها القطرية بشكل فردي كما يلي :

sy^أنا2=s2Xأنا(XتيX)-1Xأناتي،{\displaystyle s_{{\hat {y}}_{i}}^{2}=s^{2}X_{i}(X^{T}X)^{-1}X_{i}^{T},}

حيث يمثل X i الصف i من المصفوفة X.

إحصائيات العينة

باستخدام هذه البواقي، يمكننا تقدير تباين العينة s 2 باستخدام إحصائية مربع كاي المختزلة :

s2=ε^تيε^ن-ص=(مy)تيمyن-ص=yتيمتيمyن-ص=yتيمyن-ص=S(β^)ن-ص،σ^2=ن-صنs2{\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}

المقام، n − p ، هو درجات الحرية الإحصائية . الكمية الأولى، s² ، هي تقدير المربعات الصغرى العادية لـ σ² ، بينما الكمية الثانية،σ^2{\displaystyle \scriptstyle {\hat {\sigma }}^{2}}، هو تقدير الاحتمال الأقصى لـ σ² . يتشابه المُقدِّران إلى حد كبير في العينات الكبيرة؛ فالمُقدِّر الأول غير متحيز دائمًا ، بينما المُقدِّر الثاني متحيز ولكنه ذو متوسط ​​خطأ تربيعي أصغر . عمليًا، يُستخدم s² بشكل أكثر شيوعًا، لأنه أكثر ملاءمة لاختبار الفرضيات. يُسمى الجذر التربيعي لـ s² خطأ الانحدار المعياري ، [ 11 ] أو خطأ الانحدار المعياري ، [ 12 ] [ 13 ] أو خطأ المعادلة المعياري . [ 9 ]

من الشائع تقييم مدى جودة مطابقة انحدار المربعات الصغرى العادية (OLS) من خلال مقارنة مقدار التباين الأولي في العينة الذي يمكن تقليله عن طريق الانحدار على X. يُعرَّف معامل التحديد R² بأنه نسبة التباين "المُفسَّر" إلى التباين "الكلي" للمتغير التابع y ، في الحالات التي يكون فيها مجموع مربعات الانحدار مساويًا لمجموع مربعات البواقي: [ 14 ]

R2=∑(y^أنا-y¯)2∑(yأنا-y¯)2=yتيPتيلPyyتيلy=1-yتيمyyتيلy=1-RSSتيSS{\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}

حيث يمثل TSS مجموع مربعات الانحرافات للمتغير التابع،ل=أنان-1نجن{\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}، وجن{\textstyle J_{n}}هي مصفوفة من الرتبة n × n مكونة من الواحدات.ل{\displaystyle L}هي مصفوفة توسيط تُكافئ الانحدار على ثابت؛ فهي ببساطة تطرح المتوسط ​​من المتغير. ولكي يكون معامل التحديد (R² ) ذا دلالة، يجب أن تحتوي مصفوفة البيانات X الخاصة بالمتغيرات المستقلة على متجه عمودي من الآحاد لتمثيل الثابت الذي يُمثل معامله نقطة تقاطع الانحدار. في هذه الحالة، سيكون R² دائمًا عددًا بين 0 و1، حيث تشير القيم القريبة من 1 إلى درجة مطابقة جيدة.

نموذج الانحدار الخطي البسيط

إذا احتوت مصفوفة البيانات X على متغيرين فقط، ثابت ومتغير انحدار عددي xᵢ ، يُطلق على هذا النموذج اسم "نموذج الانحدار البسيط". يُدرس هذا النموذج غالبًا في دورات الإحصاء للمبتدئين، لأنه يوفر صيغًا أبسط بكثير، حتى أنها مناسبة للحساب اليدوي. يُرمز عادةً للمعاملات بالرمز ( α , β ) .

yأنا=α+βxأنا+εأنا.{\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}

تُعطى تقديرات المربعات الصغرى في هذه الحالة بواسطة صيغ بسيطة.

β^=∑أنا=1ن(xأنا-x¯)(yأنا-y¯)∑أنا=1ن(xأنا-x¯)2α^=y¯-β^x¯ ،{\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}

اشتقاقات بديلة

في القسم السابق، تم استخدام مقدر المربعات الصغرىβ^{\displaystyle {\hat {\beta }}}تم الحصول على هذه القيمة باعتبارها القيمة التي تُقلل مجموع مربعات البواقي للنموذج. ومع ذلك، من الممكن أيضًا اشتقاق نفس المُقدِّر من طرق أخرى. في جميع الحالات، تبقى صيغة مُقدِّر المربعات الصغرى العادية كما هي: ^ β = ( X<sub> T</sub> X ) −1 X<sub> T</sub> y ؛ والفرق الوحيد يكمن في كيفية تفسير هذه النتيجة.

عرض

يمكن اعتبار تقدير المربعات الصغرى العادية بمثابة إسقاط على الفضاء الخطي الذي تشكله المتغيرات المستقلة. (هنا كل منX1{\displaystyle X_{1}}وX2{\displaystyle X_{2}}(يشير إلى عمود من مصفوفة البيانات.)
المربعات الصغرى كإسقاط لـ y على col(X) لثلاث ملاحظات؛ ŷ = Xβ يعطي القيم المناسبة و y − ŷ هو الباقي.

بالنسبة للرياضيين، تُعدّ طريقة المربعات الصغرى العادية (OLS) حلاً تقريبياً لنظام معادلات خطية زائد التحديد Xβ ≈ y ، حيث β هو المجهول. بافتراض عدم إمكانية حل النظام بدقة (عدد المعادلات n أكبر بكثير من عدد المجاهيل p )، فإننا نبحث عن حل يُقلّل التباين بين طرفي المعادلة إلى أدنى حد. بعبارة أخرى، نبحث عن الحل الذي يُحقق الشرط التالي:

β^=أرزمينβ‖y-Xβ‖2،{\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ^{2},}

حيث ‖ · ‖ هي المعيار L² القياسي  في الفضاء الإقليدي ذي البعد n ، Rⁿ . الكمية المتوقعة Xβ هي ببساطة توليفة خطية معينة من متجهات المتغيرات المستقلة. وبالتالي، سيكون لمتجه البواقي y − Xβ أقصر طول عندما يُسقط y عموديًا على الفضاء الخطي الممتد بواسطة أعمدة X. مُقدِّر المربعات الصغرى العادية (OLS).β^{\displaystyle {\hat {\beta }}}في هذه الحالة يمكن تفسيرها على أنها معاملات تحليل المتجهات لـ ^ y = Py على أساس X.

بمعنى آخر، يمكن كتابة معادلات التدرج عند الحد الأدنى على النحو التالي:

(y-Xβ^)⊤X=0.{\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}

التفسير الهندسي لهذه المعادلات هو أن متجه البواقي،y-Xβ^{\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}يكون متعامدًا مع فضاء الأعمدة لـ X ، لأن الضرب النقطي(y-Xβ^)⋅Xv{\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }يساوي الصفر لأي متجه توافقي، v . هذا يعني أنy-Xβ^{\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}هو أقصر المتجهات الممكنةy-Xβ{\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}أي أن تباين البواقي يكون في أدنى قيمة ممكنة. وهذا موضح على اليمين.

تقديمγ^{\displaystyle {\hat {\boldsymbol {\gamma }}}}ومصفوفة K بافتراض أن المصفوفة[X ك]{\displaystyle [\mathbf {X} \ \mathbf {K} ]}إذا كانت غير منفردة و K T X = 0 (انظر الإسقاطات المتعامدة )، فيجب أن يحقق متجه الباقي المعادلة التالية:

ر^:=y-Xβ^=كγ^.{\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}

وبالتالي، يتم وصف معادلة وحل المربعات الصغرى الخطية على النحو التالي:

y=[Xك][β^γ^]،⇒[β^γ^]=[Xك]-1y=[(X⊤X)-1X⊤(ك⊤ك)-1ك⊤]y.{\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}

ثمة طريقة أخرى للنظر إلى الأمر، وهي اعتبار خط الانحدار متوسطًا مرجحًا للخطوط التي تمر عبر أي نقطتين في مجموعة البيانات. [ 15 ] على الرغم من أن هذه الطريقة الحسابية أكثر تكلفة من الناحية الحسابية، إلا أنها توفر فهمًا أفضل لطريقة المربعات الصغرى العادية (OLS).

أقصى احتمال

يُعدّ مُقدِّر المربعات الصغرى العادية (OLS) مُطابقًا لمُقدِّر الاحتمال الأقصى (MLE) في ظل افتراض التوزيع الطبيعي لحدود الخطأ. [ 16 ] [برهان] لهذا الافتراض أهمية تاريخية، إذ شكّل أساسًا للأعمال المبكرة في تحليل الانحدار الخطي التي قام بها يول وبيرسون . من خصائص مُقدِّر الاحتمال الأقصى، يُمكننا استنتاج أن مُقدِّر المربعات الصغرى العادية (OLS) فعّال تقاربيًا (بمعنى بلوغه حد كرامر-راو للتباين) إذا تحقق افتراض التوزيع الطبيعي. [ 17 ]

طريقة العزوم المعممة

في حالة المتغيرات المستقلة والمتطابقة التوزيع، يمكن أيضًا اعتبار مقدر المربعات الصغرى العادية مقدرًا لطريقة العزوم المعممة ناتجًا عن شروط العزوم.

هـ[xأنا(yأنا-xأناتيβ)]=0.{\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}

تنص شروط العزوم هذه على أن المتغيرات المستقلة يجب ألا تكون مرتبطة بالأخطاء. وبما أن xᵢ متجه ذو p بُعد، فإن عدد شروط العزوم يساوي بُعد متجه المعاملات β ، وبالتالي يتم تحديد النظام بدقة. هذه هي الحالة الكلاسيكية لنموذج العزوم المعمم (GMM)، حيث لا يعتمد المُقدِّر على اختيار مصفوفة الترجيح.

لاحظ أن فرضية الاستقلالية الصارمة الأصلية E[ εᵢ | xi ] = 0 تستلزم مجموعة أوسع بكثير من شروط العزوم مما ذُكر أعلاه. على وجه الخصوص، تعني هذه الفرضية أنه لأي دالة متجهة ƒ ، سيتحقق شرط العزوم E[ ƒ ( xi ) · εᵢ ] = 0. مع ذلك ، يمكن إثبات، باستخدام نظرية غاوس-ماركوف، أن الاختيار الأمثل للدالة ƒ هو أخذ ƒ ( x ) = x ، مما ينتج عنه معادلة العزوم المذكورة أعلاه.

الافتراضات

توجد عدة أطر مختلفة يمكن من خلالها صياغة نموذج الانحدار الخطي لجعل تقنية المربعات الصغرى العادية (OLS) قابلة للتطبيق. تُنتج جميع هذه الأطر نفس الصيغ والنتائج، والفرق الوحيد يكمن في التفسير والافتراضات التي يجب وضعها لكي تُعطي الطريقة نتائج ذات دلالة. يعتمد اختيار الإطار المناسب بشكل أساسي على طبيعة البيانات المتوفرة، وعلى مهمة الاستدلال المطلوب تنفيذها.

يتمثل أحد أوجه الاختلاف في التفسير في كيفية التعامل مع المتغيرات المستقلة، سواءً كمتغيرات عشوائية أو كثوابت محددة مسبقًا. في الحالة الأولى ( التصميم العشوائي ) ، تكون المتغيرات المستقلة xᵢ عشوائية ويتم اختيارها مع المتغيرات المستقلة yᵢ من مجتمع إحصائي ، كما هو الحال في الدراسات الرصدية . يتيح هذا النهج دراسة أكثر طبيعية للخصائص التقاربية للمُقدِّرات. أما في التفسير الآخر ( التصميم الثابت )، فتُعامل المتغيرات المستقلة Xᵢ كثوابت معلومة محددة مسبقًا ، ويتم اختيار yᵢ بناءً على قيم Xᵢ كما هو الحال في التجارب . عمليًا، غالبًا ما يكون هذا التمييز غير مهم، إذ يتم التقدير والاستدلال مع مراعاة Xᵢ . جميع النتائج المذكورة في هذه المقالة تندرج ضمن إطار التصميم العشوائي.

يركز النموذج الكلاسيكي على تقدير واستدلال "العينة المحدودة"، أي أن عدد المشاهدات n ثابت. وهذا يختلف عن المناهج الأخرى التي تدرس السلوك التقاربي لطريقة المربعات الصغرى العادية (OLS)، والتي تُدرس فيها السلوكيات عند عدد كبير من العينات. ولإثبات عدم تحيز مُقدِّر OLS في العينات المحدودة، نحتاج إلى الافتراضات التالية.

مثال على انحدار كثير الحدود التكعيبي، وهو نوع من أنواع الانحدار الخطي. على الرغم من أن انحدار كثير الحدود يُطابق نموذج منحنى مع البيانات، إلا أنه كمسألة تقدير إحصائي، فهو خطي، بمعنى أن دالة التوقع الشرطيهـ[y|x]{\displaystyle \mathbb {E} [y|x]}تكون العلاقة خطية في المعاملات المجهولة التي يتم تقديرها من البيانات . ولهذا السبب، يُعتبر الانحدار متعدد الحدود حالة خاصة من الانحدار الخطي المتعدد .
  • الخارجية . لا تتغير المتغيرات المستقلة مع حد الخطأ:هـ[εأناxأنا]=0.{\displaystyle \mathbb {E} [\varepsilon _{i}x_{i}]=0.}يتطلب هذا، على سبيل المثال، عدم وجود متغيرات محذوفة تتغير بالتزامن مع المتغيرات المرصودة وتؤثر على المتغير التابع. وهناك صيغة بديلة (وأقوى) تُستخدم غالبًا عند شرح الانحدار الخطي في الإحصاء الرياضي ، وهي إمكانية التعامل مع المتغيرات التنبؤية x كقيم ثابتة، بدلًا من كونها متغيرات عشوائية . وتعني هذه الصيغة الأقوى، على سبيل المثال، افتراض خلو المتغيرات التنبؤية من الأخطاء، أي عدم تلوثها بأخطاء القياس. ورغم أن هذا الافتراض غير واقعي في كثير من الحالات، إلا أن التخلي عنه يؤدي إلى نماذج أكثر تعقيدًا تعتمد على أخطاء المتغيرات ، ونماذج المتغيرات الآلية ، وما شابه ذلك.
  • الخطية ، أو التحديد الصحيح . تعني هذه الخاصية أن متوسط ​​المتغير التابع هو توليفة خطية من المعاملات (معاملات الانحدار) والمتغيرات المستقلة. تجدر الإشارة إلى أن هذا الافتراض أقل تقييدًا مما قد يبدو عليه للوهلة الأولى. نظرًا لأن المتغيرات المستقلة تُعامل كقيم ثابتة (انظر أعلاه)، فإن الخطية في الواقع لا تُمثل سوى قيد على المعاملات. يمكن تحويل المتغيرات المستقلة نفسها بشكل تعسفي، بل ويمكن إضافة نسخ متعددة من نفس المتغير المستقل الأساسي، مع تحويل كل نسخة بشكل مختلف. تُستخدم هذه التقنية، على سبيل المثال، في الانحدار متعدد الحدود ، الذي يستخدم الانحدار الخطي لمطابقة المتغير التابع كدالة متعددة الحدود (حتى درجة معينة) لمتغير مستقل. مع هذه المرونة الكبيرة، غالبًا ما تتمتع نماذج مثل الانحدار متعدد الحدود بـ "قوة مفرطة"، حيث تميل إلى المبالغة في مطابقة البيانات. ونتيجة لذلك، يجب عادةً استخدام نوع من التنظيم لمنع ظهور حلول غير منطقية من عملية التقدير. من الأمثلة الشائعة على ذلك انحدار ريدج وانحدار لاسو . كما يمكن استخدام الانحدار الخطي البايزي ، الذي يتميز بطبيعته بأنه محصن إلى حد كبير ضد مشكلة التوفيق الزائد. (في الواقع، يمكن اعتبار كل من انحدار ريدج وانحدار لاسو حالتين خاصتين من الانحدار الخطي البايزي، مع أنواع محددة من التوزيعات الاحتمالية المسبقة الموضوعة على معاملات الانحدار).
  • تمثيل التباين غير المتجانس في مخطط التشتت مقابل 100 قيمة عشوائية مُلائمة باستخدام برنامج Matlab
    التباين الثابت أو تجانس التباين . وهذا يعني أن تباين الأخطاء لا يعتمد على قيم المتغيرات التنبؤية:هـ[εأنا2|xأنا]=σ2.{\displaystyle \mathbb {E} [\varepsilon _{i}^{2}|x_{i}]=\sigma ^{2}.}وبالتالي، فإن تباين الاستجابات لقيم ثابتة معينة للمتغيرات التنبؤية يكون متساوياً بغض النظر عن حجم الاستجابات. لكن هذا ليس هو الحال في كثير من الأحيان، إذ أن المتغير ذو المتوسط ​​الكبير عادةً ما يكون له تباين أكبر من المتغير ذي المتوسط ​​الصغير. على سبيل المثال، قد يكون دخل شخص يُتوقع أن يبلغ 100,000 دولار أمريكي دخلاً فعلياً يتراوح بين 80,000 و120,000 دولار أمريكي - أي بانحراف معياري يبلغ حوالي 20,000 دولار أمريكي - بينما من غير المرجح أن يكون لدى شخص آخر يُتوقع أن يبلغ دخله 10,000 دولار أمريكي نفس الانحراف المعياري البالغ 20,000 دولار أمريكي، لأن ذلك يعني أن دخله الفعلي قد يتراوح بين -10,000 و30,000 دولار أمريكي. (في الواقع، كما يتضح من هذا، في كثير من الحالات - وغالبًا ما تكون هي نفسها الحالات التي يفشل فيها افتراض توزيع الأخطاء توزيعًا طبيعيًا - يُتوقع أن يكون التباين أو الانحراف المعياري متناسبًا مع المتوسط، وليس ثابتًا). يُطلق على غياب تجانس التباين اسم عدم تجانس التباين . وللتحقق من هذا الافتراض، يمكن فحص رسم بياني للبواقي مقابل القيم المتوقعة (أو قيم كل متغير تنبؤي على حدة) بحثًا عن "تأثير الانتشار" (أي زيادة أو نقصان الانتشار الرأسي عند التحرك من اليسار إلى اليمين على الرسم البياني). كما يمكن فحص رسم بياني للبواقي المطلقة أو المربعة مقابل القيم المتوقعة (أو كل متغير تنبؤي) بحثًا عن اتجاه أو انحناء. ويمكن أيضًا استخدام اختبارات رسمية؛ انظر عدم تجانس التباين . سيؤدي وجود عدم تجانس التباين إلى استخدام تقدير "متوسط" عام للتباين بدلًا من تقدير يأخذ في الاعتبار بنية التباين الحقيقية. يؤدي هذا إلى تقديرات أقل دقة للمعلمات (لكنها غير متحيزة في حالة المربعات الصغرى العادية ) وأخطاء معيارية متحيزة، مما ينتج عنه اختبارات وتقديرات فترات مضللة. كما سيكون متوسط ​​مربع الخطأ للنموذج خاطئًا. يمكن لتقنيات تقدير متنوعة، بما في ذلك المربعات الصغرى الموزونة واستخدام الأخطاء المعيارية المتسقة مع عدم تجانس التباين، معالجة عدم تجانس التباين بطريقة عامة. يمكن أيضًا استخدام تقنيات الانحدار الخطي البايزي عندما يُفترض أن التباين دالة للمتوسط. من الممكن أيضًا في بعض الحالات حل المشكلة بتطبيق تحويل على متغير الاستجابة (على سبيل المثال، ملاءمة لوغاريتم متغير الاستجابة باستخدام نموذج انحدار خطي، مما يعني أن متغير الاستجابة نفسه له توزيع لوغاريتمي طبيعي بدلاً من التوزيع الطبيعي ).
للتحقق من انتهاكات افتراضات الخطية، وثبات التباين، واستقلال الأخطاء في نموذج الانحدار الخطي، تُرسَم البواقي عادةً مقابل القيم المتوقعة (أو كل متغير من المتغيرات التنبؤية على حدة). يُعدّ التوزيع العشوائي الظاهري للنقاط حول الخط الأفقي الأوسط عند الصفر مثاليًا، ولكنه لا يستبعد وجود أنواع معينة من الانتهاكات، مثل الارتباط الذاتي في الأخطاء أو ارتباطها بمتغير واحد أو أكثر من المتغيرات المساعدة.
  • عدم ترابط الأخطاء . يفترض هذا أن أخطاء متغيرات الاستجابة غير مرتبطة ببعضها البعض:هـ[εأناεج|xأنا،xج]=0.{\displaystyle \mathbb {E} [\varepsilon _{i}\varepsilon _{j}|x_{i},x_{j}]=0.}تستطيع بعض الطرق، مثل طريقة المربعات الصغرى المعممة، التعامل مع الأخطاء المترابطة، إلا أنها تتطلب عادةً كمية بيانات أكبر بكثير ما لم يُستخدم نوع من التنظيم لتوجيه النموذج نحو افتراض أخطاء غير مترابطة. يُعدّ الانحدار الخطي البايزي طريقة عامة لمعالجة هذه المشكلة. يُعتبر الاستقلال الإحصائي الكامل شرطًا أقوى من مجرد انعدام الارتباط، وغالبًا ما يكون غير ضروري، على الرغم من أنه يُشير إلى استقلال المتوسط.
  • عدم وجود ارتباط خطي متعدد مثالي في المتغيرات التنبؤية. بالنسبة لطرق تقدير المربعات الصغرى القياسية ، يجب أن يكون لمصفوفة التصميم X رتبة عمودية كاملة p : [ 18 ]برو[رتبة⁡(X)=ص]=1.{\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}إذا لم يتحقق هذا الافتراض، فسيحدث تعدد خطي تام بين المتغيرات التنبؤية، أي وجود علاقة خطية بين متغيرين تنبؤيين أو أكثر. قد ينتج التعدد الخطي عن تكرار متغير في البيانات عن طريق الخطأ، أو استخدام تحويل خطي لمتغير مع المتغير الأصلي (مثلًا، قياسات درجة الحرارة نفسها مُعبر عنها بالفهرنهايت والمئوية)، أو تضمين توليفة خطية من متغيرات متعددة في النموذج، مثل متوسطها. كما قد يحدث أيضًا إذا كانت البيانات المتاحة قليلة جدًا مقارنةً بعدد المعلمات المراد تقديرها (مثلًا، عدد نقاط البيانات أقل من معاملات الانحدار). ويمكن أن يؤدي الاقتراب من انتهاك هذا الافتراض، حيث تكون المتغيرات التنبؤية مرتبطة ارتباطًا وثيقًا ولكن ليس تامًا، إلى تقليل دقة تقديرات المعلمات (انظر عامل تضخم التباين ). في حالة التعدد الخطي التام، سيكون متجه المعلمات β غير قابل للتحديد - أي أنه لا يوجد له حل فريد. في هذه الحالة، لا يمكن تحديد سوى بعض المعلمات (أي لا يمكن تقدير قيمها إلا ضمن فضاء فرعي خطي من فضاء المعلمات الكامل R p ). انظر انحدار المربعات الصغرى الجزئية . طُوِّرت طرقٌ لنمذجة النماذج الخطية مع مراعاة الارتباط الخطي المتعدد، [ 19 ] [ 20 ] [ 21 ] [ 22 ] ، ويتطلب بعضها افتراضاتٍ إضافية مثل "ندرة التأثيرات" - أي أن نسبةً كبيرةً من التأثيرات تساوي صفرًا تمامًا. تجدر الإشارة إلى أن الخوارزميات التكرارية الأكثر تكلفةً حسابيًا لتقدير المعلمات، كتلك المستخدمة في النماذج الخطية المعممة ، لا تعاني من هذه المشكلة.

قد تؤدي مخالفة هذه الافتراضات إلى تقديرات متحيزة لـ β ، وأخطاء معيارية متحيزة، وفترات ثقة غير موثوقة، واختبارات دلالة غير دقيقة. إلى جانب هذه الافتراضات، تؤثر العديد من الخصائص الإحصائية الأخرى للبيانات بشكل كبير على أداء طرق التقدير المختلفة.

  • تلعب العلاقة الإحصائية بين حدود الخطأ والمتغيرات المستقلة دورًا مهمًا في تحديد ما إذا كان إجراء التقدير يتمتع بخصائص أخذ العينات المرغوبة مثل كونه غير متحيز ومتسق.
  • يؤثر ترتيب أو توزيع احتمالية المتغيرات التنبؤية x بشكل كبير على دقة تقديرات β . ويُعدّ أخذ العينات وتصميم التجارب من المجالات الفرعية المتطورة في الإحصاء، والتي توفر إرشادات لجمع البيانات بطريقة تُمكّن من الحصول على تقدير دقيق لـ β .

ملكيات

خصائص العينة المحدودة

أولاً وقبل كل شيء، في ظل افتراض الاستقلالية الصارمة، فإن مقدرات المربعات الصغرى العاديةβ^{\displaystyle \scriptstyle {\hat {\beta }}}و s 2 غير متحيزة ، مما يعني أن قيمها المتوقعة تتطابق مع القيم الحقيقية للمعلمات: [ 23 ] [إثبات]

هـ⁡[β^|X]=β،هـ⁡[s2|X]=σ2.{\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}

إذا لم يتحقق شرط الخارجية الصارمة (كما هو الحال مع العديد من نماذج السلاسل الزمنية ، حيث يتم افتراض الخارجية فقط فيما يتعلق بالصدمات الماضية وليس الصدمات المستقبلية)، فإن هذه المقدرات ستكون متحيزة في العينات المحدودة.

مصفوفة التباين والتباين المشترك (أو ببساطة مصفوفة التباين المشترك ) لـβ^{\displaystyle \scriptstyle {\hat {\beta }}}يساوي [ 24 ]

متغير⁡[β^|X]=σ2(XتيX)-1=σ2سؤال.{\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}

وعلى وجه الخصوص، الخطأ المعياري لكل معاملβ^ج{\displaystyle \scriptstyle {\hat {\beta }}_{j}}يساوي الجذر التربيعي للعنصر القطري j في هذه المصفوفة. ويتم الحصول على تقدير هذا الخطأ المعياري باستبدال الكمية المجهولة σ² بتقديرها s² . وبالتالي ،

s.هـ.^(β^ج)=s2(XتيX)جج-1{\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}

ويمكن أيضاً إثبات بسهولة أن المُقدِّرβ^{\displaystyle \scriptstyle {\hat {\beta }}}لا يرتبط بالبواقي من النموذج: [ 24 ]

كوف⁡[β^،ε^|X]=0.{\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}

تنص نظرية جاوس-ماركوف على أنه في ظل افتراض الأخطاء الكروية (أي أن الأخطاء يجب أن تكون غير مترابطة ومتجانسة التباين )، فإن المُقدِّرβ^{\displaystyle \scriptstyle {\hat {\beta }}}يُعتبر هذا الأسلوب فعالاً ضمن فئة المُقدِّرات الخطية غير المتحيزة. ويُطلق عليه اسم أفضل مُقدِّر خطي غير متحيز (BLUE). ينبغي فهم الكفاءة كما لو كنا بصدد إيجاد مُقدِّر آخر.β~{\displaystyle \scriptstyle {\tilde {\beta }}}والتي ستكون خطية في y وغير متحيزة، ثم [ 24 ]

متغير⁡[β~|X]-متغير⁡[β^|X]≥0{\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}

بمعنى أن هذه مصفوفة غير سالبة محددة . تُثبت هذه النظرية الأمثلية فقط في فئة المُقدِّرات الخطية غير المتحيزة، وهو أمر مُقيِّد للغاية. اعتمادًا على توزيع حدود الخطأ ε ، قد تُقدِّم مُقدِّرات أخرى غير خطية نتائج أفضل من طريقة المربعات الصغرى العادية (OLS).

بافتراض الوضع الطبيعي

جميع الخصائص المذكورة حتى الآن صالحة بغض النظر عن التوزيع الأساسي لحدود الخطأ. مع ذلك، إذا افترضنا صحة فرضية التوزيع الطبيعي (أي أن ε ~ N (0, σ 2 I n ) )، فيمكن حينها ذكر خصائص إضافية لمُقدِّرات المربعات الصغرى العادية.

المُقدِّرβ^{\displaystyle \scriptstyle {\hat {\beta }}}يتم توزيعها بشكل طبيعي، بمتوسط ​​وتباين كما هو موضح سابقًا: [ 25 ]

β^ ∼ شمال(β، σ2(XتيX)-1).{\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}

يصل هذا المُقدِّر إلى حد كرامر-راو للنموذج، وبالتالي فهو الأمثل ضمن فئة جميع المُقدِّرات غير المتحيزة. [ 17 ] تجدر الإشارة إلى أنه على عكس نظرية غاوس-ماركوف ، تُثبت هذه النتيجة الأمثلية بين المُقدِّرات الخطية وغير الخطية، ولكن فقط في حالة حدود الخطأ الموزعة توزيعًا طبيعيًا.

سيكون المقدر s 2 متناسبًا مع توزيع مربع كاي : [ 26 ]

s2 ∼ σ2ن-ص⋅χن-ص2{\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}

تباين هذا المُقدِّر يساوي 2σ⁴ / ( n - p ) ، وهو لا يصل إلى حد كرامر -راو البالغ 2σ⁴ / n . ومع ذلك ، فقد ثبت أنه لا توجد مُقدِّرات غير متحيزة لـ σ² بتباين أصغر من تباين المُقدِّر s² . [ 27 ] إذا سمحنا بوجود مُقدِّرات متحيزة، واعتبرنا فئة المُقدِّرات المتناسبة مع مجموع مربعات البواقي (SSR) للنموذج، فإن أفضل مُقدِّر (بمعنى متوسط ​​مربع الخطأ ) في هذه الفئة سيكون σ² = SSR / ( n - p + 2) ، وهو ما يتجاوز حد كرامر-راو في حالة وجود مُتنبئ واحد فقط ( p = 1 ) . [ 28 ]

علاوة على ذلك، فإن المقدراتβ^{\displaystyle \scriptstyle {\hat {\beta }}}و s 2 مستقلة ، [ 29 ] وهي الحقيقة التي تكون مفيدة عند إنشاء اختبارات t و F للانحدار.

ملاحظات مؤثرة

كما ذكرنا سابقاً، فإن المُقدِّرβ^{\displaystyle {\hat {\beta }}}تكون الدالة خطية بالنسبة إلى y ، أي أنها تمثل توليفة خطية من المتغيرات التابعة yᵢ . وتُعدّ الأوزان في هذه التوليفة الخطية دوالًا للمتغيرات المستقلة X ، وعادةً ما تكون غير متساوية. وتُسمى المشاهدات ذات الأوزان العالية مؤثرة لأن لها تأثيرًا أكبر على قيمة المُقدِّر.

لتحليل أي المشاهدات مؤثرة، نزيل مشاهدة محددة رقم j وننظر في مقدار التغير الذي سيطرأ على الكميات المقدرة (على غرار طريقة جاكنايف ). ويمكن إثبات أن التغير في مقدر المربعات الصغرى العادية لـ β سيكون مساوياً لـ [ 30 ].

β^(ج)-β^=-11-حج(XتيX)-1xجتيε^ج،{\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}

حيث h j = x j T ( X T X ) −1، و x j هو العنصر القطري j في مصفوفة القبعة P ، و x j هو متجه المتغيرات المستقلة المقابلة للملاحظة j . وبالمثل، فإن التغير في القيمة المتوقعة للملاحظة j الناتج عن حذف تلك الملاحظة من مجموعة البيانات سيكون مساويًا لـ [ 30 ].

y^ج(ج)-y^ج=xجتيβ^(ج)-xجتيβ^=-حج1-حجε^ج{\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}

انطلاقًا من خصائص مصفوفة القبعة، فإن 0 ≤ h j ≤ 1 ، ومجموعها يساوي p ، بحيث يكون متوسط ​​h j ≈ p/n . تُسمى هذه القيم h j بالروافع ، وتُسمى المشاهدات ذات القيم العالية لـ h j بنقاط الرافعة . [ 31 ] عادةً ما ينبغي فحص المشاهدات ذات الرافعة العالية بدقة أكبر، تحسبًا لاحتمالية كونها خاطئة، أو شاذة، أو غير نمطية بأي شكل آخر مقارنةً ببقية مجموعة البيانات.

الانحدار المجزأ

في بعض الأحيان، يمكن تقسيم المتغيرات والمعاملات المقابلة لها في الانحدار منطقيًا إلى مجموعتين، بحيث يأخذ الانحدار الشكل التالي:

y=X1β1+X2β2+ε،{\displaystyle y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,}

حيث أن X 1 و X 2 لهما أبعاد n × p 1 و n × p 2 و β 1 و β 2 متجهات p 1 × 1 و p 2 × 1، مع p 1 + p 2 = p .

تنص نظرية فريش -وو-لوفيل على أنه في هذا الانحدار، تكون البواقيε^{\displaystyle {\hat {\varepsilon }}}وتقدير المربعات الصغرى العاديةβ^2{\displaystyle \scriptstyle {\hat {\beta }}_{2}}ستكون متطابقة عدديًا مع البواقي وتقدير المربعات الصغرى العادية لـ β 2 في الانحدار التالي: [ 32 ]

م1y=م1X2β2+η،{\displaystyle M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,}

حيث M 1 هي مصفوفة الإفناء للمتغيرات المستقلة X 1 .

يمكن استخدام هذه النظرية لإثبات عدد من النتائج النظرية. على سبيل المثال، إن وجود انحدار مع ثابت ومتغير مستقل آخر يكافئ طرح المتوسطات من المتغير التابع والمتغير المستقل، ثم إجراء الانحدار للمتغيرات بعد طرح المتوسطات ولكن بدون الحد الثابت.

خصائص العينات الكبيرة

تُعدّ تقديرات المربعات الصغرى تقديرات نقطية لمعاملات نموذج الانحدار الخطي β . ومع ذلك، نرغب عمومًا في معرفة مدى قرب هذه التقديرات من القيم الحقيقية للمعاملات. بعبارة أخرى، نريد بناء تقديرات الفترات .

بما أننا لم نضع أي افتراض بشأن توزيع حد الخطأ ε i ، فمن المستحيل استنتاج توزيع المقدراتβ^{\displaystyle {\hat {\beta }}}وσ^2{\displaystyle {\hat {\sigma }}^{2}}مع ذلك، يمكننا تطبيق نظرية النهاية المركزية لاستنتاج خصائصها التقاربية عندما يؤول حجم العينة n إلى اللانهاية. في حين أن حجم العينة محدود بالضرورة، فمن المعتاد افتراض أن n "كبير بما يكفي" بحيث يكون التوزيع الحقيقي لمُقدِّر المربعات الصغرى العادية قريبًا من نهايته التقاربية.

يمكننا أن نبين أنه في ظل افتراضات النموذج، يكون مقدر المربعات الصغرى لـ β متسقًا (أيβ^{\displaystyle {\hat {\beta }}}يتقارب احتماليًا إلى β ) ويكون طبيعيًا تقاربيًا: [إثبات]

(β^-β) →د شمال(0،σ2سؤالxx-1)،{\displaystyle ({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},}

أينسؤالxx=XتيX.{\displaystyle Q_{xx}=X^{\operatorname {T} }X.}

الاستدلال

باستخدام هذا التوزيع التقاربي، قم بتقريب فترات الثقة ذات الجانبين للمكون j من المتجهβ^{\displaystyle {\hat {\beta }}}يمكن بناؤها على النحو التالي

βج∈[ β^ج±q1-α2شمال(0،1)σ^2[سؤالxx-1]جج ]{\displaystyle \beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}} عند مستوى ثقة 1  − α ، 

حيث تشير q إلى دالة الكمية للتوزيع الطبيعي القياسي، و [·] jj هو العنصر القطري j للمصفوفة.

وبالمثل، فإن مقدر المربعات الصغرى لـ σ² يكون متسقًا أيضًا وطبيعيًا تقاربيًا (شريطة وجود العزم الرابع لـ εᵢ ) مع توزيع حدي

(σ^2-σ2) →د شمال(0،هـ⁡[εأنا4]-σ4).{\displaystyle ({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).}

يمكن استخدام هذه التوزيعات التقاربية للتنبؤ، واختبار الفرضيات، وبناء مقدرات أخرى، وما إلى ذلك. على سبيل المثال، لنأخذ مشكلة التنبؤ. لنفترضx0{\displaystyle x_{0}}تمثل نقطة ما ضمن نطاق توزيع المتغيرات المستقلة، ويريد المرء معرفة قيمة المتغير التابع عند تلك النقطة. متوسط ​​الاستجابة هو الكميةy0=x0تيβ{\displaystyle y_{0}=x_{0}^{\mathrm {T} }\beta }، بينما الاستجابة المتوقعة هيy^0=x0تيβ^{\displaystyle {\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}}من الواضح أن الاستجابة المتوقعة هي متغير عشوائي، ويمكن اشتقاق توزيعها من توزيعβ^{\displaystyle {\hat {\beta }}}:

(y^0-y0) →د شمال(0،σ2x0تيسؤالxx-1x0)،{\displaystyle \left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),}

مما يسمح بإنشاء فترات ثقة لمتوسط ​​الاستجابةy0{\displaystyle y_{0}}سيتم بناؤها:

y0∈[ x0تيβ^±q1-α2شمال(0،1)σ^2x0تيسؤالxx-1x0 ]{\displaystyle y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]} عند مستوى ثقة 1  − α  .

اختبار الفرضيات

يُستخدم اختباران للفرضيات على نطاق واسع. أولًا، يُراد معرفة ما إذا كانت معادلة الانحدار المُقدَّرة أفضل من مجرد التنبؤ بأن جميع قيم المتغير التابع تساوي متوسط ​​العينة (وإلا يُقال إنها تفتقر إلى القدرة التفسيرية). تُختبر الفرضية الصفرية، التي تنص على عدم وجود قيمة تفسيرية للانحدار المُقدَّر، باستخدام اختبار F. إذا كانت قيمة F المحسوبة كبيرة بما يكفي لتتجاوز قيمتها الحرجة عند مستوى الدلالة المُختار مسبقًا، تُرفض الفرضية الصفرية وتُقبل الفرضية البديلة ، وهي أن الانحدار يمتلك قدرة تفسيرية. وإلا، تُقبل الفرضية الصفرية التي تنص على عدم وجود قدرة تفسيرية.

ثانيًا، بالنسبة لكل متغير تفسيري محل اهتمام، يُراد معرفة ما إذا كان معامله المُقدَّر يختلف اختلافًا معنويًا عن الصفر، أي ما إذا كان لهذا المتغير التفسيري تحديدًا قدرة تفسيرية في التنبؤ بالمتغير التابع. هنا، الفرضية الصفرية هي أن المعامل الحقيقي يساوي صفرًا. تُختبر هذه الفرضية بحساب إحصائية t للمعامل ، كنسبة بين تقدير المعامل وخطئه المعياري . إذا كانت إحصائية t أكبر من قيمة محددة مسبقًا، تُرفض الفرضية الصفرية، ويُثبت أن للمتغير قدرة تفسيرية، وأن معامله يختلف اختلافًا معنويًا عن الصفر. وإلا، تُقبل الفرضية الصفرية القائلة بأن قيمة المعامل الحقيقي تساوي صفرًا.

بالإضافة إلى ذلك، يُستخدم اختبار تشاو لاختبار ما إذا كانت عينتان فرعيتان لهما نفس قيم المعاملات الحقيقية الأساسية. تتم مقارنة مجموع مربعات البواقي للانحدارات على كل مجموعة فرعية وعلى مجموعة البيانات المدمجة عن طريق حساب إحصائية F؛ إذا تجاوزت هذه الإحصائية قيمة حرجة، يتم رفض الفرضية الصفرية القائلة بعدم وجود فرق بين المجموعتين الفرعيتين؛ وإلا، يتم قبولها.

انتهاكات الافتراضات

نموذج السلاسل الزمنية

في نموذج السلاسل الزمنية ، نشترط أن تكون العملية العشوائية { x i , y i } مستقرة وإرجودية ؛ إذا كانت { x i , y i } غير مستقرة، فإن نتائج المربعات الصغرى العادية غالبًا ما تكون متحيزة ما لم تكن { x i , y i } متكاملة بشكل مشترك . [ 33 ]

لا نزال نشترط أن تكون المتغيرات المستقلة خارجية تمامًا : E[ x i ε i ] = 0 لجميع i = 1، ...، n . إذا كانت محددة مسبقًا فقط ، فإن OLS يكون متحيزًا في العينات المحدودة؛

وأخيرًا، تأخذ الافتراضات المتعلقة بالتباين شكل اشتراط أن تكون { x i ε i } متتالية فرق مارتينجال ، مع مصفوفة محدودة من اللحظات الثانية Q xxε ² = E[ ε i 2 x i x i T ] .

التقدير المقيد

لنفترض أنه من المعروف أن معاملات الانحدار تحقق نظامًا من المعادلات الخطية.

أ:سؤالتيβ=ج،{\displaystyle A\colon \quad Q^{\operatorname {T} }\beta =c,\,}

حيث Q مصفوفة كاملة الرتبة من الرتبة p × q ، و c متجه من الثوابت المعروفة من الرتبة q × 1، حيث q < p . في هذه الحالة، يكون تقدير المربعات الصغرى مكافئًا لتقليل مجموع مربعات البواقي للنموذج الخاضع للقيد A. يمكن التعبير عن مقدر المربعات الصغرى المقيد (CLS) بصيغة صريحة: [ 34 ]

β^ج=β^-(XتيX)-1سؤال(سؤالتي(XتيX)-1سؤال)-1(سؤالتيβ^-ج).{\displaystyle {\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).}

هذا التعبير عن المُقدِّر المُقيد صالح طالما أن المصفوفة X قابلة للعكس . وقد افترضنا منذ بداية هذه المقالة أن هذه المصفوفة كاملة الرتبة، ولوحظ أنه عند عدم تحقق شرط الرتبة، لن يكون β قابلاً للتحديد. مع ذلك، قد يحدث أن إضافة القيد A تجعل β قابلاً للتحديد، وفي هذه الحالة، يُراد إيجاد صيغة المُقدِّر. المُقدِّر يساوي [ 35 ].

β^ج=R(RتيXتيXR)-1RتيXتيy+(أناص-R(RتيXتيXR)-1RتيXتيX)سؤال(سؤالتيسؤال)-1ج،{\displaystyle {\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,}

حيث R مصفوفة من الرتبة p × ( p  - q ) بحيث تكون المصفوفة [ QR ] غير منفردة، و R T Q = 0. يمكن دائمًا إيجاد مثل هذه المصفوفة، على الرغم من أنها ليست فريدة في الغالب. تتطابق الصيغة الثانية مع الأولى في حالة كون X T X قابلة للعكس. [ 35 ] 

مثال باستخدام بيانات حقيقية

توفر مجموعة البيانات التالية متوسطات الطول والوزن للنساء الأمريكيات اللواتي تتراوح أعمارهن بين 30 و 39 عامًا (المصدر: كتاب حقائق العالم، 1975 ).

الطول (م)1.471.501.521.551.57
يُظهر الرسم البياني المبعثر للبيانات أن العلاقة منحنية قليلاً ولكنها قريبة من الخطية.
الوزن (كجم)52.2153.1254.4855.8457.20
الطول (م)1.601.631.651.681.70
الوزن (كجم)58.5759.9361.2963.1164.47
الطول (م)1.731.751.781.801.83
الوزن (كجم)66.2868.1069.9272.1974.46

عند نمذجة متغير تابع واحد فقط، يُشير مخطط الانتشار إلى شكل وقوة العلاقة بين المتغير التابع والمتغيرات المستقلة. وقد يكشف أيضًا عن القيم الشاذة، وعدم تجانس التباين، وجوانب أخرى من البيانات التي قد تُعقّد تفسير نموذج الانحدار المُناسب. يُشير مخطط الانتشار إلى أن العلاقة قوية ويمكن تقريبها بدالة تربيعية . يُمكن لطريقة المربعات الصغرى العادية (OLS) التعامل مع العلاقات غير الخطية بإدخال المتغير المستقل HEIGHT² . عندئذٍ ، يُصبح نموذج الانحدار نموذجًا خطيًا متعددًا.

wأنا=β1+β2حأنا+β3حأنا2+εأنا.{\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}
الانحدار المُلائم

ستكون مخرجات معظم حزم البرامج الإحصائية الشائعة مشابهة لما يلي:

طريقةطريقة المربعات الصغرى
المتغير التابعوزن
ملاحظات15
المعلمةقيمةالخطأ المعياريإحصائية tقيمة p
β1{\displaystyle \beta _{1}}128.812816.30837.89860.0000
β2{\displaystyle \beta _{2}}-143.162019.8332-7.21830.0000
β3{\displaystyle \beta _{3}}61.96036.008410.31220.0000
R 20.9989الخطأ المعياري للانحدار0.2516
معامل التحديد المعدل R²0.9987نموذج مجموع المربعات692.61
احتمالية اللوغاريتم1.0890مجموع مربعات البواقي0.7595
إحصائية دوربين-واتسون.2.1013مجموع المربعات الكلي693.37
معيار أكايكي0.2548إحصائية F5471.2
معيار شوارتز0.3964قيمة الاحتمال (إحصائية F)0.0000

في هذا الجدول:

  • يُعطي عمود القيمة تقديرات المربعات الصغرى للمعاملات β j
  • يُظهر عمود الخطأ المعياري الأخطاء المعيارية لكل تقدير للمعامل:σ^ج=(σ^2[سؤالxx-1]جج)12{\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}
  • يختبر عمودا إحصائية t وقيمة p ما إذا كان أي من المعاملات قد يساوي صفرًا. تُحسب إحصائية t ببساطة على النحو التالي:ت=β^ج/σ^ج{\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}إذا كانت الأخطاء ε تتبع التوزيع الطبيعي، فإن t تتبع توزيع Student-t. في ظل شروط أضعف، يكون t طبيعيًا تقاربيًا. تشير القيم الكبيرة لـ t إلى إمكانية رفض الفرضية الصفرية وأن المعامل المقابل ليس صفرًا. يعبّر العمود الثاني، قيمة p ، عن نتائج اختبار الفرضية كمستوى دلالة . جرت العادة على اعتبار قيم p الأقل من 0.05 دليلًا على أن معامل المجتمع غير صفري.
  • معامل التحديد (R²) هو مؤشر على جودة مطابقة نموذج الانحدار. تساوي هذه القيمة واحدًا في حالة المطابقة التامة، وتساوي صفرًا عندما لا يكون للمتغيرات المستقلة X أي قدرة تفسيرية. هذا تقدير متحيز لقيمة R² للمجتمع الإحصائي ، ولن تنخفض أبدًا بإضافة متغيرات مستقلة أخرى، حتى لو كانت غير ذات صلة.
  • معامل التحديد المعدل (R-squared) هو نسخة معدلة قليلاً منR2{\displaystyle R^{2}}صُممت هذه الإحصائية لمعاقبة العدد الزائد من المتغيرات المستقلة التي لا تُضيف إلى القدرة التفسيرية للانحدار. وتكون هذه الإحصائية دائمًا أصغر منR2{\displaystyle R^{2}}، ويمكن أن تنخفض مع إضافة متغيرات جديدة، بل وقد تكون سالبة في حالة النماذج غير الملائمة:
R¯2=1-ن-1ن-ص(1-R2){\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}
  • يُحسب احتمال اللوغاريتم بافتراض أن الأخطاء تتبع التوزيع الطبيعي. ورغم أن هذا الافتراض ليس منطقياً تماماً، إلا أن هذه الإحصائية قد تجد لها فائدة في إجراء اختبارات نسبة الاحتمال.
  • يختبر إحصاء دوربين-واتسون ما إذا كان هناك أي دليل على وجود ارتباط تسلسلي بين البواقي. وكقاعدة عامة، فإن القيمة الأقل من 2 تشير إلى وجود ارتباط إيجابي.
  • يُستخدم كل من معيار معلومات أكايكي ومعيار شوارتز لاختيار النموذج . عمومًا، عند مقارنة نموذجين بديلين، تشير القيم الأصغر لأحد هذين المعيارين إلى نموذج أفضل. [ 36 ]
  • الخطأ المعياري للانحدار هو تقدير لـ σ ، وهو الخطأ المعياري لحد الخطأ.
  • يوضح لنا مجموع المربعات الكلي ، ومجموع مربعات النموذج ، ومجموع مربعات البواقي مقدار التباين الأولي في العينة الذي تم تفسيره بواسطة الانحدار.
  • يحاول إحصاء F اختبار فرضية أن جميع المعاملات (باستثناء الحد الثابت) تساوي صفرًا. يتبع هذا الإحصاء توزيع F ( p–1 , n–p ) في ظل الفرضية الصفرية وافتراض التوزيع الطبيعي، وتشير قيمة p الخاصة به إلى احتمال صحة الفرضية. تجدر الإشارة إلى أنه عندما لا تتبع الأخطاء التوزيع الطبيعي، يصبح هذا الإحصاء غير صالح، ويجب استخدام اختبارات أخرى مثل اختبار والد أو اختبار نسبة الاحتمال .
مخطط البواقي

غالبًا ما يتضمن تحليل المربعات الصغرى العادية استخدام مخططات تشخيصية مصممة للكشف عن انحرافات البيانات عن الشكل المفترض للنموذج. فيما يلي بعض المخططات التشخيصية الشائعة:

  • البواقي مقابل المتغيرات التفسيرية في النموذج. تشير العلاقة غير الخطية بين هذه المتغيرات إلى احتمال عدم صحة خطية دالة المتوسط ​​الشرطي. كما تشير مستويات التباين المختلفة في البواقي لمستويات مختلفة من المتغيرات التفسيرية إلى احتمال وجود تباين غير متجانس.
  • البواقي مقابل المتغيرات التفسيرية غير الموجودة في النموذج. أي علاقة بين البواقي وهذه المتغيرات من شأنها أن تشير إلى ضرورة النظر في إدراج هذه المتغيرات في النموذج.
  • البواقي مقابل القيم المتوقعة،y^{\displaystyle {\hat {y}}}.
  • مقارنة البواقي بالباقي السابق. قد يُظهر هذا الرسم البياني الارتباطات التسلسلية في البواقي.

من الاعتبارات المهمة عند إجراء الاستدلال الإحصائي باستخدام نماذج الانحدار، كيفية جمع البيانات. في هذا المثال، البيانات عبارة عن متوسطات وليست قياسات فردية للنساء. يُعدّ توافق النموذج جيدًا جدًا، لكن هذا لا يعني إمكانية التنبؤ بوزن أي امرأة بدقة عالية بناءً على طولها فقط.

الحساسية للتقريب

يوضح هذا المثال أيضًا أن المعاملات المُحددة بهذه الحسابات تتأثر بكيفية إعداد البيانات. كانت الارتفاعات مُقربة في الأصل إلى أقرب بوصة، ثم حُوّلت وقُرّبت إلى أقرب سنتيمتر. ولأن معامل التحويل هو بوصة واحدة لكل 2.54  سم، فإن هذا التحويل ليس دقيقًا. يمكن استعادة البوصات الأصلية باستخدام دالة Round(x/0.0254)، ثم إعادة تحويلها إلى النظام المتري دون تقريب. عند القيام بذلك، تصبح النتائج كالتالي:

الدستورارتفاعالارتفاع 2
تم تحويلها إلى النظام المتري مع التقريب.128.8128-143.16261.96033
تم التحويل إلى النظام المتري بدون تقريب.119.0205-131.507658.5046
البواقي الناتجة عن مطابقة تربيعية للبيانات المحولة بشكل صحيح وغير صحيح.

باستخدام أيٍّ من هاتين المعادلتين للتنبؤ بوزن امرأة طولها 1.6764 متر (5 أقدام و6 بوصات)، نحصل على قيم متقاربة: 62.94  كيلوغرامًا بعد التقريب، مقابل 62.98  كيلوغرامًا بدون تقريب. وبالتالي، فإن أي اختلاف يبدو طفيفًا في البيانات له تأثير حقيقي على المعاملات، ولكنه تأثير ضئيل على نتائج المعادلة.

في حين أن هذا قد يبدو غير ضار في منتصف نطاق البيانات، إلا أنه قد يصبح ذا أهمية كبيرة عند الأطراف أو في حالة استخدام النموذج المُلائم للتنبؤ خارج نطاق البيانات ( الاستقراء ).

يُسلّط هذا الضوء على خطأ شائع: هذا المثال يُعدّ إساءة استخدام لطريقة المربعات الصغرى العادية (OLS)، التي تتطلب بطبيعتها أن تكون الأخطاء في المتغير المستقل (الطول في هذه الحالة) معدومة أو على الأقل ضئيلة. يُشكّل التقريب الأولي لأقرب بوصة، بالإضافة إلى أي أخطاء قياس فعلية، خطأً محدودًا وغير ضئيل. ونتيجةً لذلك، فإنّ القيم المُقدّرة ليست أفضل التقديرات التي يُفترض أنها كذلك. مع أنّ الخطأ في التقدير ليس زائفًا تمامًا، إلا أنه سيعتمد على الحجم النسبي لأخطاء المحورين السيني والصادي .

مثال آخر ببيانات أقل واقعية

بيان المشكلة

يمكننا استخدام طريقة المربعات الصغرى لحساب معادلة مدار جسمين في الإحداثيات القطبية الأساسية. المعادلة المستخدمة عادةً هير(θ)=ص1-هـكوس⁡(θ){\displaystyle r(\theta )={\frac {p}{1-e\cos(\theta )}}}أينر(θ){\displaystyle r(\theta )}يمثل نصف القطر المسافة بين الجسم وأحد الأجسام. في المعادلة، المعاملاتص{\displaystyle p}وهـ{\displaystyle e}تُستخدم هذه البيانات لتحديد مسار المدار. وقد قمنا بقياس البيانات التالية.

θ{\displaystyle \theta }(بالدرجات)43455293108116
ر(θ){\displaystyle r(\theta )}4.71264.55424.04192.21871.89101.7599

نحتاج إلى إيجاد تقريب المربعات الصغرى لـهـ{\displaystyle e}وص{\displaystyle p}بالنسبة للبيانات المعطاة.

حل

أولاً، نحتاج إلى تمثيل e و p بصيغة خطية. لذلك سنعيد كتابة المعادلةر(θ){\displaystyle r(\theta )}مثل1ر(θ)=1ص-هـصكوس⁡(θ){\displaystyle {\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )}.

علاوة على ذلك، يمكن للمرء أن يناسب الجوانب عن طريق التوسيعكوس⁡(θ){\displaystyle \cos(\theta )}مع معلمة إضافية كـكوس⁡(θ-θ0)=كوس⁡(θ)كوس⁡(θ0)+الخطيئة⁡(θ)الخطيئة⁡(θ0){\displaystyle \cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})}، وهو خطي في كليهماكوس⁡(θ){\displaystyle \cos(\theta )}وفي دالة الأساس الإضافيةالخطيئة⁡(θ){\displaystyle \sin(\theta )}.

نستخدم الصيغة الأصلية ذات المعلمتين لتمثيل بياناتنا الرصدية على النحو التالي:

أتيأ(xy)=أتيب،{\displaystyle A^{T}A{\binom {x}{y}}=A^{T}b,}

أين:

x=1/ص{\displaystyle x=1/p\,}؛y=هـ/ص{\displaystyle y=e/p\,}؛أ{\displaystyle A}يحتوي على معاملات1/ص{\displaystyle 1/p}في العمود الأول، وجميعها تساوي 1، ومعاملاتهـ/ص{\displaystyle e/p}في العمود الثاني، المعطى بواسطةكوس⁡(θ){\displaystyle \cos(\theta )\,}؛ وب=1/ر(θ){\displaystyle b=1/r(\theta )}بحيث:

أ=[1-0.7313541-0.7071071-0.6156611 0.05233610.30901710.438371]،ب=[0.212200.219580.247410.450710.528830.56820].{\displaystyle A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}},\quad b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.}

عند حلها نحصل على(xy)=(0.434780.30435){\displaystyle {\binom {x}{y}}={\binom {0.43478}{0.30435}}\,}،

لذاص=1x=2.3000{\displaystyle p={\frac {1}{x}}=2.3000}وهـ=ص⋅y=0.70001{\displaystyle e=p\cdot y=0.70001}

انظر أيضاً

مراجع

  1. ↑ "أصول افتراضات المربعات الصغرى العادية" . عمود مميز . 1 مارس 2022. تاريخ الاسترجاع: 16 مايو 2024 .
  2. ↑ ما هي القائمة الكاملة للافتراضات المعتادة للانحدار الخطي؟ . تم التحقق من صحة البيانات . تم الاطلاع عليه بتاريخ 28-09-2022 .
  3. ↑ غولدبيرغر، آرثر س. ( 1964). "الانحدار الخطي الكلاسيكي" . النظرية الاقتصادية القياسية . نيويورك: جون وايلي وأولاده. ص 158. ISBN  0-471-31101-4.{{cite book}}عدم توافق رقم ISBN / التاريخ ( مساعدة )
  4. ↑ هاياشي، فوميو (2000). الاقتصاد القياسي . مطبعة جامعة برينستون. ص 15. ISBN  9780691010182.
  5. ↑ هاياشي (2000 ، الصفحة 18) .
  6. ↑ غيلاني، تشارلز د.؛ وولف، بول ر. (12 يونيو 2006). حسابات التعديل: تحليل البيانات المكانية . جون وايلي وأولاده. ISBN 9780471697282.
  7. ^ هوفمان-ويلنهوف، بيرنهارد. ليشتنيجر، هربرت؛ واصل ، إلمار (20 نوفمبر 2007). GNSS – الأنظمة العالمية للملاحة عبر الأقمار الصناعية: GPS، وGLONASS، وGalileo، والمزيد . سبرينغر. رقم ISBN 9783211730171.
  8. ↑ شو، غوتشانغ (5 أكتوبر 2007). نظام تحديد المواقع العالمي (GPS): النظرية والخوارزميات والتطبيقات . سبرينغر. ISBN 9783540727156.
  9. 1 2 هاياشي (2000 ، الصفحة 19)
  10. ↑ هوغلين، ديفيد سي؛ ويلش، روي إي. (1978). "مصفوفة القبعة في الانحدار وتحليل التباين" . الإحصائي الأمريكي . 32 (1): 17-22 . doi : 10.1080/00031305.1978.10479237 . hdl : 1721.1/1920 . ISSN 0003-1305 . 
  11. ↑ جوليان فاراواي (2000)، الانحدار العملي وتحليل التباين باستخدام لغة البرمجة R
  12. ↑ كيني، ج.؛ كيبينغ، إي إس (1963). رياضيات الإحصاء . فان نوستراند. ص 187. 
  13. ↑ زويلينجر، دانيال (1995). الجداول والصيغ الرياضية القياسية . تشابمان آند هول/سي آر سي. ص 626. ISBN  0-8493-2479-3.
  14. ↑ هاياشي (2000 ، الصفحة 20)
  15. ^ أكبرزاده، وهاب (7 مايو 2014). "تقدير الخط" .
  16. ↑ هاياشي (2000 ، صفحة 49)
  17. 1 2 هاياشي (2000 ، الصفحة 52)
  18. ↑ هاياشي (2000 ، الصفحة 10)
  19. ↑ تيبشيراني، روبرت (1996). "انكماش الانحدار والاختيار عبر طريقة لاسو". مجلة الجمعية الإحصائية الملكية، السلسلة ب . 58 (1): 267-288 . doi : 10.1111/j.2517-6161.1996.tb02080.x . JSTOR 2346178 . 
  20. ↑ إيفرون، برادلي؛ هاستي، تريفور؛ جونستون، إيان؛ تيبشيراني، روبرت (2004). "انحدار الزاوية الصغرى". حوليات الإحصاء . 32 (2): 407-451 . arXiv : math/0406456 . doi : 10.1214/009053604000000067 . JSTOR 3448465. S2CID 204004121 .  
  21. ↑ هوكينز، دوغلاس م. (1973). "حول دراسة الانحدارات البديلة باستخدام تحليل المكونات الرئيسية". مجلة الجمعية الإحصائية الملكية، السلسلة ج . 22 (3): 275-286 . doi : 10.2307/2346776 . JSTOR 2346776 . 
  22. ↑ جوليف، إيان ت. (1982). "ملاحظة حول استخدام المكونات الرئيسية في الانحدار". مجلة الجمعية الإحصائية الملكية، السلسلة ج . 31 (3): 300-303 . doi : 10.2307/2348005 . JSTOR 2348005 . 
  23. ↑ هاياشي (2000 ، الصفحات 27، 30)
  24. 1 2 3 هاياشي (2000 ، الصفحة 27)
  25. ↑ أميميا ، تاكيشي (1985). الاقتصاد القياسي المتقدم . مطبعة جامعة هارفارد. ص 13. ISBN  9780674005600.
  26. ↑ أميميا (1985 ، الصفحة 14)
  27. ↑ راو، سي آر (1973). الاستدلال الإحصائي الخطي وتطبيقاته ( الطبعة الثانية). نيويورك: جون وايلي وأولاده. ص 319. ISBN   0-471-70823-2.
  28. ↑ أميميا (1985 ، الصفحة 20)
  29. ↑ أميميا (1985 ، الصفحة 27)
  30. 1 2 ديفيدسون، راسل؛ ماكينون، جيمس ج. (1993). التقدير والاستدلال في الاقتصاد القياسي . نيويورك: مطبعة جامعة أكسفورد. ص 33. ISBN  0-19-506011-3.
  31. ↑ ديفيدسون وماكينون (1993 ، الصفحة 36)
  32. ↑ ديفيدسون وماكينون (1993 ، الصفحة 20)
  33. ↑ "تذكير بمخرجات برنامج EViews" (ملف PDF) . تم الاطلاع عليه بتاريخ 28 ديسمبر 2020 .
  34. ↑ أميميا (1985 ، الصفحة 21)
  35. 1 2 أميميا (1985 ، الصفحة 22)
  36. ↑ برنهام، كينيث ب.؛ أندرسون، ديفيد ر. (2002). اختيار النموذج والاستدلال متعدد النماذج (الطبعة الثانية ). سبرينغر. ISBN  0-387-95364-7.

للمزيد من القراءة