الانحدار الخطي البسيط

جزء من سلسلة عن
تحليل الانحدار
نماذج
الانحدار الخطي الانحدار البسيط الانحدار المتعدد الحدود النموذج الخطي العام
نموذج خطي معمم نموذج خطي معمم متجه اختيار منفصل الانحدار الثنائي الانحدار الثنائي الانحدار اللوجستي الانحدار اللوجستي المتعدد الحدود لوجيت مختلط بروبيت بروبيت متعدد الحدود تم ترتيب اللوجيت بروبيت مرتب سمكة
نموذج متعدد المستويات تأثيرات ثابتة تأثيرات عشوائية نموذج التأثيرات المختلطة الخطية نموذج التأثيرات المختلطة غير الخطية
الانحدار غير الخطي غير معياري شبه معلمية قوي كمية متساوي التوتر المكونات الرئيسية أقل زاوية محلي مجزأة
أخطاء في المتغيرات
تقدير
المربعات الصغرى خطي غير خطي
عادي موزون معمم معادلة التقدير المعممة
جزئي المجموع غير سلبي انحدار التلال منظم
أقل الانحرافات المطلقة تمت إعادة الترجيح بشكل متكرر بايزية متعدد المتغيرات البايزية التحليل الطيفي لأقل المربعات
خلفية
التحقق من صحة الانحدار المتوسط ​​والاستجابة المتوقعة الأخطاء والمخلفات جودة الملاءمة المتبقي من الدراسة نظرية جاوس-ماركوف
بوابة الرياضيات
ف ت هـ

في الإحصاء ، الانحدار الخطي البسيط ( SLR ) هو نموذج انحدار خطي بمتغير توضيحي واحد . ^{[1] [2] [3] [4] [5]} أي أنه يتعلق بنقاط عينة ثنائية الأبعاد بمتغير مستقل واحد ومتغير تابع واحد (تقليديًا، إحداثيات x و y في نظام إحداثيات ديكارت ) ويجد دالة خطية ( خط مستقيم غير عمودي ) تتنبأ بدقة قدر الإمكان بقيم المتغير التابع كدالة للمتغير المستقل. تشير الصفة بسيط إلى حقيقة أن متغير النتيجة مرتبط بمتنبئ واحد.

من الشائع وضع شرط إضافي مفاده أنه يجب استخدام طريقة المربعات الصغرى العادية (OLS): يتم قياس دقة كل قيمة متوقعة من خلال المتبقي التربيعي (المسافة الرأسية بين نقطة مجموعة البيانات والخط الملائم)، والهدف هو جعل مجموع هذه الانحرافات التربيعية صغيرًا قدر الإمكان. في هذه الحالة، يكون ميل الخط الملائم مساويًا للارتباط بين y و x المصحح بنسبة الانحرافات المعيارية لهذه المتغيرات. يكون تقاطع الخط الملائم بحيث يمر الخط عبر مركز كتلة ( x ، y ) لنقاط البيانات.

ضع في اعتبارك وظيفة النموذج

${\displaystyle y=\alpha +\beta x,}$

الذي يصف خطًا بميل β ونقطة تقاطع y α . بشكل عام، قد لا تكون هذه العلاقة صحيحة تمامًا بالنسبة لمجموعة القيم غير الملحوظة إلى حد كبير للمتغيرات المستقلة والتابعة؛ نطلق على الانحرافات غير الملحوظة عن المعادلة أعلاه الأخطاء . لنفترض أننا نلاحظ n زوجًا من البيانات ونسميها {( x _i , y _i ), i = 1, ..., n }. يمكننا وصف العلاقة الأساسية بين y _i و x _i التي تتضمن مصطلح الخطأ ε _i بواسطة

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

تسمى هذه العلاقة بين المعلمات الأساسية الحقيقية (ولكن غير الملحوظة) α و β ونقاط البيانات نموذج الانحدار الخطي.

الهدف هو إيجاد قيم تقديرية و للمعلمات α و β والتي من شأنها أن توفر "أفضل" ملاءمة بمعنى ما لنقاط البيانات. كما ذكر في المقدمة، في هذه المقالة سيتم فهم "أفضل" ملاءمة كما هو الحال في نهج المربعات الصغرى : خط يقلل من مجموع المتبقيات التربيعية (انظر أيضًا الأخطاء والمتبقيات ) (الاختلافات بين القيم الفعلية والمتوقعة للمتغير التابع y )، والتي يتم إعطاء كل منها بواسطة، لأي قيم معلمات مرشحة و ، ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$${\displaystyle {\widehat {\varepsilon }}_{i}}$${\displaystyle \alpha }$${\displaystyle \beta }$

${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}.}$

بمعنى آخر، حل مشكلة التقليل التالية : ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle ({\hat {\alpha }},\,{\hat {\beta }})=\operatorname {argmin} \left(Q(\alpha ,\beta )\right),}$

حيث أن دالة الهدف Q هي:

${\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ .}$

من خلال التوسع للحصول على تعبير تربيعي في ويمكننا استنتاج القيم الدنيا لحجج الدالة، والتي يشار إليها و : ^[6]${\displaystyle \alpha }$${\displaystyle \beta ,}$${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

$${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-({\widehat {\beta }}\,{\bar {x}}),\\[5pt]{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\Delta x_{i}\Delta y_{i}}{\sum _{i=1}^{n}\Delta x_{i}^{2}}}\end{aligned}}}$$

لقد قدمنا ​​هنا

المعادلات المذكورة أعلاه فعالة للاستخدام إذا كان متوسط ​​متغيري x وy ( ) معروفًا. إذا لم تكن المتوسطات معروفة في وقت الحساب، فقد يكون من الأكثر كفاءة استخدام النسخة الموسعة من المعادلات. يمكن اشتقاق هذه المعادلات الموسعة من معادلات الانحدار متعدد الحدود الأكثر عمومية ^{[7] [8]} من خلال تعريف متعدد حدود الانحدار ليكون من الدرجة 1، على النحو التالي. ${\displaystyle {\bar {x}}{\text{ and }}{\bar {y}}}$${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$

${\displaystyle {\begin{bmatrix}n&\sum _{i=1}^{n}x_{i}\\\sum _{i=1}^{n}x_{i}&\sum _{i=1}^{n}x_{i}^{2}\end{bmatrix}}{\begin{bmatrix}{\widehat {\alpha }}\\{\widehat {\beta }}\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}\\\sum _{i=1}^{n}y_{i}x_{i}\end{bmatrix}}}$

يمكن حل النظام أعلاه من المعادلات الخطية بشكل مباشر، أو يمكن اشتقاق معادلات مستقلة عن طريق توسيع معادلات المصفوفة أعلاه. المعادلات الناتجة معادلة جبريًا لتلك الموضحة في الفقرة السابقة، وهي موضحة أدناه دون إثبات. ^{[9] [7]}${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {\alpha }}={\frac {\sum _{i=1}^{n}y_{i}\sum _{i=1}^{n}x_{i}^{2}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}x_{i}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\[5pt]\\&\qquad {\widehat {\beta }}={\frac {n\sum _{i=1}^{n}x_{i}y_{i}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\&\qquad \end{aligned}}}$

يمكن إعادة صياغة الحل باستخدام عناصر مصفوفة التغاير : $${\displaystyle {\widehat {\beta }}={\frac {s_{x,y}}{s_{x}^{2}}}=r_{xy}{\frac {s_{y}}{s_{x}}}}$$

أين

يؤدي استبدال التعبيرات أعلاه بـ و في الحل الأصلي إلى ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle {\frac {y-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}.}$

يوضح هذا أن r _xy هو ميل خط الانحدار لنقاط البيانات القياسية (وأن هذا الخط يمر عبر الأصل). ومنذ ذلك الحين، نجد أنه إذا كان x عبارة عن قياس وكان y عبارة عن قياس متابعة من نفس العنصر، فإننا نتوقع أن يكون y (في المتوسط) أقرب إلى القياس المتوسط ​​مما كان عليه بالنسبة للقيمة الأصلية لـ x. تُعرف هذه الظاهرة بالانحدار نحو المتوسط . ${\displaystyle -1\leq r_{xy}\leq 1}$

بتعميم الترميز، يمكننا كتابة شريط أفقي فوق تعبير للإشارة إلى القيمة المتوسطة لهذا التعبير على مجموعة العينات. على سبيل المثال: ${\displaystyle {\bar {x}}}$

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$

يتيح لنا هذا الترميز الحصول على صيغة موجزة لـ r _xy :

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}.}$

معامل التحديد ("R تربيع") يساوي عندما يكون النموذج خطيًا مع متغير مستقل واحد. راجع معامل الارتباط النموذجي للحصول على تفاصيل إضافية. ${\displaystyle r_{xy}^{2}}$

عن طريق ضرب جميع عناصر المجموع في البسط بـ: (وبالتالي لا يتغير): ${\displaystyle {\begin{aligned}{\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}=1\end{aligned}}}$

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}=\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\\[6pt]\end{aligned}}}$

يمكننا أن نرى أن ميل (ظل الزاوية) لخط الانحدار هو المتوسط ​​المرجح لـ أي أن ميل (ظل الزاوية) للخط الذي يربط النقطة i بمتوسط ​​جميع النقاط، مرجحًا بـ لأنه كلما كانت النقطة أبعد كلما كانت "أكثر أهمية"، حيث أن الأخطاء الصغيرة في موضعها ستؤثر على الميل الذي يربطها بنقطة المركز بشكل أكبر. ${\displaystyle {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}$${\displaystyle (x_{i}-{\bar {x}})^{2}}$

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}},\\[5pt]\end{aligned}}}$

بالنظر إلى الزاوية التي يصنعها الخط مع المحور x الموجب، لدينا${\displaystyle {\widehat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\widehat {\beta }}}$${\displaystyle \theta }$${\displaystyle y_{\rm {intersection}}={\bar {y}}-dx\times {\widehat {\beta }}={\bar {y}}-dy}$

في الصيغة أعلاه، لاحظ أن كل قيمة ثابتة (معروفة مسبقًا)، بينما هي متغيرات عشوائية تعتمد على الدالة الخطية لـ والمصطلح العشوائي . يتم استخدام هذا الافتراض عند استنتاج الخطأ المعياري للميل وإظهار أنه غير متحيز . ${\displaystyle x_{i}}$${\displaystyle y_{i}}$${\displaystyle x_{i}}$${\displaystyle \varepsilon _{i}}$

في هذا الإطار، عندما لا يكون متغيرًا عشوائيًا فعليًا ، ما نوع المعلمة التي تقدرها الارتباطات التجريبية؟ المشكلة هي أنه لكل قيمة i سيكون لدينا: و . التفسير المحتمل لـ هو تخيل أن يحدد متغيرًا عشوائيًا مستمدًا من التوزيع التجريبي لقيم x في العينة الخاصة بنا. على سبيل المثال، إذا كان لدى x 10 قيم من الأعداد الطبيعية : [1،2،3...،10]، فيمكننا تخيل أن x توزيع موحد منفصل . بموجب هذا التفسير، يكون لدى الجميع نفس التوقع وبعض التباين الإيجابي. مع هذا التفسير يمكننا التفكير في كمقدر لارتباط بيرسون بين المتغير العشوائي y والمتغير العشوائي x (كما عرفناه للتو). ${\displaystyle x_{i}}$${\displaystyle r_{xy}}$${\displaystyle E(x_{i})=x_{i}}$${\displaystyle Var(x_{i})=0}$${\displaystyle r_{xy}}$${\displaystyle x_{i}}$${\displaystyle x_{i}}$${\displaystyle r_{xy}}$

يتطلب وصف الخصائص الإحصائية للمقدرين من تقديرات الانحدار الخطي البسيط استخدام نموذج إحصائي . يعتمد ما يلي على افتراض صحة النموذج الذي تكون التقديرات فيه مثالية. من الممكن أيضًا تقييم الخصائص تحت افتراضات أخرى، مثل عدم التجانس ، ولكن تمت مناقشة هذا في مكان آخر. ^{[ بحاجة لتوضيح ]}

المقدرون و غير متحيزين . ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

ولإضفاء الطابع الرسمي على هذا التأكيد، يتعين علينا تحديد إطار عمل تكون فيه هذه التقديرات متغيرات عشوائية. ونعتبر المتبقيات ε _i متغيرات عشوائية مرسومة بشكل مستقل عن بعض التوزيعات بمتوسط ​​يساوي صفرًا. بعبارة أخرى، لكل قيمة من قيم x ، يتم توليد القيمة المقابلة لقيم y كمتوسط ​​استجابة α + βx بالإضافة إلى متغير عشوائي إضافي ε يسمى مصطلح الخطأ ، يساوي صفرًا في المتوسط. وبموجب هذا التفسير، تكون تقديرات المربعات الصغرى و متغيرات عشوائية تساوي متوسطاتها "القيم الحقيقية" α و β . وهذا هو تعريف المقدر غير المتحيز. ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

نظرًا لأن البيانات في هذا السياق محددة على أنها أزواج ( x ، y ) لكل ملاحظة، فإن متوسط ​​الاستجابة عند قيمة معينة لـ x ، لنقل x _d ، هو تقدير لمتوسط ​​قيم y في السكان عند قيمة x لـ x _d ، أي . يتم إعطاء تباين متوسط ​​الاستجابة بواسطة: ^[11]${\displaystyle {\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!}$

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).}$

يمكن تبسيط هذا التعبير إلى

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),}$

حيث m هو عدد نقاط البيانات.

ولإثبات هذا التبسيط، يمكننا الاستفادة من الهوية

${\displaystyle \sum (x_{i}-{\bar {x}})^{2}=\sum x_{i}^{2}-{\frac {1}{m}}\left(\sum x_{i}\right)^{2}.}$

توزيع الاستجابة المتوقع هو التوزيع المتوقع للبقايا عند النقطة المعطاة x _d . لذا فإن التباين يُعطى بواسطة

${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right).\end{aligned}}}$

يأتي السطر الثاني نتيجة لحقيقة أن القيمة تساوي صفرًا لأن نقطة التنبؤ الجديدة مستقلة عن البيانات المستخدمة لتناسب النموذج. بالإضافة إلى ذلك، تم حساب المصطلح سابقًا للاستجابة المتوسطة. ${\displaystyle \operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)}$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)}$

نظرًا لأن (معلمة ثابتة ولكن غير معروفة يمكن تقديرها)، فإن تباين الاستجابة المتوقعة يُعطى بواسطة ${\displaystyle \operatorname {Var} (y_{d})=\sigma ^{2}}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\sigma ^{2}+\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)\\[4pt]&=\sigma ^{2}\left(1+{\frac {1}{m}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right).\end{aligned}}}$

تسمح الصيغ الواردة في القسم السابق بحساب تقديرات النقاط لـ α و β - أي معاملات خط الانحدار لمجموعة البيانات المعطاة. ومع ذلك، لا تخبرنا هذه الصيغ بمدى دقة التقديرات، أي إلى أي مدى تختلف المقدرات و من عينة إلى أخرى لحجم العينة المحدد. تم ابتكار فترات الثقة لإعطاء مجموعة معقولة من القيم للتقديرات التي قد تكون لدينا إذا كررنا التجربة عددًا كبيرًا جدًا من المرات. ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

تعتمد الطريقة القياسية لبناء فترات الثقة لمعاملات الانحدار الخطي على افتراض الطبيعية، والذي يكون مبررًا إذا:

1. يتم توزيع الأخطاء في الانحدار بشكل طبيعي (ما يسمى بافتراض الانحدار الكلاسيكي )، أو
2. عدد الملاحظات n كبير بما فيه الكفاية، وفي هذه الحالة يكون المقدر موزعًا بشكل طبيعي تقريبًا.

ويتم تبرير الحالة الأخيرة من خلال نظرية الحد المركزي .

بموجب الافتراض الأول أعلاه، وهو الافتراض الخاص بتوزيع حدود الخطأ، فإن مقدر معامل الميل نفسه سيكون موزعًا بشكل طبيعي مع متوسط ​​β وتباين حيث σ ² هو تباين حدود الخطأ (انظر الإثباتات التي تتضمن المربعات الصغرى العادية ). وفي الوقت نفسه، يتم توزيع مجموع المتبقيات التربيعية Q بشكل متناسب مع χ ² مع n − 2 درجة حرية، وبشكل مستقل عن . وهذا يسمح لنا ببناء قيمة t${\displaystyle \sigma ^{2}\left/\sum (x_{i}-{\bar {x}})^{2}\right.,}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle t={\frac {{\widehat {\beta }}-\beta }{s_{\widehat {\beta }}}}\ \sim \ t_{n-2},}$

أين

${\displaystyle s_{\widehat {\beta }}={\sqrt {\frac {{\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$

هو مقدر الخطأ المعياري غير المتحيز للمقدر . ${\displaystyle {\widehat {\beta }}}$

تتمتع هذه القيمة t بتوزيع t للطلاب مع n − 2 درجة حرية. وباستخدامها يمكننا إنشاء فاصل ثقة لـ β :

${\displaystyle \beta \in \left[{\widehat {\beta }}-s_{\widehat {\beta }}t_{n-2}^{*},\ {\widehat {\beta }}+s_{\widehat {\beta }}t_{n-2}^{*}\right],}$

عند مستوى الثقة (1 − γ ) ، حيث هو النسبة المئوية لتوزيع t _{n −2} . على سبيل المثال، إذا كانت γ = 0.05 ، فإن مستوى الثقة هو 95%. ${\displaystyle t_{n-2}^{*}}$${\displaystyle \scriptstyle \left(1\;-\;{\frac {\gamma }{2}}\right){\text{-th}}}$

وبالمثل، يتم إعطاء الفاصل الزمني للثقة لمعامل التقاطع α بواسطة

${\displaystyle \alpha \in \left[{\widehat {\alpha }}-s_{\widehat {\alpha }}t_{n-2}^{*},\ {\widehat {\alpha }}+s_{\widehat {\alpha }}t_{n-2}^{*}\right],}$

عند مستوى الثقة (1 − γ )، حيث

${\displaystyle s_{\widehat {\alpha }}=s_{\widehat {\beta }}{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\frac {1}{n(n-2)}}\left(\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}}$

تعطينا فترات الثقة لـ α و β فكرة عامة عن المكان الذي من المرجح أن تكون فيه معاملات الانحدار هذه. على سبيل المثال، في انحدار قانون أوكون الموضح هنا، تكون تقديرات النقاط

${\displaystyle {\widehat {\alpha }}=0.859,\qquad {\widehat {\beta }}=-1.817.}$

فترات الثقة 95٪ لهذه التقديرات هي

${\displaystyle \alpha \in \left[\,0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\,\right].}$

لتمثيل هذه المعلومات بيانياً، في شكل نطاقات الثقة حول خط الانحدار، يتعين علينا المضي قدماً بحذر وحساب التوزيع المشترك للمقدرين. ويمكن إظهار ^[12] أنه عند مستوى الثقة (1 −  γ ) فإن نطاق الثقة له شكل زائدي كما هو موضح بالمعادلة

${\displaystyle (\alpha +\beta \xi )\in \left[\,{\widehat {\alpha }}+{\widehat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\widehat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\,\right].}$

عندما افترض النموذج أن نقطة التقاطع ثابتة وتساوي 0 ( )، يتحول الخطأ المعياري للميل إلى: ${\displaystyle \alpha =0}$

${\displaystyle s_{\widehat {\beta }}={\sqrt {{\frac {1}{n-1}}{\frac {\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}x_{i}^{2}}}}}}$

مع:${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}}$

تنص الافتراضات البديلة الثانية على أنه عندما يكون عدد النقاط في مجموعة البيانات "كبيرًا بدرجة كافية"، يصبح قانون الأعداد الكبيرة ونظرية الحد المركزي قابلين للتطبيق، ومن ثم يكون توزيع المقدرين طبيعيًا تقريبًا. بموجب هذا الافتراض، تظل جميع الصيغ المشتقة في القسم السابق صالحة، مع الاستثناء الوحيد الذي يتم فيه استبدال الكمية t* _{n −2 لتوزيع} t الخاص بـ Student بالكمية q* للتوزيع الطبيعي القياسي . في بعض الأحيان، يكون الكسر ⁠1/ن −2تم استبداله بـ1/نعندما تكون قيمة n كبيرة فإن مثل هذا التغيير لا يغير النتائج بشكل ملحوظ.

تقدم مجموعة البيانات هذه متوسط ​​كتلة الجسم لدى النساء كدالة لطولهن في عينة من النساء الأمريكيات في سن 30-39 عامًا. وعلى الرغم من أن مقال OLS يزعم أنه سيكون من الأنسب إجراء انحدار تربيعي لهذه البيانات، فإن نموذج الانحدار الخطي البسيط يُطبق هنا بدلاً من ذلك.

الارتفاع ( م ) ×	1.47	1.50	1.52	1.55	1.57	1.60	1.63	1.65	1.68	1.70	1.73	1.75	1.78	1.80	1.83
الكتلة ( كجم )	52.21	53.12	54.48	55.84	57.20	58.57	59.93	61.29	63.11	64.47	66.28	68.10	69.92	72.19	74.46

${\displaystyle i}$	${\displaystyle x_{i}}$	${\displaystyle y_{i}}$	${\displaystyle x_{i}^{2}}$	${\displaystyle x_{i}y_{i}}$	${\displaystyle y_{i}^{2}}$
1	1.47	52.21	2.1609	76.7487	2725.8841
2	1.50	53.12	2.2500	79.6800	2821.7344
3	1.52	54.48	2.3104	82.8096	2968.0704
4	1.55	55.84	2.4025	86.5520	3118.1056
5	1.57	57.20	2.4649	89.8040	3271.8400
6	1.60	58.57	2.5600	93.7120	3430.4449
7	1.63	59.93	2.6569	97.6859	3591.6049
8	1.65	61.29	2.7225	101.1285	3756.4641
9	1.68	63.11	2.8224	106.0248	3982.8721
10	1.70	64.47	2.8900	109.5990	4156.3809
11	1.73	66.28	2.9929	114.6644	4393.0384
12	1.75	68.10	3.0625	119.1750	4637.6100
13	1.78	69.92	3.1684	124.4576	4888.8064
14	1.80	72.19	3.2400	129.9420	5211.3961
15	1.83	74.46	3.3489	136.2618	5544.2916
${\displaystyle \Sigma }$	24.76	931.17	41.0532	1548.2453	58498.5439

يوجد n = 15 نقطة في مجموعة البيانات هذه. يمكن بدء الحسابات اليدوية من خلال إيجاد المجاميع الخمسة التالية:

${\displaystyle {\begin{aligned}S_{x}&=\sum x_{i}\,=24.76,\qquad S_{y}=\sum y_{i}\,=931.17,\\[5pt]S_{xx}&=\sum x_{i}^{2}=41.0532,\;\;\,S_{yy}=\sum y_{i}^{2}=58498.5439,\\[5pt]S_{xy}&=\sum x_{i}y_{i}=1548.2453\end{aligned}}}$

سيتم استخدام هذه الكميات لحساب تقديرات معاملات الانحدار، وأخطائها المعيارية.

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}=61.272\\[8pt]{\widehat {\alpha }}&={\frac {1}{n}}S_{y}-{\widehat {\beta }}{\frac {1}{n}}S_{x}=-39.062\\[8pt]s_{\varepsilon }^{2}&={\frac {1}{n(n-2)}}\left[nS_{yy}-S_{y}^{2}-{\widehat {\beta }}^{2}(nS_{xx}-S_{x}^{2})\right]=0.5762\\[8pt]s_{\widehat {\beta }}^{2}&={\frac {ns_{\varepsilon }^{2}}{nS_{xx}-S_{x}^{2}}}=3.1539\\[8pt]s_{\widehat {\alpha }}^{2}&=s_{\widehat {\beta }}^{2}{\frac {1}{n}}S_{xx}=8.63185\end{aligned}}}$

النسبة المئوية 0.975 لتوزيع t- الخاص بالطالب مع 13 درجة حرية هي t ^* ₁₃ = 2.1604 ، وبالتالي فإن فترات الثقة 95% لـ α و β هي

${\displaystyle {\begin{aligned}&\alpha \in [\,{\widehat {\alpha }}\mp t_{13}^{*}s_{\alpha }\,]=[\,{-45.4},\ {-32.7}\,]\\[5pt]&\beta \in [\,{\widehat {\beta }}\mp t_{13}^{*}s_{\beta }\,]=[\,57.4,\ 65.1\,]\end{aligned}}}$

يمكن أيضًا حساب معامل ارتباط المنتج اللحظي :

${\displaystyle {\widehat {r}}={\frac {nS_{xy}-S_{x}S_{y}}{\sqrt {(nS_{xx}-S_{x}^{2})(nS_{yy}-S_{y}^{2})}}}=0.9946}$

في SLR، هناك افتراض أساسي مفاده أن المتغير التابع فقط يحتوي على خطأ القياس؛ إذا تم قياس المتغير التوضيحي أيضًا بخطأ، فإن الانحدار البسيط غير مناسب لتقدير العلاقة الأساسية لأنه سيكون متحيزًا بسبب تخفيف الانحدار .

تتضمن طرق التقدير الأخرى التي يمكن استخدامها بدلاً من المربعات الصغرى العادية أقل الانحرافات المطلقة (تقليل مجموع القيم المطلقة للمخلفات) ومقدر ثيل-سين (الذي يختار خطًا يكون ميله هو متوسط ​​المنحدرات التي تحددها أزواج من نقاط العينة).

يجد انحدار ديمينغ (إجمالي المربعات الدنيا) أيضًا خطًا يناسب مجموعة من نقاط العينة ثنائية الأبعاد، ولكن (على عكس المربعات الدنيا العادية، والانحرافات المطلقة الدنيا، وانحدار المنحدر المتوسط) فإنه ليس في الحقيقة مثالًا للانحدار الخطي البسيط، لأنه لا يفصل الإحداثيات إلى متغير تابع واحد ومتغير مستقل واحد، وقد يعيد خطًا رأسيًا كملاءمته. يمكن أن يؤدي ذلك إلى نموذج يحاول ملاءمة القيم المتطرفة أكثر من البيانات.

في بعض الأحيان يكون من المناسب إجبار خط الانحدار على المرور عبر الأصل، لأن x و y يُفترض أنهما متناسبان. بالنسبة للنموذج بدون حد التقاطع، y = βx ، فإن مقدر المربعات الصغرى العادية لـ β يبسط إلى

${\displaystyle {\widehat {\beta }}={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}}$

يؤدي استبدال ( x − h , y − k ) بدلاً من ( x , y ) إلى الانحدار عبر ( h , k ) :

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-h)(y_{i}-k)}{\sum _{i=1}^{n}(x_{i}-h)^{2}}}={\frac {\overline {(x-h)(y-k)}}{\overline {(x-h)^{2}}}}\\[6pt]&={\frac {{\overline {xy}}-k{\bar {x}}-h{\bar {y}}+hk}{{\overline {x^{2}}}-2h{\bar {x}}+h^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}+({\bar {x}}-h)({\bar {y}}-k)}{{\overline {x^{2}}}-{\bar {x}}^{2}+({\bar {x}}-h)^{2}}}\\[6pt]&={\frac {\operatorname {Cov} (x,y)+({\bar {x}}-h)({\bar {y}}-k)}{\operatorname {Var} (x)+({\bar {x}}-h)^{2}}},\end{aligned}}}$

حيث يشير Cov وVar إلى التباين والاختلاف في بيانات العينة (غير المصححة بسبب التحيز). يوضح الشكل الأخير أعلاه كيف يؤثر تحريك الخط بعيدًا عن مركز كتلة نقاط البيانات على المنحدر.

• مصفوفة التصميم#الانحدار الخطي البسيط
• تقدير الاتجاه الخطي
• الانحدار المقطعي الخطي
• الإثباتات التي تتضمن المربعات الصغرى العادية — اشتقاق جميع الصيغ المستخدمة في هذه المقالة في حالة متعددة الأبعاد بشكل عام
• مقدر نيوي-ويست

• شرح Wolfram MathWorld لطريقة الملاءمة باستخدام المربعات الصغرى، وكيفية حسابها
• رياضيات الانحدار البسيط (روبرت ناو، جامعة ديوك)