الانحدار الخطي

• ${\displaystyle \mathbf {y} }$هو متجه من القيم المرصودة${\displaystyle y_{i}\ (i=1,\ldots ,n)}$يُطلق على المتغير اسم المتغير التابع ، أو المتغير الداخلي ، أو متغير الاستجابة ، أو المتغير المستهدف ، أو المتغير المقاس ، أو متغير المعيار ، أو المتغير التابع . يُعرف هذا المتغير أحيانًا بالمتغير المتوقع ، ولكن يجب عدم الخلط بينه وبين القيم المتوقعة ، والتي يُشار إليها بـ${\displaystyle {\hat {y}}}$قد يُبنى قرار تحديد المتغير التابع والمتغيرات المستقلة في مجموعة البيانات على افتراض أن قيمة أحد المتغيرات ناتجة عن المتغيرات الأخرى أو متأثرة بها بشكل مباشر. أو قد يكون هناك سبب عملي لنمذجة أحد المتغيرات بدلالة المتغيرات الأخرى، وفي هذه الحالة لا يُشترط افتراض وجود علاقة سببية.
• ${\displaystyle \mathbf {X} }$يمكن اعتبارها مصفوفة من متجهات الصفوف${\displaystyle \mathbf {x} _{i\cdot }}$أو من متجهات عمودية ذات أبعاد n${\displaystyle \mathbf {x} _{\cdot j}}$والتي تُعرف باسم المتغيرات المستقلة ، أو المتغيرات الخارجية ، أو المتغيرات التفسيرية ، أو المتغيرات المصاحبة ، أو متغيرات الإدخال ، أو المتغيرات التنبؤية ، أو المتغيرات المستقلة (لا ينبغي الخلط بينها وبين مفهوم المتغيرات العشوائية المستقلة ). المصفوفة${\displaystyle \mathbf {X} }$يُطلق عليها أحيانًا اسم مصفوفة التصميم .
  • عادةً ما يتم تضمين ثابت كأحد المتغيرات المستقلة. على وجه الخصوص،${\displaystyle x_{i0}=1}$ل${\displaystyle i=1,\ldots ,n}$يُطلق على العنصر المقابل لـ β اسم الحد الثابت . تتطلب العديد من إجراءات الاستدلال الإحصائي للنماذج الخطية وجود حد ثابت، لذلك غالبًا ما يتم تضمينه حتى لو أشارت الاعتبارات النظرية إلى أن قيمته يجب أن تكون صفرًا.
  • أحيانًا، قد يكون أحد المتغيرات المستقلة دالة غير خطية لمتغير مستقل آخر أو لقيم البيانات، كما هو الحال في الانحدار متعدد الحدود والانحدار المجزأ . ويبقى النموذج خطيًا طالما أنه خطي في متجه المعاملات β .
  • يمكن النظر إلى القيم x_{_ij} إما كقيم مُلاحظة للمتغيرات العشوائية X_{_j} أو كقيم ثابتة مُختارة قبل مُلاحظة المتغير التابع. قد يكون كلا التفسيرين مناسبًا في حالات مُختلفة، ويؤديان عمومًا إلى نفس إجراءات التقدير؛ ومع ذلك، تُستخدم مناهج مُختلفة للتحليل التقاربي في هاتين الحالتين.
• ${\displaystyle {\boldsymbol {\beta }}}$هو${\displaystyle (p+1)}$متجه المعاملات ذو الأبعاد n ، حيث${\displaystyle \beta _{0}}$يمثل الحد الثابت (إذا تم تضمينه في النموذج - وإلا${\displaystyle {\boldsymbol {\beta }}}$(مصفوفة ذات أبعاد p ). تُعرف عناصرها بالتأثيرات أو معاملات الانحدار (مع أن المصطلح الأخير يُستخدم أحيانًا للإشارة إلى التأثيرات المُقدَّرة ). في الانحدار الخطي البسيط ، p = 1، ويُعرف المعامل بميل الانحدار.يركز التقدير والاستدلال الإحصائي في الانحدار الخطي على β . تُفسر عناصر متجه المعلمات هذا على أنها المشتقات الجزئية للمتغير التابع بالنسبة للمتغيرات المستقلة المختلفة.
• ${\displaystyle {\boldsymbol {\varepsilon }}}$هو متجه من القيم${\displaystyle \varepsilon _{i}}$يُطلق على هذا الجزء من النموذج اسم حد الخطأ ، أو حد الاضطراب ، أو أحيانًا الضوضاء (مقارنةً بـ "الإشارة" التي يوفرها باقي النموذج). يُغطي هذا المتغير جميع العوامل الأخرى التي تؤثر على المتغير التابع y باستثناء المتغيرات المستقلة x . وتُعد العلاقة بين حد الخطأ والمتغيرات المستقلة، مثل معامل الارتباط بينهما ، عاملاً حاسماً في صياغة نموذج الانحدار الخطي، إذ أنها تُحدد طريقة التقدير المناسبة.

يتطلب تركيب نموذج خطي لمجموعة بيانات معينة عادةً تقدير معاملات الانحدار.${\displaystyle {\boldsymbol {\beta }}}$بحيث يكون حد الخطأ${\displaystyle {\boldsymbol {\varepsilon}}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$يتم تقليلها إلى الحد الأدنى. على سبيل المثال، من الشائع استخدام مجموع مربعات الأخطاء${\displaystyle \|{\boldsymbol {\varepsilon }}\|_{2}^{2}}$كمقياس لـ${\displaystyle {\boldsymbol {\varepsilon }}}$لتقليل التكاليف.

لنفترض حالة تُقذف فيها كرة صغيرة في الهواء، ثم نقيس ارتفاعها hᵢ في لحظات زمنية مختلفة tᵢ _. يخبرنا علم الفيزياء أنه بإهمال مقاومة الهواء ، يمكن نمذجة العلاقة على النحو التالي _:

${\displaystyle h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},}$

حيث تحدد β₁ السرعة الابتدائية للكرة، _{وβ₂ تتناسب مع الجاذبية الأرضية، وεᵢ ناتجة} عن أخطاء القياس . _يمكن استخدام الانحدار الخطي لتقدير قيم β₁ و β₂ من البيانات المقاسة. هذا النموذج غير خطي بالنسبة لمتغير الزمن، ولكنه خطي بالنسبة للمعاملين β₁ _و β₂ _؛ إذا _أخذنا المتغيرات المستقلة xᵢ ₌ ( xᵢ₁ _, xᵢ₂ ₎ = ( tᵢ , _{tᵢ₂ )} ، فإن _{النموذج} يأخذ ^الشكل _{القياسي .}    

${\displaystyle h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.}$

عند تقدير معلمات نماذج الانحدار الخطي باستخدام تقنيات التقدير القياسية، مثل طريقة المربعات الصغرى العادية ، من الضروري وضع عدد من الافتراضات حول المتغيرات التنبؤية والمتغير التابع وعلاقتهما، وذلك للحصول على مُقدِّرات غير متحيزة في العينات المحدودة . وقد طُوِّرت العديد من الامتدادات التي تسمح بتخفيف كل من هذه الافتراضات (أي اختزالها إلى صيغة أضعف)، وفي بعض الحالات إلغاؤها تمامًا. وعمومًا، تتطلب هذه الامتدادات المزيد من البيانات أو افتراضات النمذجة لإنتاج نموذج دقيق بنفس القدر ^{[ 5 ]} .

يمكن استخدام نموذج الانحدار الخطي المُلائم لتحديد العلاقة بين متغير تنبؤي واحد x_{_j} والمتغير التابع y، مع تثبيت جميع المتغيرات التنبؤية الأخرى في النموذج. وبالتحديد، يُفسَّر β_{_j} على أنه التغير المتوقع في y لتغير وحدة واحدة في x_{_j} عند تثبيت المتغيرات المستقلة الأخرى، أي القيمة المتوقعة للمشتقة الجزئية لـ y بالنسبة إلى x _{_j}. يُطلق على هذا أحيانًا اسم التأثير الفريد لـ x_{_j} على y . في المقابل، يمكن تقييم التأثير الهامشي لـ x_{_j} على y باستخدام معامل الارتباط أو نموذج انحدار خطي بسيط يربط x_{_j} بـ y فقط ؛ وهذا التأثير هو المشتقة الكلية لـ y بالنسبة إلى x_{_j} .

يجب توخي الحذر عند تفسير نتائج الانحدار، حيث أن بعض المتغيرات المستقلة قد لا تسمح بالتغييرات الهامشية (مثل المتغيرات الوهمية ، أو الحد الثابت)، في حين لا يمكن تثبيت البعض الآخر (تذكر المثال من المقدمة: سيكون من المستحيل "تثبيت t _i " وفي نفس الوقت تغيير قيمة t _i ² ).

من الممكن أن يكون التأثير الفريد شبه معدوم حتى عندما يكون التأثير الهامشي كبيرًا. قد يعني هذا أن متغيرًا مصاحبًا آخر يستحوذ على جميع المعلومات في xj _، بحيث بمجرد إدخال هذا المتغير في النموذج، لا يكون لـ xj أي مساهمة في التباين في _y . في المقابل، قد يكون التأثير الفريد لـ _xj كبيرًا بينما يكون تأثيره الهامشي شبه معدوم. يحدث هذا إذا فسرت المتغيرات المصاحبة الأخرى جزءًا كبيرًا من تباين y ، لكنها تفسر التباين بشكل أساسي بطريقة مكملة لما يستحوذ عليه xj . في هذه الحالة، يؤدي تضمين المتغيرات الأخرى في النموذج إلى تقليل جزء تباين y غير المرتبط بـ _{xj ،} مما يعزز العلاقة الظاهرة مع xj _.

قد يختلف معنى عبارة "تثبيت القيم" باختلاف كيفية ظهور قيم المتغيرات التنبؤية. فإذا قام الباحث بتحديد قيم المتغيرات التنبؤية مباشرةً وفقًا لتصميم الدراسة، فقد تكون المقارنات محل الاهتمام هي مقارنات بين وحدات تم تثبيت قيم متغيراتها التنبؤية من قِبل الباحث. في المقابل، قد تشير عبارة "تثبيت القيم" إلى عملية اختيار تتم في سياق تحليل البيانات. في هذه الحالة، نقوم بتثبيت قيمة متغير ما من خلال حصر اهتمامنا على مجموعات فرعية من البيانات التي تشترك في قيمة واحدة للمتغير التنبؤي المحدد. هذا هو التفسير الوحيد لعبارة "تثبيت القيم" الذي يمكن استخدامه في دراسة رصدية .

يُعدّ مفهوم "التأثير الفريد" جذابًا عند دراسة نظام معقد تتداخل فيه مكونات متعددة تؤثر على المتغير التابع. في بعض الحالات، يمكن تفسيره حرفيًا على أنه التأثير السببي لتدخل ما، والمرتبط بقيمة متغير تنبؤي. مع ذلك، يُجادل البعض بأن تحليل الانحدار المتعدد غالبًا ما يفشل في توضيح العلاقات بين المتغيرات التنبؤية والمتغير التابع عندما تكون هذه المتغيرات مرتبطة ببعضها البعض، ولا تُحدد وفقًا لتصميم الدراسة. ^{[ 6 ]}

تُعرف أبسط حالات الانحدار الخطي البسيط بوجود متغير تنبؤي عددي واحد x ومتغير استجابة عددي واحد y . أما الانحدار الخطي المتعدد، أو الانحدار الخطي متعدد المتغيرات ( مع مراعاة عدم الخلط بينه وبين الانحدار الخطي متعدد المتغيرات )، فيُعرف بامتداده إلى متغيرات تنبؤية متعددة و/أو متجهة (يُرمز لها بالحرف X الكبير) . ^{[ 7 ]}

الانحدار الخطي المتعدد هو تعميم للانحدار الخطي البسيط ليشمل حالة وجود أكثر من متغير مستقل، وهو حالة خاصة من النماذج الخطية العامة، ويقتصر على متغير تابع واحد. النموذج الأساسي للانحدار الخطي المتعدد هو

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}}$

لكل ملاحظة${\textstyle i=1,\ldots ,n}$.

في الصيغة أعلاه، نأخذ في الاعتبار n مشاهدة لمتغير تابع واحد و p متغيرات مستقلة. بالتالي، Yᵢ _هي المشاهدة ^رقم i للمتغير التابع، _و Xᵢⱼ هي ^{المشاهدة رقم} i للمتغير المستقل ^رقم j ، حيث j = 1، 2، ...، p . تمثل القيم βⱼ المعلمات المراد تقديرها، و εᵢ هو ^{الخطأ المستقل رقم} i _{ذو التوزيع} الطبيعي المتطابق.

في الانحدار الخطي متعدد المتغيرات الأكثر عمومية، توجد معادلة واحدة بالشكل المذكور أعلاه لكل متغير تابع من بين m > 1 تشترك في نفس مجموعة المتغيرات التفسيرية، وبالتالي يتم تقديرها في وقت واحد مع بعضها البعض:

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}}$

لجميع الملاحظات المفهرسة كـ i = 1، ...، n ولجميع المتغيرات التابعة المفهرسة كـ j = 1، ...، m .

تتضمن جميع نماذج الانحدار في العالم الحقيقي تقريبًا عدة متغيرات تنبؤية، وغالبًا ما تُصاغ الأوصاف الأساسية للانحدار الخطي باستخدام نموذج الانحدار المتعدد. مع ذلك، تجدر الإشارة إلى أن المتغير التابع y في هذه الحالات يظل قيمة عددية. أما مصطلح الانحدار الخطي متعدد المتغيرات ، فيشير إلى الحالات التي يكون فيها y متجهًا، أي كما هو الحال في الانحدار الخطي العام .

يأخذ النموذج الخطي العام في الاعتبار الحالة التي لا يكون فيها المتغير التابع قيمة عددية (لكل مشاهدة) بل متجهًا، yᵢ _. الخطية الشرطية لـ${\displaystyle E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B}$لا يزال هذا الافتراض قائماً، حيث تحل المصفوفة B محل المتجه β في نموذج الانحدار الخطي الكلاسيكي. وقد طُوّرت نظائر متعددة المتغيرات لطريقة المربعات الصغرى العادية (OLS) وطريقة المربعات الصغرى المعممة (GLS). تُسمى "النماذج الخطية العامة" أيضاً "النماذج الخطية متعددة المتغيرات". وهي تختلف عن النماذج الخطية متعددة المتغيرات (وتُسمى أيضاً "النماذج الخطية المتعددة").

تم تطوير نماذج متنوعة تسمح بوجود تباين غير متجانس ، أي أن أخطاء متغيرات الاستجابة المختلفة قد يكون لها تباينات مختلفة . على سبيل المثال، تُعدّ طريقة المربعات الصغرى الموزونة طريقةً لتقدير نماذج الانحدار الخطي عندما يكون لمتغيرات الاستجابة تباينات خطأ مختلفة، وربما تكون الأخطاء مترابطة. (انظر أيضًا: طريقة المربعات الصغرى الخطية الموزونة ، وطريقة المربعات الصغرى المعممة ). أما طريقة الأخطاء المعيارية المتسقة مع التباين غير المتجانس فهي طريقة محسّنة للاستخدام مع الأخطاء غير المترابطة ولكن التي قد تكون ذات تباين غير متجانس.

يُعدّ النموذج الخطي المعمم (GLM) إطارًا لنمذجة متغيرات الاستجابة المحدودة أو المنفصلة. ويُستخدم هذا النموذج، على سبيل المثال:

• عند نمذجة الكميات الموجبة (مثل الأسعار أو السكان) التي تختلف على نطاق واسع - والتي يتم وصفها بشكل أفضل باستخدام توزيع ملتوٍ مثل التوزيع اللوغاريتمي الطبيعي أو توزيع بواسون (على الرغم من أن النماذج الخطية المعممة لا تستخدم لبيانات التوزيع اللوغاريتمي الطبيعي، بدلاً من ذلك يتم تحويل متغير الاستجابة ببساطة باستخدام دالة اللوغاريتم)؛
• عند نمذجة البيانات الفئوية ، مثل اختيار مرشح معين في الانتخابات (والتي من الأفضل وصفها باستخدام توزيع برنولي / التوزيع ذي الحدين للاختيارات الثنائية، أو التوزيع الفئوي / التوزيع متعدد الحدود للاختيارات متعددة الاتجاهات)، حيث يوجد عدد ثابت من الخيارات التي لا يمكن ترتيبها بشكل ذي معنى؛
• عند نمذجة البيانات الترتيبية ، على سبيل المثال التقييمات على مقياس من 0 إلى 5، حيث يمكن ترتيب النتائج المختلفة ولكن حيث قد لا يكون للكمية نفسها أي معنى مطلق (على سبيل المثال، قد لا يكون التقييم 4 "أفضل بمرتين" بأي معنى موضوعي مثل التقييم 2، ولكنه يشير ببساطة إلى أنه أفضل من 2 أو 3 ولكنه ليس جيدًا مثل 5).

تسمح النماذج الخطية المعممة بدالة ربط اختيارية ، g ، تربط متوسط ​​متغير (متغيرات) الاستجابة بالمتغيرات التنبؤية:${\displaystyle E(Y)=g^{-1}(XB)}$ترتبط دالة الربط غالبًا بتوزيع الاستجابة، وعلى وجه الخصوص، يكون لها عادةً تأثير التحويل بين${\displaystyle (-\infty ,\infty )}$نطاق المتنبئ الخطي ونطاق المتغير التابع.

من الأمثلة الشائعة على النماذج الخطية المعممة ما يلي:

• انحدار بواسون لبيانات العد.
• الانحدار اللوجستي والانحدار البروبيتي للبيانات الثنائية.
• الانحدار اللوجستي متعدد الحدود والانحدار البروبيتي متعدد الحدود للبيانات الفئوية.
• الانحدار اللوجستي المرتب والانحدار البروبيت المرتب للبيانات الترتيبية.

تسمح نماذج المؤشر الواحد بدرجة معينة من اللاخطية في العلاقة بين x و y ، مع الحفاظ على الدور المحوري للمتنبئ الخطي β′x كما هو الحال في نموذج الانحدار الخطي الكلاسيكي. في ظل شروط معينة، فإن تطبيق طريقة المربعات الصغرى العادية (OLS) على بيانات من نموذج مؤشر واحد سيؤدي إلى تقدير β بشكل متسق حتى ثابت تناسب. ^{[ 8 ]}

تُنظّم النماذج الخطية الهرمية (أو الانحدار متعدد المستويات ) البيانات في تسلسل هرمي من الانحدارات، على سبيل المثال، حيث يتم انحدار المتغير A على المتغير B ، ويتم انحدار المتغير B على المتغير C. ويُستخدم هذا النوع من النماذج غالبًا عندما يكون للمتغيرات محل الاهتمام بنية هرمية طبيعية، كما هو الحال في الإحصاءات التربوية، حيث يتم تصنيف الطلاب ضمن فصول دراسية، والفصول الدراسية ضمن مدارس، والمدارس ضمن مجموعات إدارية، مثل المناطق التعليمية. وقد يكون المتغير التابع مقياسًا لتحصيل الطالب، مثل درجة اختبار، بينما يتم جمع متغيرات مستقلة مختلفة على مستوى الفصل الدراسي والمدرسة والمنطقة التعليمية.

تُوسّع نماذج الأخطاء في المتغيرات (أو "نماذج خطأ القياس") نموذج الانحدار الخطي التقليدي للسماح بملاحظة المتغيرات التنبؤية X مع وجود خطأ. يؤدي هذا الخطأ إلى تحيز المُقدِّرات المعيارية لـ β . وعمومًا، يكون شكل التحيز هو التوهين، أي أن التأثيرات تميل نحو الصفر.

في نموذج الانحدار الخطي المتعدد

${\displaystyle y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,}$

المعلمة${\displaystyle \beta _{j}}$متغير التنبؤ${\displaystyle x_{j}}$يمثل التأثير الفردي لـ${\displaystyle x_{j}}$ويمكن تفسير ذلك على أنه التغير المتوقع في المتغير التابع.${\displaystyle y}$متى${\displaystyle x_{j}}$يزداد بمقدار وحدة واحدة مع ثبات المتغيرات التنبؤية الأخرى. عندما${\displaystyle x_{j}}$إذا كان هناك ارتباط قوي بينه وبين متغيرات تنبؤية أخرى، فمن غير المحتمل أن${\displaystyle x_{j}}$يمكن أن تزيد بمقدار وحدة واحدة مع ثبات المتغيرات الأخرى. في هذه الحالة، يكون تفسير${\displaystyle \beta _{j}}$يصبح الأمر إشكاليًا لأنه يستند إلى شرط غير محتمل، وتأثيره${\displaystyle x_{j}}$لا يمكن تقييمها بمعزل عن غيرها.

بالنسبة لمجموعة من المتغيرات التنبؤية، على سبيل المثال،${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$تأثير المجموعة${\displaystyle \xi (\mathbf {w} )}$يُعرَّف بأنه توليفة خطية من معاييرها

${\displaystyle \xi (\mathbf {w} )=w_{1}\beta _{1}+w_{2}\beta _{2}+\dots +w_{q}\beta _{q},}$

أين${\displaystyle \mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }}$هو متجه وزن يحقق${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$بسبب القيد المفروض على${\displaystyle {w_{j}}}$،${\displaystyle \xi (\mathbf {w} )}$ويُشار إليه أيضاً باسم تأثير المجموعة المعياري. تأثير المجموعة${\displaystyle \xi (\mathbf {w} )}$له تفسير على أنه التغيير المتوقع في${\displaystyle y}$عندما تكون المتغيرات في المجموعة${\displaystyle x_{1},x_{2},\dots ,x_{q}}$التغيير بالمقدار${\displaystyle w_{1},w_{2},\dots ,w_{q}}$، على التوالي، في نفس الوقت مع تثبيت المتغيرات الأخرى (غير الموجودة في المجموعة). وهو يعمم التأثير الفردي لمتغير ما على مجموعة من المتغيرات في ذلك (${\displaystyle i}$) لو${\displaystyle q=1}$ثم يتقلص تأثير المجموعة إلى تأثير فردي، و (${\displaystyle ii}$) لو${\displaystyle w_{i}=1}$و${\displaystyle w_{j}=0}$ل${\displaystyle j\neq i}$عندئذٍ، يتقلص تأثير المجموعة ليصبح تأثيرًا فرديًا. تأثير المجموعة${\displaystyle \xi (\mathbf {w} )}$يُقال إن الأمر ذو مغزى إذا كانت التغيرات الأساسية المتزامنة لـ${\displaystyle q}$المتغيرات${\displaystyle (x_{1},x_{2},\dots ,x_{q})^{\intercal }}$من المحتمل.

تُتيح تأثيرات المجموعة دراسة التأثير الجماعي للمتغيرات التنبؤية شديدة الارتباط في نماذج الانحدار الخطي. لا تُحدد التأثيرات الفردية لهذه المتغيرات بدقة، إذ لا تتمتع معاييرها بتفسيرات واضحة. علاوة على ذلك، عندما يكون حجم العينة صغيرًا، لا يمكن تقدير أي من معاييرها بدقة باستخدام انحدار المربعات الصغرى بسبب مشكلة الارتباط الخطي المتعدد . مع ذلك، توجد تأثيرات جماعية ذات دلالة إحصائية، لها تفسيرات واضحة، ويمكن تقديرها بدقة باستخدام انحدار المربعات الصغرى. تتمثل إحدى الطرق البسيطة لتحديد هذه التأثيرات الجماعية ذات الدلالة الإحصائية في استخدام ترتيب الارتباطات الموجبة الكاملة (APC) للمتغيرات شديدة الارتباط، حيث تكون جميع الارتباطات الثنائية بين هذه المتغيرات موجبة، ثم توحيد جميعها.${\displaystyle p}$المتغيرات التنبؤية في النموذج بحيث يكون متوسطها جميعًا صفرًا وطولها واحدًا. لتوضيح ذلك، لنفترض أن${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$هي مجموعة من المتغيرات المترابطة بقوة في ترتيب APC، وهي ليست مترابطة بقوة مع المتغيرات التنبؤية خارج المجموعة.${\displaystyle y'}$كن متمركزًا${\displaystyle y}$و${\displaystyle x_{j}'}$كن معيارًا${\displaystyle x_{j}}$ثم، يكون نموذج الانحدار الخطي المعياري هو

${\displaystyle y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .}$

حدود${\displaystyle \beta _{j}}$في النموذج الأصلي، بما في ذلك${\displaystyle \beta _{0}}$، هي دوال بسيطة لـ${\displaystyle \beta _{j}'}$في النموذج المعياري. لا يؤدي توحيد المتغيرات إلى تغيير ارتباطاتها، لذا${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$هي مجموعة من المتغيرات المترابطة بقوة في ترتيب APC، وهي غير مترابطة بقوة مع متغيرات التنبؤ الأخرى في النموذج المعياري. تأثير المجموعة لـ${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$يكون

${\displaystyle \xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',}$

ومُقدِّرها الخطي غير المتحيز ذو التباين الأدنى هو

${\displaystyle {\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',}$

أين${\displaystyle {\hat {\beta }}_{j}'}$هو مقدر المربعات الصغرى لـ${\displaystyle \beta _{j}'}$وعلى وجه الخصوص، متوسط ​​تأثير المجموعة لـ${\displaystyle q}$المتغيرات المعيارية هي

${\displaystyle \xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),}$

والذي يُفسر على أنه التغيير المتوقع في${\displaystyle y'}$عندما كل${\displaystyle x_{j}'}$في المجموعة ذات الارتباط القوي، يزداد بمقدار${\displaystyle (1/q)}$في حالة وجود ارتباطات إيجابية قوية ووحدات موحدة، تكون المتغيرات داخل المجموعة متساوية تقريبًا، لذا من المرجح أن تزداد في نفس الوقت وبمقدار مماثل. وبالتالي، يكون متوسط ​​تأثير المجموعة${\displaystyle \xi _{A}}$يُعدّ هذا تأثيرًا ذا دلالة. ويمكن تقديره بدقة باستخدام مُقدِّر خطي غير متحيز ذي تباين أدنى.${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$، حتى عندما لا يكون أي منها على حدة${\displaystyle \beta _{j}'}$يمكن تقديرها بدقة بواسطة${\displaystyle {\hat {\beta }}_{j}'}$.

ليست كل تأثيرات المجموعة ذات مغزى أو يمكن تقديرها بدقة. على سبيل المثال،${\displaystyle \beta _{1}'}$هو تأثير جماعي خاص مع أوزان${\displaystyle w_{1}=1}$و${\displaystyle w_{j}=0}$ل${\displaystyle j\neq 1}$لكن لا يمكن تقديرها بدقة بواسطة${\displaystyle {\hat {\beta }}'_{1}}$كما أنه ليس تأثيراً ذا مغزى. بشكل عام، بالنسبة لمجموعة من${\displaystyle q}$المتغيرات التنبؤية المرتبطة ارتباطًا وثيقًا في ترتيب APC في النموذج المعياري، وتأثيرات المجموعة التي متجهات وزنها${\displaystyle \mathbf {w} }$تقع في مركز أو بالقرب منه${\textstyle \sum _{j=1}^{q}w_{j}=1}$(${\displaystyle w_{j}\geq 0}$تُعدّ التأثيرات ذات دلالة ويمكن تقديرها بدقة باستخدام مُقدِّراتها الخطية غير المتحيزة ذات التباين الأدنى. أما التأثيرات ذات متجهات الأوزان البعيدة عن المركز فهي غير ذات دلالة، إذ تُمثّل هذه المتجهات تغيرات متزامنة في المتغيرات تُخالف الارتباطات الإيجابية القوية للمتغيرات المعيارية في ترتيب APC. ولذلك، فهي غير محتملة، ولا يُمكن تقديرها بدقة.

تشمل تطبيقات تأثيرات المجموعة ما يلي: (1) تقدير واستنتاج تأثيرات المجموعة ذات الدلالة على المتغير التابع، (2) اختبار "أهمية المجموعة" لـ${\displaystyle q}$المتغيرات عبر الاختبار${\displaystyle H_{0}:\xi _{A}=0}$عكس${\displaystyle H_{1}:\xi _{A}\neq 0}$و(3) تحديد منطقة فضاء المتغيرات التنبؤية التي تكون فيها التنبؤات التي تم تقديرها بواسطة نموذج المربعات الصغرى دقيقة.

تأثير المجموعة للمتغيرات الأصلية${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$يمكن التعبير عنها كثابت مضروب في تأثير المجموعة للمتغيرات المعيارية${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$يكون الأول ذا مغزى عندما يكون الثاني كذلك. وبالتالي، يمكن إيجاد تأثيرات جماعية ذات مغزى للمتغيرات الأصلية من خلال تأثيرات جماعية ذات مغزى للمتغيرات المعيارية. ^{[ 9 ]}

في نظرية دمبستر-شيفر ، أو دالة الاعتقاد الخطية تحديدًا، يمكن تمثيل نموذج الانحدار الخطي كمصفوفة ممسوحة جزئيًا، والتي يمكن دمجها مع مصفوفات مماثلة تمثل المشاهدات وتوزيعات طبيعية مفترضة أخرى ومعادلات الحالة. يوفر دمج المصفوفات الممسوحة أو غير الممسوحة طريقة بديلة لتقدير نماذج الانحدار الخطي.

بافتراض أن المتغيرات المستقلة هي${\displaystyle {\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$ومعاملات النموذج هي${\displaystyle {\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]}$إذاً، ستكون توقعات النموذج هي

${\displaystyle y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}}$.

لو${\displaystyle {\vec {x_{i}}}}$يمتد إلى${\displaystyle {\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$ثم${\displaystyle y_{i}}$سيصبح حاصل ضرب نقطي للمعامل والمتجهات المستقلة، أي

${\displaystyle y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}}$.

في إطار طريقة المربعات الصغرى، يتم تعريف متجه المعلمات الأمثل على أنه يقلل من مجموع متوسط ​​مربع الخسارة:

${\displaystyle {\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}}$

والآن، نضع المتغيرات المستقلة والتابعة في مصفوفات.${\displaystyle X}$و${\displaystyle Y}$وبالتالي، يمكن إعادة كتابة دالة الخسارة على النحو التالي:

${\displaystyle {\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

بما أن دالة الخسارة محدبة ، فإن الحل الأمثل يقع عند نقطة الصفر في تدرجها . تدرج دالة الخسارة هو (باستخدام اصطلاح ترتيب المقام ):

${\displaystyle {\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

يؤدي ضبط التدرج على الصفر إلى الحصول على المعامل الأمثل:

${\displaystyle {\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}}$

ملاحظة: الـ${\displaystyle {\hat {\beta }}}$قد تكون القيمة المُحَصَّلة هي الحد الأدنى المحلي، ولكن يلزم إجراء اشتقاق آخر للحصول على مصفوفة هيسيان وإثبات أنها موجبة تمامًا. وهذا ما تنص عليه نظرية جاوس-ماركوف .

تشمل طرق المربعات الصغرى الخطية بشكل رئيسي ما يلي:

• المربعات الصغرى العادية
• المربعات الصغرى الموزونة
• المربعات الصغرى المعممة
• ملاءمة القالب الخطي ^{[ 11 ]}

• يطبق الانحدار الخطي البايزي إطار الإحصاء البايزي على الانحدار الخطي. (انظر أيضًا الانحدار الخطي متعدد المتغيرات البايزي ). على وجه الخصوص، يُفترض أن معاملات الانحدار β هي متغيرات عشوائية ذات توزيع احتمالي مسبق محدد . يمكن أن يؤثر التوزيع الاحتمالي المسبق على حلول معاملات الانحدار، بطريقة مشابهة (ولكنها أكثر عمومية) لانحدار ريدج أو انحدار لاسو . بالإضافة إلى ذلك، لا تُنتج عملية التقدير البايزي تقديرًا نقطيًا واحدًا لأفضل قيم معاملات الانحدار، بل تُنتج توزيعًا احتماليًا لاحقًا كاملًا، يصف بدقة عدم اليقين المحيط بهذه الكمية. يمكن استخدام هذا التوزيع لتقدير أفضل المعاملات باستخدام المتوسط، أو المنوال، أو الوسيط، أو أي كمية (انظر انحدار الكميات )، أو أي دالة أخرى للتوزيع الاحتمالي اللاحق.
• يركز الانحدار الكمي على الكميات الشرطية لـ y بمعلومية X بدلاً من المتوسط ​​الشرطي لـ y بمعلومية X. ويقوم الانحدار الكمي الخطي بنمذجة كمية شرطية معينة، على سبيل المثال الوسيط الشرطي، كدالة خطية β ^T x للمتغيرات التنبؤية.
• تُستخدم النماذج المختلطة على نطاق واسع لتحليل علاقات الانحدار الخطي التي تتضمن بيانات مترابطة عندما تكون بنية هذه الترابطات معروفة. تشمل التطبيقات الشائعة للنماذج المختلطة تحليل البيانات التي تتضمن قياسات متكررة، مثل البيانات الطولية، أو البيانات المُستقاة من أخذ العينات العنقودية. تُناسب هذه النماذج عادةً كنماذج بارامترية ، باستخدام تقدير الاحتمال الأقصى أو التقدير البايزي. في حالة نمذجة الأخطاء كمتغيرات عشوائية طبيعية ، توجد علاقة وثيقة بين النماذج المختلطة وطريقة المربعات الصغرى المعممة. ^{[ 20 ]} يُعد تقدير التأثيرات الثابتة نهجًا بديلًا لتحليل هذا النوع من البيانات.
• يُستخدم تحليل الانحدار بالمكونات الرئيسية (PCR) ^{[ 21 ] [ 22 ]} عندما يكون عدد المتغيرات التنبؤية كبيرًا، أو عندما توجد ارتباطات قوية بينها. تعتمد هذه الطريقة على مرحلتين: أولًا، تقليل عدد المتغيرات التنبؤية باستخدام تحليل المكونات الرئيسية ، ثم استخدام المتغيرات المُختزلة في نموذج انحدار المربعات الصغرى العادية (OLS). مع أن هذه الطريقة غالبًا ما تُحقق نتائج جيدة عمليًا، إلا أنه لا يوجد سبب نظري عام يُشير إلى أن الدالة الخطية الأكثر دلالة للمتغيرات التنبؤية يجب أن تقع ضمن المكونات الرئيسية المهيمنة للتوزيع متعدد المتغيرات لهذه المتغيرات. يُعد انحدار المربعات الصغرى الجزئية امتدادًا لطريقة تحليل الانحدار بالمكونات الرئيسية، وهو لا يُعاني من هذا القصور.
• الانحدار ذو الزاوية الأقل ^{[ 23 ]} هو إجراء تقدير لنماذج الانحدار الخطي تم تطويره للتعامل مع متجهات المتغيرات المشتركة عالية الأبعاد، والتي قد تحتوي على عدد أكبر من المتغيرات المشتركة مقارنة بالملاحظات.
• يُعدّ مُقدِّر ثيل -سين أسلوبًا بسيطًا وقويًا للتقدير ، حيث يختار ميل خط الانحدار ليكون متوسط ​​ميول الخطوط المارة بأزواج من نقاط العينة. يتمتع هذا الأسلوب بخصائص كفاءة إحصائية مشابهة للانحدار الخطي البسيط، ولكنه أقل حساسية بكثير للقيم الشاذة . ^{[ 24 ]}
• تم تقديم تقنيات تقدير قوية أخرى، بما في ذلك نهج المتوسط ​​المقطوع α ، ومقدرات L- و M- و S- و R- .

يمثل خط الاتجاه اتجاهًا ، أي الحركة طويلة الأجل في بيانات السلاسل الزمنية بعد مراعاة العوامل الأخرى. وهو يوضح ما إذا كانت مجموعة بيانات معينة (مثل الناتج المحلي الإجمالي، أو أسعار النفط، أو أسعار الأسهم) قد زادت أو انخفضت خلال فترة زمنية محددة. يمكن رسم خط الاتجاه يدويًا عبر مجموعة من نقاط البيانات، ولكن من الأدق حساب موقعه وميله باستخدام تقنيات إحصائية مثل الانحدار الخطي. عادةً ما تكون خطوط الاتجاه خطوطًا مستقيمة، على الرغم من أن بعض الصيغ تستخدم كثيرات حدود من درجات أعلى اعتمادًا على درجة الانحناء المطلوبة في الخط.

تُستخدم خطوط الاتجاه أحيانًا في تحليلات الأعمال لعرض التغيرات في البيانات بمرور الوقت، وتتميز هذه الطريقة ببساطتها. غالبًا ما تُستخدم خطوط الاتجاه لإثبات أن إجراءً أو حدثًا معينًا (مثل التدريب أو حملة إعلانية) قد تسبب في تغيرات مُلاحظة في وقت محدد. هذه تقنية بسيطة، ولا تتطلب مجموعة ضابطة أو تصميمًا تجريبيًا أو أسلوب تحليل معقد. مع ذلك، فهي تفتقر إلى المصداقية العلمية في الحالات التي قد تؤثر فيها تغيرات أخرى محتملة على البيانات.

ظهرت الأدلة المبكرة التي تربط تدخين التبغ بالوفيات والأمراض من خلال دراسات رصدية تستخدم تحليل الانحدار. وللحد من الارتباطات الزائفة عند تحليل البيانات الرصدية، يُدرج الباحثون عادةً عدة متغيرات في نماذج الانحدار الخاصة بهم بالإضافة إلى المتغير محل الاهتمام الرئيسي. على سبيل المثال، في نموذج انحدار يكون فيه تدخين السجائر هو المتغير المستقل محل الاهتمام الرئيسي، والمتغير التابع هو متوسط ​​العمر المتوقع مُقاسًا بالسنوات، قد يُدرج الباحثون التعليم والدخل كمتغيرات مستقلة إضافية، لضمان ألا يكون أي تأثير مُلاحظ للتدخين على متوسط ​​العمر المتوقع ناتجًا عن تلك العوامل الاجتماعية والاقتصادية الأخرى . ومع ذلك، لا يُمكن أبدًا تضمين جميع المتغيرات المُربكة المُحتملة في تحليل تجريبي. على سبيل المثال، قد يزيد جين افتراضي من معدل الوفيات، وقد يدفع الناس أيضًا إلى التدخين أكثر. لهذا السبب، غالبًا ما تُوفر التجارب المعشاة ذات الشواهد أدلة أكثر إقناعًا على العلاقات السببية مقارنةً بما يُمكن الحصول عليه باستخدام تحليلات الانحدار للبيانات الرصدية. عندما لا تكون التجارب المضبوطة ممكنة، يمكن استخدام متغيرات تحليل الانحدار مثل انحدار المتغيرات الآلية لمحاولة تقدير العلاقات السببية من البيانات الرصدية.

يستخدم نموذج تسعير الأصول الرأسمالية الانحدار الخطي ومفهوم بيتا لتحليل وتحديد المخاطر النظامية للاستثمار. وينبع هذا مباشرةً من معامل بيتا في نموذج الانحدار الخطي الذي يربط عائد الاستثمار بعائد جميع الأصول الخطرة.

يُعدّ الانحدار الخطي الأداة التجريبية السائدة في علم الاقتصاد . فعلى سبيل المثال، يُستخدم للتنبؤ بالإنفاق الاستهلاكي ، ^{[ 25 ]} والإنفاق على الاستثمار الثابت ، والاستثمار في المخزون ، ومشتريات صادرات الدولة ، ^{[ 26 ]} والإنفاق على الواردات ، ^{[ 26 ]} والطلب على الاحتفاظ بالأصول السائلة ، ^{[ 27 ]} والطلب على العمل ، ^{[ 28 ]} وعرض العمل . ^{[ 28 ]}

يُستخدم الانحدار الخطي في نطاق واسع من تطبيقات العلوم البيئية، مثل استخدام الأراضي ^{[ 29 ]} ، والأمراض المعدية ^{[ 30 ]} ، وتلوث الهواء ^{[ 31 ]} . فعلى سبيل المثال، يُمكن استخدام الانحدار الخطي للتنبؤ بالآثار المتغيرة لتلوث السيارات ^{[ 32 ]} . ومن الأمثلة البارزة على هذا التطبيق في مجال الأمراض المعدية استراتيجية "تسطيح المنحنى " التي تم التركيز عليها في بداية جائحة كوفيد-19، حيث تعامل مسؤولو الصحة العامة مع بيانات محدودة عن الأفراد المصابين ونماذج متطورة لانتقال المرض لتوصيف انتشار كوفيد-19 ^{[ 33 ] .}

يُستخدم الانحدار الخطي بشكل شائع في الدراسات الميدانية لعلوم البناء لاستخلاص خصائص شاغلي المباني. في دراسة ميدانية للراحة الحرارية ، عادةً ما يستطلع علماء البناء آراء شاغلي المباني حول إحساسهم الحراري، والذي يتراوح من -3 (الشعور بالبرد) إلى 0 (محايد) إلى +3 (الشعور بالحرارة)، ويقيسون بيانات درجة الحرارة المحيطة بهم. يمكن حساب درجة الحرارة المحايدة أو المريحة بناءً على الانحدار الخطي بين تقييم الإحساس الحراري ودرجة الحرارة الداخلية، مع اعتبار تقييم الإحساس الحراري صفرًا. ومع ذلك، ثمة جدل قائم حول اتجاه الانحدار: هل هو انحدار تقييمات الإحساس الحراري (المحور الصادي) مقابل درجة الحرارة الداخلية (المحور السيني)، أم العكس؟ ^{[ 34 ]}

يلعب الانحدار الخطي دورًا هامًا في مجال فرعي من الذكاء الاصطناعي يُعرف باسم التعلّم الآلي . وتُعدّ خوارزمية الانحدار الخطي إحدى خوارزميات التعلّم الآلي الخاضعة للإشراف الأساسية نظرًا لبساطتها النسبية وخصائصها المعروفة. ^{[ 35 ]}