الانحدار متعدد الحدود

📅 آخر تحديث: ٢٦ يوليو ٢٠٢٦
✍️ نُشر في: ٢٦ يوليو ٢٠٢٦
📷 يحتوي على 25 صور
الموسوعة الحرة
نموذج انحدار متعدد الحدود من الدرجة الثالثة مُلائم لمجموعة بيانات مُحاكاة. نطاق الثقة هو نطاق ثقة متزامن بنسبة 95% تم إنشاؤه باستخدام طريقة شيفيه .

في الإحصاء ، يُعدّ الانحدار متعدد الحدود شكلاً من أشكال تحليل الانحدار، حيث تُنمذج العلاقة بين المتغير المستقل x والمتغير التابع y كدالة متعددة الحدود في x . يُطابق الانحدار متعدد الحدود علاقة غير خطية بين قيمة x والمتوسط ​​الشرطي المقابل لـ y ، والذي يُرمز له بـ E( y  | x ). على الرغم من أن الانحدار متعدد الحدود يُطابق نموذجًا غير خطي مع البيانات، إلا أنه، كمسألة تقدير إحصائي ، يُعتبر خطيًا، بمعنى أن دالة الانحدار E( y  | x ) خطية في المعاملات المجهولة التي تُقدّر من البيانات . وبالتالي، يُعدّ الانحدار متعدد الحدود حالة خاصة من الانحدار الخطي المتعدد . 

تُعرف المتغيرات التفسيرية (المستقلة) الناتجة عن التوسع متعدد الحدود للمتغيرات "الأساسية" بالحدود ذات الدرجة الأعلى. وتُستخدم هذه المتغيرات أيضًا في سياقات التصنيف . [ 1 ]

تاريخ

تُستخدم طريقة المربعات الصغرى عادةً في نماذج الانحدار متعدد الحدود . تعمل هذه الطريقة على تقليل تباين المُقدِّرات غير المتحيزة للمعاملات، وفقًا لشروط نظرية غاوس-ماركوف . نُشرت طريقة المربعات الصغرى عام 1805 على يد ليجندر ، وعام 1809 على يد غاوس . ظهر أول تصميم تجريبي للانحدار متعدد الحدود في ورقة بحثية لجيرجون عام 1815. [ 2 ] [ 3 ] في القرن العشرين ، لعب الانحدار متعدد الحدود دورًا هامًا في تطوير تحليل الانحدار ، مع التركيز بشكل أكبر على مسائل التصميم والاستدلال . [ 4 ] في الآونة الأخيرة ، استُكمل استخدام النماذج متعددة الحدود بطرق أخرى، حيث تتميز النماذج غير متعددة الحدود بمزايا في بعض فئات المسائل.

التعريف والمثال

يهدف تحليل الانحدار إلى نمذجة القيمة المتوقعة للمتغير التابع y بدلالة قيمة المتغير المستقل (أو متجه المتغيرات المستقلة) x . في الانحدار الخطي البسيط، يكون النموذج

y=β0+β1x+ε،{\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}

يُستخدم هذا النموذج، حيث ε هو خطأ عشوائي غير مُلاحظ بمتوسط ​​صفر مشروط بمتغير عددي x . في هذا النموذج، لكل زيادة بمقدار وحدة واحدة في قيمة x ، يزداد التوقع الشرطي لـ y بمقدار β وحدة واحدة .

في كثير من الحالات، قد لا تنطبق هذه العلاقة الخطية. على سبيل المثال، إذا كنا نصمم نموذجًا لمردود عملية التخليق الكيميائي بدلالة درجة الحرارة التي تتم عندها العملية، فقد نجد أن المردود يتحسن بمقدار مختلف لكل زيادة في درجة الحرارة. أو قد نجد أن المردود يتناقص مع ارتفاع درجة الحرارة (ولكن فقط ضمن نطاق معين من درجات الحرارة) ويزداد مع ارتفاع درجة الحرارة ضمن نطاق آخر. في هذه الحالة، يمكننا اقتراح نموذج تربيعي على النحو التالي:

y=β0+β1x+β2x2+ε.{\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}

في هذا النموذج، عندما ترتفع درجة الحرارة من x إلى x  +  1 وحدة، يتغير المردود المتوقع بمقدارβ1+β2(2x+1).{\displaystyle \beta _{1}+\beta _{2}(2x+1).}(يمكن ملاحظة ذلك من خلال الحصول على المشتقة بالنسبة إلى x لصيغة الانحدار.) بالنسبة للتغيرات المتناهية الصغر في x ، فإن التأثير على y يُعطى بواسطة المشتقة الكلية بالنسبة إلى x :β1+2β2x.{\displaystyle \beta _{1}+2\beta _{2}x.}إن حقيقة أن التغير في المحصول يعتمد على x هي ما يجعل العلاقة بين x و y غير خطية على الرغم من أن النموذج خطي في المعلمات المراد تقديرها.

بشكل عام، يمكننا نمذجة القيمة المتوقعة لـ y كمتعدد حدود من الدرجة n ، مما ينتج عنه نموذج الانحدار متعدد الحدود العام

y=β0+β1x+β2x2+β3x3+⋯+βنxن+ε.{\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}

لحسن الحظ، تُعتبر هذه النماذج جميعها خطية من وجهة نظر التقدير ، لأن دالة الانحدار خطية بدلالة المعاملات المجهولة β₀ ، β₁ ، ... .  لذلك، في تحليل المربعات الصغرى ، يمكن معالجة المشكلات الحسابية والاستدلالية للانحدار متعدد الحدود بشكل كامل باستخدام تقنيات الانحدار المتعدد . ويتم ذلك بمعاملة x₁ ، x₂ ، ... كمتغيرات مستقلة متميزة في نموذج الانحدار المتعدد.  

الشكل المصفوفي وحساب التقديرات

نموذج الانحدار متعدد الحدود

yأنا=β0+β1xأنا+β2xأنا2+⋯+βمxأنام+εأنا (أنا=1،2،...،ن){\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}

يمكن التعبير عنها في شكل مصفوفة بدلالة مصفوفة التصميمX{\displaystyle \mathbf {X} }متجه استجابةy→{\displaystyle {\vec {y}}}، متجه المعلماتβ→{\displaystyle {\vec {\beta }}}، ومتجهε→{\displaystyle {\vec {\varepsilon }}}من الأخطاء العشوائية. الصف رقم i منX{\displaystyle \mathbf {X} }وy→{\displaystyle {\vec {y}}}سيحتوي على قيمتي x و y لعينة البيانات رقم i . عندئذٍ، يمكن كتابة النموذج كنظام من المعادلات الخطية :

[y1y2y3⋮yن]=[1x1x12...x1م1x2x22...x2م1x3x32...x3م⋮⋮⋮⋱⋮1xنxن2...xنم][β0β1β2⋮βم]+[ε1ε2ε3⋮εن]،{\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}

والتي تُكتب عند استخدام تدوين المصفوفات البحت على النحو التالي

y→=Xβ→+ε→.{\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}

متجه معاملات الانحدار متعدد الحدود المقدرة (باستخدام تقدير المربعات الصغرى العادية ) هو

β→^=(XتيX)-1Xتيy→،{\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}

بافتراض أن m < n وهو الشرط اللازم لكي تكون المصفوفة قابلة للعكس؛ فبما أنX{\displaystyle \mathbf {X} }إذا كانت مصفوفة فانديرموند ، فإن شرط قابلية الانعكاس مضمون إذا كانت جميعxأنا{\displaystyle x_{i}}القيم متميزة. هذا هو الحل الوحيد للمربعات الصغرى. بعبارة أخرى، إنه يحقق الحد الأدنى للمسافة‖ε→‖{\displaystyle \|{\vec {\varepsilon }}\|}بين العينةyأنا{\displaystyle y_{i}}والقيمة المقابلة لكثير الحدود،∑ك=1مβكxأناك{\displaystyle \sum _{k=1}^{m}\beta _{k}x_{i}^{k}}أي أنه يحقق الحد الأدنى

مينβ→∑أنا=1ن(yأنا-∑ك=1مβكxأناك)2.{\displaystyle \min _{\vec {\beta }}\sum _{i=1}^{n}\left(y_{i}-\sum _{k=1}^{m}\beta _{k}x_{i}^{k}\right)^{2}.}

الصيغ الموسعة

توضح معادلات المصفوفة المذكورة أعلاه سلوك الانحدار متعدد الحدود بشكل جيد. مع ذلك، يتطلب تطبيق الانحدار متعدد الحدود عمليًا على مجموعة من أزواج النقاط xy مزيدًا من التفاصيل. معادلات المصفوفة التالية لمعاملات متعدد الحدود مُوسّعة من نظرية الانحدار دون اشتقاق، ويمكن تطبيقها بسهولة. [ 5 ] [ 6 ] [ 7 ]

[∑أنا=1نxأنا0∑أنا=1نxأنا1∑أنا=1نxأنا2⋯∑أنا=1نxأنام∑أنا=1نxأنا1∑أنا=1نxأنا2∑أنا=1نxأنا3⋯∑أنا=1نxأنام+1∑أنا=1نxأنا2∑أنا=1نxأنا3∑أنا=1نxأنا4⋯∑أنا=1نxأنام+2⋮⋮⋮⋱⋮∑أنا=1نxأنام∑أنا=1نxأنام+1∑أنا=1نxأنام+2...∑أنا=1نxأنا2م][β0β1β2⋯βم]=[∑أنا=1نyأناxأنا0∑أنا=1نyأناxأنا1∑أنا=1نyأناxأنا2⋯∑أنا=1نyأناxأنام]{\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}x_{i}^{0}\\\sum _{i=1}^{n}y_{i}x_{i}^{1}\\\sum _{i=1}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=1}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}

بعد حل نظام المعادلات الخطية أعلاه لـβ0 خلال βم{\displaystyle \beta _{0}{\text{ through }}\beta _{m}}يمكن إنشاء متعددة الحدود للانحدار على النحو التالي:

y^=β0x0+β1x1+β2x2+⋯+βمxمأين:ن=عدد xأناyأنا أزواج المتغيرات في البياناتم=رتبة متعددة الحدود المستخدمة في الانحدارβ(0-م)=معامل كثير الحدود لكل متناظر x(0-م)y^=تم تقدير المتغير y بناءً على حسابات الانحدار متعدد الحدود.{\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coefficient for each corresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}

تفسير

على الرغم من أن الانحدار متعدد الحدود يُعدّ حالة خاصة من الانحدار الخطي المتعدد، إلا أن تفسير نموذج الانحدار متعدد الحدود المُطابق يتطلب منظورًا مختلفًا نوعًا ما. غالبًا ما يصعب تفسير المعاملات الفردية في نموذج الانحدار متعدد الحدود، نظرًا لاحتمالية وجود ارتباط قوي بين الحدود الأساسية. على سبيل المثال، يبلغ معامل الارتباط بين x و x² حوالي 0.97 عندما يكون x موزعًا توزيعًا منتظمًا على الفترة (0، 1). مع أن هذا الارتباط يُمكن تقليله باستخدام كثيرات الحدود المتعامدة ، إلا أنه من الأجدى عمومًا النظر إلى دالة الانحدار المُطابقة ككل. بعد ذلك، يُمكن استخدام نطاقات الثقة النقطية أو المتزامنة لإعطاء فكرة عن مدى عدم اليقين في تقدير دالة الانحدار. 

مناهج بديلة

يُعدّ الانحدار متعدد الحدود مثالاً على تحليل الانحدار باستخدام الدوال الأساسية لنمذجة العلاقة الوظيفية بين كميتين. وبشكل أكثر تحديدًا، فهو يحل محلx∈Rدx{\displaystyle x\in \mathbb {R} ^{d_{x}}}في الانحدار الخطي ذي الأساس متعدد الحدودφ(x)∈Rدφ{\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}مثال[1،x]→φ[1،x،x2،...،xد]{\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}من عيوب الدوال الأساسية متعددة الحدود أنها "غير محلية"، أي أن القيمة المُقدَّرة لـ y عند قيمة معينة x  = x₀ تعتمد بشدة على قيم البيانات عندما تكون x بعيدة عن x₀. [ 8 ] في الإحصاء الحديث ، تُستخدم الدوال الأساسية متعددة الحدود إلى جانب دوال أساسية جديدة ، مثل الدوال التكعيبية ، والدوال الأساسية الشعاعية ، والمويجات . توفر هذه المجموعات من الدوال الأساسية ملاءمةً أكثر اقتصادًا لأنواع عديدة من البيانات. 

يهدف الانحدار متعدد الحدود إلى نمذجة العلاقة غير الخطية بين المتغير المستقل والمتغير التابع (أو تحديدًا، بين المتغير المستقل والمتوسط ​​الشرطي للمتغير التابع). وهذا مشابه لهدف الانحدار غير البارامتري ، الذي يسعى إلى رصد علاقات الانحدار غير الخطية . لذا، تُعدّ أساليب الانحدار غير البارامتري، كالتنعيم، بدائل مفيدة للانحدار متعدد الحدود. تستخدم بعض هذه الأساليب شكلًا موضعيًا من الانحدار متعدد الحدود الكلاسيكي. [ 9 ] ومن مزايا الانحدار متعدد الحدود التقليدي إمكانية استخدام الإطار الاستدلالي للانحدار المتعدد (وينطبق هذا أيضًا عند استخدام عائلات أخرى من الدوال الأساسية، كالدوال التجميعية).

أما البديل الأخير فهو استخدام النماذج ذات النواة مثل انحدار متجه الدعم مع نواة متعددة الحدود .

إذا كانت البواقي ذات تباين غير متساوٍ ، فيمكن استخدام مقدر المربعات الصغرى الموزونة لمراعاة ذلك. [ 10 ]

انظر أيضاً

ملحوظات

  • يستخدم برنامج مايكروسوفت إكسل الانحدار متعدد الحدود عند ملاءمة خط الاتجاه لنقاط البيانات على مخطط التشتت XY. [ 11 ]

مراجع

  1. ↑ ين-وين تشانغ؛ تشو-جوي هسيه؛ كاي-وي تشانغ؛ مايكل رينغارد؛ تشيه-جين لين (2010). "تدريب واختبار تعيينات البيانات متعددة الحدود منخفضة الدرجة عبر آلة المتجهات الداعمة الخطية" . مجلة أبحاث تعلم الآلة . 11 : 1471-1490 .
  2. ↑ جيرجون، جيه دي (نوفمبر 1974) [1815]. "تطبيق طريقة المربعات الصغرى على استيفاء المتتاليات". هيستوريا ماثيماتيكا . 1 (4) (ترجمة رالف سانت جون وإس إم ستيجلر من الطبعة الفرنسية لعام 1815): 439-447 . doi : 10.1016/0315-0860(74)90034-2 . 
  3. ↑ ستيجلر، ستيفن م. (نوفمبر 1974). "ورقة جيرجون لعام 1815 حول تصميم وتحليل تجارب الانحدار متعدد الحدود". هيستوريا ماثيماتيكا . 1 (4): 431-439 . doi : 10.1016/0315-0860(74)90033-0 .
  4. ↑ سميث، كريستين (1918). "حول الانحرافات المعيارية للقيم المعدلة والمُستكملة لدالة متعددة الحدود المرصودة وثوابتها، والتوجيه الذي تقدمه نحو اختيار مناسب لتوزيع المشاهدات" . Biometrika . 12 (1/2): 1–85 . doi : 10.2307/2331929 . JSTOR 2331929 . 
  5. ↑ موثوكريشنان، غوري (17 يونيو 2018). "الرياضيات الكامنة وراء الانحدار متعدد الحدود، موثوكريشنان" . الرياضيات الكامنة وراء الانحدار متعدد الحدود . تم الاطلاع عليه بتاريخ 30 يناير 2024 .
  6. ↑ "رياضيات الانحدار متعدد الحدود" . الانحدار متعدد الحدود، فئة انحدار PHP .
  7. ↑ ديفور، جاي إل. (1995). الاحتمالات والإحصاء للهندسة والعلوم ( الطبعة الرابعة). الولايات المتحدة: شركة بروكس/كول للنشر. الصفحات 539-542 . ISBN   0-534-24264-2.
  8. ↑ يُعدّ هذا السلوك "غير الموضعي" خاصيةً للدوال التحليلية التي لا تكون ثابتة (في كل مكان). وقد نوقش هذا السلوك "غير الموضعي" على نطاق واسع في علم الإحصاء.
    • ماجي، لوني (1998). "السلوك غير المحلي في الانحدارات متعددة الحدود". الإحصائي الأمريكي . 52 (1): 20-22 . doi : 10.2307/2685560 . JSTOR 2685560 . 
  9. ↑ فان، جيانكينغ (1996). نمذجة كثيرات الحدود المحلية وتطبيقاتها: من الانحدار الخطي إلى الانحدار غير الخطي . دراسات في الإحصاء والاحتمالات التطبيقية. تشابمان آند هول/سي آر سي. ISBN 978-0-412-98321-4.
  10. ↑ كونتي، إس دي؛ دي بور، سي. (2018). التحليل العددي الابتدائي: منهج خوارزمي . كلاسيكيات في الرياضيات التطبيقية. جمعية الرياضيات الصناعية والتطبيقية (SIAM، 3600 شارع ماركت، الطابق 6، فيلادلفيا، بنسلفانيا 19104). ص 259. ISBN  978-1-61197-520-8تم الاطلاع عليه بتاريخ 28-08-2020 .
  11. ↑ ستيفنسون، كريستوفر. "دليل تعليمي: الانحدار متعدد الحدود في إكسل" . facultystaff.richmond.edu . تم الاطلاع عليه بتاريخ 22 يناير 2017 .