الانحدار التكيفي متعدد المتغيرات

في الإحصاء ، تعد الشرائح الانحدارية التكيفية متعددة المتغيرات ( MARS ) شكلاً من أشكال تحليل الانحدار الذي قدمه جيروم هـ. فريدمان في عام 1991. ^{[ 1 ]} وهي تقنية انحدار غير معلمية ويمكن اعتبارها امتدادًا للنماذج الخطية التي تقوم تلقائيًا بنمذجة اللاخطية والتفاعلات بين المتغيرات.

يُعدّ مصطلح "MARS" علامة تجارية مسجلة ومرخصة لشركة سالفورد سيستمز. ولتجنب انتهاكات حقوق الملكية الفكرية، تُسمى العديد من تطبيقات MARS مفتوحة المصدر باسم "Earth". ^{[ 2 ] [ 3 ]}

يقدم هذا القسم نموذج MARS باستخدام بعض الأمثلة. نبدأ بمجموعة بيانات: مصفوفة من متغيرات الإدخال x ، ومتجه من الاستجابات المرصودة y ، حيث تمثل كل صف في x استجابة . على سبيل المثال، قد تكون البيانات كالتالي:

هنا يوجد متغير مستقل واحد فقط ، لذا فإن مصفوفة x تتكون من عمود واحد فقط. بناءً على هذه القياسات، نرغب في بناء نموذج يتنبأ بالقيمة المتوقعة لـ y لقيمة معينة لـ x .

النموذج الخطي للبيانات المذكورة أعلاه هو $${\displaystyle {\widehat {y}}=-37+5.1x}$$ القبعة على${\displaystyle {\widehat {y}}}$يشير إلى أن${\displaystyle {\widehat {y}}}$يتم تقديرها من البيانات. يوضح الشكل على اليمين رسمًا بيانيًا لهذه الدالة: خط يعطي القيمة المتوقعة.${\displaystyle {\widehat {y}}}$مقابل x ، مع عرض القيم الأصلية لـ y كنقاط حمراء.

تشير البيانات عند القيم القصوى لـ x إلى أن العلاقة بين y و x قد تكون غير خطية (انظر إلى النقاط الحمراء بالنسبة لخط الانحدار عند القيم المنخفضة والعالية لـ x ). لذلك، نلجأ إلى برنامج MARS لبناء نموذج تلقائيًا يأخذ في الاعتبار العلاقات غير الخطية. يقوم برنامج MARS ببناء نموذج من قيم x و y المعطاة كما يلي:

$${\displaystyle {\begin{aligned}{\widehat {y}}=&\ 25\\&{}+6.1\max(0,x-13)\\&{}-3.1\max(0,13-x)\end{aligned}}}$$

يوضح الشكل على اليمين رسمًا بيانيًا لهذه الدالة: القيمة المتوقعة${\displaystyle {\widehat {y}}}$بالمقارنة مع x ، مع عرض القيم الأصلية لـ y مرة أخرى كنقاط حمراء. أصبحت الاستجابة المتوقعة الآن أكثر توافقًا مع قيم y الأصلية .

قام برنامج MARS تلقائيًا بإنشاء نقطة انعطاف في قيمة y المتوقعة لمراعاة اللاخطية. وتنتج نقطة الانعطاف هذه بواسطة دوال المفصل . دوال المفصل هي التعبيرات التي تبدأ بـ${\displaystyle \max }$(أين${\displaystyle \max(a,b)}$يكون${\displaystyle a}$لو${\displaystyle a>b}$، آخر${\displaystyle b}$). سيتم شرح وظائف المفصلات بمزيد من التفصيل أدناه.

في هذا المثال البسيط، نلاحظ بسهولة من الرسم البياني أن العلاقة بين y و x غير خطية (وقد نستنتج أن y تتناسب طرديًا مع مربع x ). مع ذلك، عادةً ما يكون هناك عدة متغيرات مستقلة ، وبالتالي ستكون العلاقة بين y وهذه المتغيرات غير واضحة ويصعب تحديدها بالرسم البياني. يمكننا استخدام برنامج MARS لاكتشاف هذه العلاقة غير الخطية.

مثال على تعبير MARS مع متغيرات متعددة هو

$${\displaystyle {\begin{align}\mathrm {ozone} =&\ 5.2\\&{}+0.93\max(0,\mathrm {temp} -58)\\&{}-0.64\max(0,\mathrm {temp} -68)\\&{}-0.046\max(0,234-\mathrm {ibt}) )\\&{}-0.016\max(0,\mathrm {wind} -7)\max(0,200-\mathrm {vis} )\end{محاذاة}}}$$

يُمثل هذا التعبير تلوث الهواء (مستوى الأوزون) كدالة لدرجة الحرارة وبعض المتغيرات الأخرى. لاحظ أن الحد الأخير في الصيغة (في السطر الأخير) يتضمن تفاعلاً بين${\displaystyle \mathrm {ريح} }$و${\displaystyle \mathrm {vis} }$.

يوضح الشكل الموجود على اليمين التوقعات${\displaystyle \mathrm {الأوزون} }$مثل${\displaystyle \mathrm {ريح} }$و${\displaystyle \mathrm {vis} }$تختلف المتغيرات، بينما تبقى المتغيرات الأخرى ثابتة عند قيمها المتوسطة. يوضح الشكل أن الرياح لا تؤثر على مستوى الأوزون إلا في حالة انخفاض مستوى الرؤية. نلاحظ أن نموذج MARS قادر على بناء أسطح انحدار مرنة للغاية من خلال دمج دوال المفصل.

للحصول على التعبير أعلاه، يقوم إجراء بناء نموذج MARS تلقائيًا بتحديد المتغيرات التي سيتم استخدامها (بعض المتغيرات مهمة، والبعض الآخر ليس كذلك)، ومواضع الانحناءات في وظائف المفصل، وكيفية دمج وظائف المفصل.

يقوم المريخ ببناء نماذج من الشكل

$${\displaystyle {\widehat {f}}(x)=\sum _{i=1}^{k}c_{i}B_{i}(x).}$$

النموذج عبارة عن مجموع مرجح لدوال أساسية ${\displaystyle B_{i}(x)}$. كل${\displaystyle c_{i}}$هو معامل ثابت. على سبيل المثال، كل سطر في صيغة الأوزون أعلاه هو دالة أساسية مضروبة في معاملها.

كل دالة أساسية${\displaystyle B_{i}(x)}$يتخذ أحد الأشكال الثلاثة التالية:

1. ثابت يساوي 1. يوجد حد واحد فقط من هذا النوع، وهو الحد الثابت . في معادلة الأوزون أعلاه، يبلغ الحد الثابت 5.2.
2. دالة مفصلية . تأخذ الدالة المفصلية الشكل التالي: ${\displaystyle \max(0,x-{\text{constant}})}$أو ${\displaystyle \max(0,{\text{constant}}-x)}$يختار برنامج MARS تلقائيًا المتغيرات وقيمها لعقد دوال المفصل. ويمكن رؤية أمثلة على هذه الدوال الأساسية في الأسطر الثلاثة الوسطى من معادلة الأوزون.
3. ناتج عن دمج دالتين مفصليتين أو أكثر. يمكن لهذه الدوال الأساسية أن تُنمذج التفاعل بين متغيرين أو أكثر.

ومن الأمثلة على ذلك السطر الأخير من معادلة الأوزون.

تُعدّ الدوال المفصلية التي تأخذ الشكل جزءًا أساسيًا من نماذج MARS$${\displaystyle \max(0,xc)}$$ أو $${\displaystyle \max(0,cx)}$$ أين${\displaystyle c}$هو ثابت يُسمى العقدة . يوضح الشكل على اليمين زوجًا متناظرًا من دوال المفصل مع عقدة عند 3.1.

تكون دالة المفصلة صفرًا لجزء من نطاقها، لذا يمكن استخدامها لتقسيم البيانات إلى مناطق منفصلة، ​​يمكن معالجة كل منها بشكل مستقل. على سبيل المثال، يمكن استخدام زوج متناظر من دوال المفصلة في التعبير $${\displaystyle 6.1\max(0,x-13)-3.1\max(0,13-x)}$$ يقوم بإنشاء الرسم البياني الخطي المجزأ الموضح لنموذج MARS البسيط في القسم السابق.

قد يفترض المرء أنه لا يمكن تكوين سوى الدوال الخطية القطعية من دوال المفصل، ولكن يمكن ضرب دوال المفصل معًا لتكوين دوال غير خطية.

تُسمى الدوال المفصلية أيضاً بالدوال المنحدرة أو دوال عصا الهوكي أو الدوال المعدلة . بدلاً من${\displaystyle \max }$باستخدام الترميز المستخدم في هذه المقالة، غالبًا ما يتم تمثيل دوال المفصلة بواسطة${\displaystyle [\pm (x_{i}-c)]_{+}}$أين${\displaystyle [\cdot ]_{+}}$يعني أخذ الجانب الإيجابي.

يقوم برنامج MARS ببناء نموذج على مرحلتين: المرور الأمامي والمرور العكسي. هذا النهج ذو المرحلتين هو نفسه المستخدم في أشجار التقسيم المتكررة .

• تتميز نماذج MARS بسهولة فهمها وتفسيرها. ^{[ 5 ]}
• يمكن لبرنامج MARS التعامل مع البيانات المستمرة والبيانات الفئوية على حد سواء . ^{[ 6 ] [ 7 ]}
• تعتمد طريقة MARS (مثل التقسيم المتكرر) على الاختيار التلقائي للمتغيرات (أي أنها تُدرج المتغيرات المهمة في النموذج وتستبعد المتغيرات غير المهمة). ومع ذلك، قد يكون هناك بعض العشوائية في عملية الاختيار، خاصةً عند وجود متغيرات تنبؤية مترابطة، وهذا قد يؤثر على قابلية التفسير. ^{[ 5 ]}
• غالباً ما يتطلب بناء نماذج MARS القليل من إعداد البيانات أو لا يتطلب أي إعداد على الإطلاق. ^{[ 5 ]}
• الكود من كتاب الأساليب البايزية للتصنيف والانحدار غير الخطي ^{[ 8 ]} لـ Bayesian MARS.

• يمكن دمج النماذج الخطية المعممة (GLMs) في نماذج MARS عن طريق تطبيق دالة الربط بعد بناء نموذج MARS. وبالتالي، على سبيل المثال، يمكن لنماذج MARS دمج الانحدار اللوجستي للتنبؤ بالاحتمالات.
• يُستخدم الانحدار غير الخطي عندما يكون الشكل الأساسي للدالة معروفًا، ويُستخدم الانحدار فقط لتقدير معلمات تلك الدالة. أما نموذج MARS، فيُقدّر الدوال نفسها، وإن كان ذلك مع قيود صارمة على طبيعة هذه الدوال. (هذه القيود ضرورية لأن اكتشاف نموذج من البيانات يُعدّ مسألة عكسية غير محددة جيدًا بدون قيود على النموذج).
• التقسيم المتكرر (المعروف باسم CART). يمكن اعتبار MARS تعميمًا للتقسيم المتكرر يسمح بنماذج متصلة، مما يوفر ملاءمة أفضل للبيانات الرقمية.
• النماذج الإضافية المعممة . على عكس نماذج الانحدار المتعدد الآلي (MARS)، تستخدم نماذج GAM دوال لويس ناعمة أو دوال متعددة الحدود بدلاً من دوال المفصل، ولا تُنمذج تفاعلات المتغيرات تلقائيًا. يقلل التوافق الأكثر سلاسة وعدم وجود حدود انحدار من التباين مقارنةً بنماذج MARS، لكن تجاهل تفاعلات المتغيرات قد يزيد من التحيز.
• TSMARS . يُستخدم مصطلح "السلاسل الزمنية للمارس" عند تطبيق نماذج MARS في سياق السلاسل الزمنية . في هذا السياق، عادةً ما تكون المتغيرات التنبؤية هي قيم السلاسل الزمنية المتأخرة، مما ينتج عنه نماذج الانحدار الذاتي التكعيبي . هذه النماذج وامتداداتها، بما في ذلك نماذج الانحدار الذاتي التكعيبي للمتوسط ​​المتحرك، موصوفة في " نمذجة السلاسل الزمنية أحادية المتغير والتنبؤ بها باستخدام TSMARS: دراسة لنماذج الانحدار الذاتي التكعيبي للسلاسل الزمنية، والنماذج الموسمية، ونماذج المتوسط ​​المتحرك باستخدام TSMARS".
• يستخدم نموذج MARS البايزي (BMARS) نفس شكل النموذج، ولكنه يبني النموذج باستخدام منهج بايزي. وقد ينتج عنه نماذج MARS مثلى مختلفة نظرًا لاختلاف منهجية بناء النموذج. وعادةً ما تكون نتيجة BMARS عبارة عن مجموعة من عينات التوزيع الاحتمالي اللاحق لنماذج MARS، مما يسمح بالتنبؤ الاحتمالي. ^{[ 9 ]}

• الانحدار الخطي
• الانحدار الموضعي
• نمذجة الدوال الكسرية
• الانحدار المجزأ
• الاستيفاء باستخدام الدوال التكعيبية
• الانحدار الخطي

• هاستي تي، تيبشيراني آر، وفريدمان جيه إتش (2009) عناصر التعلم الإحصائي ، الطبعة الثانية. سبرينغر، ISBN 978-0-387-84857-0(يحتوي على قسم خاص بالمريخ)
• فاراواي، ج. (2005) توسيع النموذج الخطي باستخدام لغة البرمجة R ، سي آر سي، رقم ISBN 978-1-58488-424-8(يحتوي على مثال باستخدام MARS مع R)
• هيبينغ تشانغ وبورتون إتش. سينغر (2010) التقسيم المتكرر وتطبيقاته ، الطبعة الثانية. سبرينغر، ISBN 978-1-4419-6823-4(يحتوي على فصل عن برنامج MARS ويناقش بعض التعديلات على الخوارزمية)
• دينيسون دي جي تي، هولمز سي سي، ماليك بي كي، وسميث إيه إف إم (2004) الأساليب البايزية للتصنيف والانحدار غير الخطي ، وايلي، رقم ISBN 978-0-471-49036-4
• بيرك، ر. أ. (2008). التعلم الإحصائي من منظور الانحدار ، سبرينغر، رقم ISBN 978-0-387-77500-5