تراجع الحافة

الانحدار الخطي (المعروف أيضًا باسم تنظيم تيخونوف ، نسبةً إلى أندريه تيخونوف ) هو أسلوب لتقدير معاملات نماذج الانحدار المتعدد في الحالات التي تكون فيها المتغيرات مترابطة ارتباطًا وثيقًا. ^{[ 1 ]} وقد استُخدم في العديد من المجالات، بما في ذلك الاقتصاد القياسي والكيمياء والهندسة. ^{[ 2 ]} وهو أسلوب شائع الاستخدام لتنظيم مسائل المعكوس غير المحددة جيدًا . ^{[ أ ]} وهو مفيد بشكل خاص للتخفيف من مشكلة الارتباط الخطي المتعدد في الانحدار الخطي ، والتي تحدث عادةً في النماذج ذات العدد الكبير من المعلمات. ^{[ 3 ]} بشكل عام، يوفر هذا الأسلوب كفاءة محسّنة في مسائل تقدير المعلمات مقابل قدر مقبول من التحيز (انظر: المفاضلة بين التحيز والتباين ). ^{[ 4 ]}

طُرحت هذه النظرية لأول مرة من قِبل هورل وكينارد عام 1970 في ورقتيهما البحثيتين في مجلة تكنومتركس بعنوان "انحدارات ريدج: التقدير المتحيز للمسائل غير المتعامدة" و"انحدارات ريدج: تطبيقات في المسائل غير المتعامدة". ^{[ 5 ] [ 6 ] [ 1 ]}

طُوِّرَ انحدار ريدج كحلٍّ مُحتملٍ لعدم دقة مُقدِّرات المربعات الصغرى عندما تحتوي نماذج الانحدار الخطي على بعض المتغيرات المستقلة متعددة الارتباط (شديدة الارتباط) - وذلك عن طريق إنشاء مُقدِّر انحدار ريدج (RR). يُوفِّر هذا تقديرًا أكثر دقةً لمعاملات ريدج، حيث يكون تباينه ومُقدِّر متوسط ​​مربعاته غالبًا أصغر من مُقدِّرات المربعات الصغرى المُشتقة سابقًا. ^{[ 7 ] [ 2 ]}

في حل المربعات الصغرى العادية لـ

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

مشكلة مصفوفة العزم شبه المفردة${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$يتم تخفيف هذه المشكلة بإضافة عناصر موجبة إلى الأقطار ، مما يقلل من رقم شرطها . بالمقارنة مع مُقدِّر المربعات الصغرى العادي، يحتوي مُقدِّر ريدج البسيط على حد إضافي.${\displaystyle \lambda \mathbf {I} }$في المقام: $${\displaystyle {\hat {\boldsymbol {\beta}}}_{\lambda }=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} }$$ أين${\displaystyle \mathbf {Y} }$هو المتغير التابع أو متجه الاستجابة،${\displaystyle \mathbf {X} }$هي مصفوفة التصميم ،${\displaystyle \mathbf {I} }$هي مصفوفة الوحدة ، ومعامل تنظيم ريدج (أو تيكهونوف)${\displaystyle \lambda \geq 0}$يُستخدم كثابت لإزاحة أقطار مصفوفة العزوم. ^{[ 8 ]} يمكن إثبات أن هذا المُقدِّر هو حل لمسألة المربعات الصغرى مع مراعاة القيد.${\displaystyle {\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}=c}$، والتي يمكن التعبير عنها كعملية تصغير لاغرانجية: $${\displaystyle {\text{argmin}}_{\boldsymbol {\beta }}\,\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \left({\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}-c\right)}$$ مما يدل على أن${\displaystyle \lambda }$ليس سوى مُضاعِف لاغرانج للقيد. ^{[ 9 ]} في الواقع، توجد علاقة تناظرية بين${\displaystyle c}$و${\displaystyle \lambda }$وبما أننا، عملياً، لا نعرف${\displaystyle c}$، نحن نحدد${\displaystyle \lambda }$أو إيجادها من خلال استراتيجيات إضافية لملاءمة البيانات، انظر تحديد معلمة تيخونوف أدناه.

لاحظ ذلك كما${\displaystyle \lambda \downarrow 0}$يصبح القيد في النهاية غير ملزم ، ويتقارب مقدر ريدج إلى مقدر المربعات الصغرى العادية ذي المعيار الأدنى ، والذي يُشار إليه هنا بـ ${\displaystyle {\hat {\boldsymbol {\beta }}}={\hat {\boldsymbol {\beta }}}_{0}}$:

$${\displaystyle \lim _{\lambda \downarrow 0}{\hat {\boldsymbol {\beta }}}_{\lambda }=\mathbf {X} ^{+}\mathbf {Y} ={\hat {\boldsymbol {\beta }}}_{0},}$$ مع ${\displaystyle \mathbf {X} ^{+}}$يشير إلى المعكوس الزائف لـ${\displaystyle \mathbf {X} }$.

معامل التنظيم الأمثل${\displaystyle \lambda }$عادةً ما يكون غير معروف، وفي الواقع العملي يحتاج إلى تقدير. عادةً ما يتم اختيار معامل تنظيم تيخونوف بناءً على البيانات.${\displaystyle \lambda }$ يتم إنجاز ذلك إما عن طريق التحقق المتبادل ، أو عن طريق إجراء إضافي، كما يلي.

تم ابتكار تنظيم تيخونوف بشكل مستقل في سياقات متعددة. واكتسب شهرة واسعة من خلال تطبيقه على المعادلات التكاملية في أعمال أندريه تيخونوف ^{[ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ]} وديفيد ل. فيليبس ^{[ 19 ]} . ويستخدم بعض المؤلفين مصطلح تنظيم تيخونوف-فيليبس . وقد شرح آرثر إي. هورل الحالة ذات الأبعاد المحدودة ، معتمدًا على منهج إحصائي ^{[ 20 ]} ، وكذلك مانوس فوستر، الذي فسر هذه الطريقة على أنها مرشح وينر-كولموغوروف (كريغينغ) ^{[ 21 ]} . وتبعًا لهورل، يُعرف في الأدبيات الإحصائية باسم انحدار ريدج ^{[ 22 ]} ، نسبةً إلى تحليل ريدج ("ريدج" تشير إلى المسار من القيمة القصوى المقيدة) ^{[ 23 ] .}

لنفترض أنه بالنسبة لمصفوفة حقيقية معروفة${\displaystyle A}$والمتجه${\displaystyle \mathbf {b} }$نريد إيجاد متجه${\displaystyle \mathbf {x} }$بحيث $${\displaystyle A\mathbf {x} =\mathbf {b} ,}$$ أين${\displaystyle \mathbf {x} }$و${\displaystyle \mathbf {b} }$قد تكون بأحجام مختلفة و${\displaystyle A}$بل قد يكون غير مربع.

الأسلوب القياسي هو الانحدار الخطي باستخدام طريقة المربعات الصغرى العادية . ومع ذلك، إذا لم يكن هناك${\displaystyle \mathbf {x} }$يحقق المعادلة أو أكثر من معادلة واحدة${\displaystyle \mathbf {x} }$إذا لم يكن الحل فريدًا، يُقال إن المسألة غير محددة جيدًا . في مثل هذه الحالات، يؤدي تقدير المربعات الصغرى العادية إلى نظام معادلات زائد التحديد ، أو في أغلب الأحيان نظام معادلات ناقص التحديد . تؤثر معظم الظواهر الواقعية تأثير مرشحات التمرير المنخفض في الاتجاه الأمامي حيث${\displaystyle A}$خرائط${\displaystyle \mathbf {x} }$ل${\displaystyle \mathbf {b} }$لذلك، عند حل المسألة العكسية، تعمل عملية التحويل العكسي كمرشح تمرير عالي ، مما يؤدي إلى تضخيم الضوضاء ( تكون القيم الذاتية /القيم المفردة أكبر ما يمكن في التحويل العكسي، بينما كانت أصغر ما يمكن في التحويل الأمامي). بالإضافة إلى ذلك، فإن طريقة المربعات الصغرى العادية تلغي ضمنيًا كل عنصر من عناصر النسخة المُعاد بناؤها.${\displaystyle \mathbf {x} }$ذلك في الفضاء الصفري لـ${\displaystyle A}$بدلاً من السماح باستخدام نموذج كمعلومات مسبقة لـ${\displaystyle \mathbf {x} }$تسعى طريقة المربعات الصغرى العادية إلى تقليل مجموع مربعات البواقي ، والتي يمكن كتابتها باختصار على النحو التالي: $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},}$$ أين${\displaystyle \|\cdot \|_{2}}$هو المعيار الإقليدي .

لإعطاء الأفضلية لحل معين ذي خصائص مرغوبة، يمكن تضمين مصطلح تنظيمي في عملية التصغير هذه: $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}=\left\|{\mathcal {A}}\mathbf {x} -{\mathcal {b}}\right\|_{2}^{2},}$$ أين${\displaystyle {\mathcal {A}}={\begin{pmatrix}A\\\Gamma \end{pmatrix}}}$و${\displaystyle {\mathcal {b}}={\begin{pmatrix}\mathbf {b} \\{\boldsymbol {0}}\end{pmatrix}}}$، بالنسبة لمصفوفة تيخونوف المختارة بشكل مناسب${\displaystyle \Gamma }$في كثير من الحالات، يتم اختيار هذه المصفوفة كمضاعف قياسي لمصفوفة الوحدة (${\displaystyle \Gamma =\alpha I}$يُفضّل هذا الأسلوب الحلول ذات المعايير الأصغر _، ويُعرف باسم تنظيم L2 . ^{[ 24 ]} في حالات أخرى، يمكن استخدام مُعاملات التمرير العالي (مثل مُعامل الفرق أو مُعامل فورييه الموزون ) لفرض السلاسة إذا كان يُعتقد أن المتجه الأساسي متصل في الغالب. يُحسّن هذا التنظيم حالة المسألة، مما يُتيح حلًا عدديًا مباشرًا. ويمكن التعامل معها كمسألة مربعات صغرى عادية مع مصفوفات مُوسّعة.${\displaystyle {\mathcal {A}}}$و${\displaystyle {\mathcal {b}}}$الحل هو $${\displaystyle {\hat {\mathbf {x} }}=({\mathcal {A}}^{\mathsf {T}}{\mathcal {A}})^{-1}{\mathcal {A}}^{\mathsf {T}}\mathbf {\mathcal {b}} =(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma )^{-1}A^{\mathsf {T}}\mathbf {b} .}$$ قد يختلف تأثير التنظيم باختلاف حجم المصفوفة${\displaystyle \Gamma }$. ل${\displaystyle \Gamma =0}$يُختزل هذا إلى حل المربعات الصغرى غير المنتظم، بشرط وجود ( ^ATA ) −1 ^. لاحظ أنه في حالة المصفوفة المركبة${\displaystyle A}$وكالعادة، يتم نقلها${\displaystyle A^{\mathsf {T}}}$يجب استبدالها بالتحويل الهرميتي${\displaystyle A^{\mathsf {H}}}$.

يُستخدم تنظيم L2 في العديد من السياقات إلى جانب الانحدار الخطي، مثل التصنيف باستخدام الانحدار اللوجستي أو ^{آلات المتجهات} الداعمة ، _[ ^{25 ]} وتحليل المصفوفات. ^{[ 26 ]}

في بعض الحالات، يمكن تجنب استخدام النقل${\displaystyle A^{\mathsf {T}}}$كما اقترح ميخائيل لافرينتييف . ^{[ 28 ]} على سبيل المثال، إذا${\displaystyle A}$متماثلة موجبة محددة، أي${\displaystyle A=A^{\mathsf {T}}>0}$وكذلك معكوسه${\displaystyle A^{-1}}$وبالتالي، يمكن استخدام ذلك لإنشاء معيار التربيع المرجح.${\displaystyle \left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x} }$في تنظيم تيخونوف المعمم، مما يؤدي إلى تقليل $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}}$$ أو، بشكل مكافئ حتى حد ثابت ، $${\displaystyle \mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).}$$

لهذه المسألة التصغيرية حل أمثل${\displaystyle \mathbf {x} ^{*}}$والتي يمكن كتابتها صراحة باستخدام الصيغة $${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$ وهو ليس سوى حل مسألة تيخونوف المعممة حيث${\displaystyle A=A^{\mathsf {T}}=P^{-1}.}$

يُعدّ تنظيم لافرينتييف، إن أمكن تطبيقه، أفضل من تنظيم تيخونوف الأصلي، لأن مصفوفة لافرينتييف${\displaystyle A+Q}$يمكن تحسين حالتها، أي أن يكون لها رقم حالة أصغر ، مقارنةً بمصفوفة تيخونوف.${\displaystyle A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .}$

عادةً ما تنتج مسائل المعادلات التكاملية الخطية المنفصلة سيئة التكييف عن تجزئة المعادلات التكاملية ، ويمكن صياغة تنظيم تيخونوف في السياق الأصلي ذي الأبعاد اللانهائية. في ما سبق، يمكننا تفسير${\displaystyle A}$كعامل مضغوط على فضاءات هيلبرت ، و${\displaystyle x}$و${\displaystyle b}$كعناصر في نطاق ومجال${\displaystyle A}$المشغل${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}}\Gamma }$إذن، يكون مؤثرًا ذاتيًا مترافقًا ومحدودًا وقابلًا للعكس.

مع${\displaystyle \Gamma =\alpha I}$يمكن تحليل حل المربعات الصغرى هذا بطريقة خاصة باستخدام تحليل القيم المفردة . وبالنظر إلى تحليل القيم المفردة $${\displaystyle A=U\Sigma V^{\mathsf {T}}}$$ بقيم مفردة${\displaystyle \sigma _{i}}$يمكن التعبير عن حل تيخونوف المنتظم على النحو التالي: $${\displaystyle {\hat {x}}=VDU^{\mathsf {T}}b,}$$ أين${\displaystyle D}$يحتوي على قيم قطرية $${\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}$$ وتكون قيمتها صفرًا في أي مكان آخر. وهذا يُبيّن تأثير مُعامل تيخونوف على رقم شرط المسألة المُنتظمة. أما في الحالة المُعمّمة، فيُمكن اشتقاق تمثيل مُشابه باستخدام تحليل القيم المفردة المُعمّم . ^{[ 29 ]}

وأخيراً، يتعلق الأمر بمرشح وينر : $${\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},}$$ حيث توجد أوزان وينر${\displaystyle f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}$و${\displaystyle q}$هي رتبة​${\displaystyle A}$.

يُدخل الصياغة الاحتمالية للمسألة العكسية (عندما تكون جميع حالات عدم اليقين غاوسية) مصفوفة تباين مشتركة${\displaystyle C_{M}}$تمثل هذه المصفوفة حالات عدم اليقين المسبقة بشأن معلمات النموذج، ومصفوفة التغاير.${\displaystyle C_{D}}$تمثل هذه القيم عدم اليقين في المعلمات المرصودة. ^{[ 30 ]} في الحالة الخاصة عندما تكون هاتان المصفوفتان قطريتين ومتناحيتين،${\displaystyle C_{M}=\sigma _{M}^{2}I}$و${\displaystyle C_{D}=\sigma _{D}^{2}I}$وفي هذه الحالة، تختزل معادلات النظرية العكسية إلى المعادلات المذكورة أعلاه، مع${\displaystyle \alpha ={\sigma _{D}}/{\sigma _{M}}}$[ ^{31 ] [ 32 ]​}

على الرغم من أن اختيار الحل لهذه المشكلة المنتظمة قد يبدو مصطنعًا في البداية، وبالفعل المصفوفة${\displaystyle \Gamma }$يبدو الأمر تعسفيًا إلى حد ما، لكن يمكن تبرير هذه العملية من وجهة نظر بايزية . ^{[ 33 ]} تجدر الإشارة إلى أنه بالنسبة للمسألة غير المحددة جيدًا، يجب بالضرورة إدخال بعض الافتراضات الإضافية للحصول على حل فريد. إحصائيًا، فإن التوزيع الاحتمالي المسبق لـ${\displaystyle x}$يُعتبر أحيانًا توزيعًا طبيعيًا متعدد المتغيرات . ^{[ 34 ]} ولتبسيط الأمر، تُفترض الافتراضات التالية: المتوسطات تساوي صفرًا؛ مكوناتها مستقلة؛ المكونات لها نفس الانحراف المعياري${\displaystyle \sigma _{x}}$كما أن البيانات عرضة للأخطاء، والأخطاء في${\displaystyle b}$يُفترض أيضًا أن تكون مستقلة بمتوسط ​​صفر وانحراف معياري${\displaystyle \sigma _{b}}$في ظل هذه الافتراضات، يُعدّ الحل المُنتظم وفقًا لنموذج تيكهونوف هو الحل الأكثر احتمالًا بالنظر إلى البيانات والتوزيع المسبق لـ${\displaystyle x}$، وفقًا لنظرية بايز . ^{[ 35 ]}

إذا تم استبدال افتراض التوزيع الطبيعي بافتراضات تجانس التباين وعدم ارتباط الأخطاء ، وإذا استمر افتراض المتوسط ​​الصفري، فإن نظرية جاوس-ماركوف تستلزم أن الحل هو المقدر الخطي الأدنى غير المتحيز . ^{[ 36 ]}

• يُعد مُقدِّر LASSO طريقة تنظيم أخرى في الإحصاء.
• التنظيم الشبكي المرن
• تنظيم المصفوفة
• منحنى على شكل حرف L

• غروبر، مارفن (1998). تحسين الكفاءة عن طريق التقليص: مُقدِّرات جيمس-شتاين وانحدار ريدج . بوكا راتون: مطبعة سي آر سي. رقم ISBN 0-8247-0156-9.
• كريس، راينر (1998). "تنظيم تيخونوف" . التحليل العددي . نيويورك: سبرينغر. ص 86-90 . ISBN  0-387-98408-9.
• بريس، دبليو إتش؛ تيوكولسكي، إس إيه؛ فيترلينغ، دبليو تي؛ فلانيري، بي بي (2007). "القسم 19.5. طرق التنظيم الخطي" . وصفات عددية: فن الحوسبة العلمية (  الطبعة الثالثة). نيويورك: مطبعة جامعة كامبريدج. ISBN 978-0-521-88068-8.
• صالح، أ.ك. محمد إحسانيس؛ أراشي، محمد؛ كبرياء، ب.م. غلام (2019). نظرية تقدير الانحدار الخطي مع تطبيقات . نيويورك: جون وايلي وأولاده. ISBN 978-1-118-64461-4.
• تادي، مات (2019). "التنظيم" . علم بيانات الأعمال: الجمع بين التعلم الآلي والاقتصاد لتحسين وأتمتة وتسريع قرارات الأعمال . نيويورك: ماكجرو هيل. ص 69-104 . ISBN  978-1-260-45277-8.