المربعات الصغرى المنتظمة

يجب تلخيص هذه المقالة في المربعات الصغرى#التنظيم وتوفير رابط من هناك إلى هنا باستخدام القالب. راجع الإرشادات في ويكيبيديا:أسلوب الملخص . ( نوفمبر 2020 ){{Main}}

جزء من سلسلة عن
تحليل الانحدار
نماذج
الانحدار الخطي الانحدار البسيط الانحدار المتعدد الحدود النموذج الخطي العام
Generalized linear model Vector generalized linear model Discrete choice Binomial regression Binary regression Logistic regression Multinomial logistic regression Mixed logit Probit Multinomial probit Ordered logit Ordered probit Poisson
Multilevel model Fixed effects Random effects Linear mixed-effects model Nonlinear mixed-effects model
Nonlinear regression Nonparametric Semiparametric Robust Quantile Isotonic Principal components Least angle Local Segmented
Errors-in-variables
Estimation
Least squares Linear Non-linear
Ordinary Weighted Generalized Generalized estimating equation
Partial Total Non-negative Ridge regression Regularized
Least absolute deviations Iteratively reweighted Bayesian Bayesian multivariate Least-squares spectral analysis
Background
Regression validation Mean and predicted response Errors and residuals Goodness of fit Studentized residual Gauss–Markov theorem
Mathematics portal
v t e

المربعات الصغرى المنتظمة ( RLS ) هي مجموعة من الطرق لحل مشكلة المربعات الصغرى مع استخدام التنظيم لتقييد الحل الناتج بشكل أكبر.

تُستخدم طريقة RLS لسببين رئيسيين. السبب الأول يظهر عندما يتجاوز عدد المتغيرات في النظام الخطي عدد الملاحظات. في مثل هذه الإعدادات، تكون مشكلة المربعات الصغرى العادية غير مناسبة وبالتالي من المستحيل أن تتناسب لأن مشكلة التحسين المرتبطة بها تحتوي على عدد لا نهائي من الحلول. تسمح طريقة RLS بإدخال قيود إضافية تحدد الحل بشكل فريد.

السبب الثاني لاستخدام RLS ينشأ عندما يعاني النموذج المتعلم من ضعف التعميم . يمكن استخدام RLS في مثل هذه الحالات لتحسين قابلية تعميم النموذج عن طريق تقييده في وقت التدريب. يمكن لهذا القيد إما أن يجبر الحل على أن يكون "متفرقًا" بطريقة ما أو يعكس معرفة سابقة أخرى حول المشكلة مثل المعلومات حول الارتباطات بين الميزات. يمكن الوصول إلى فهم بايزي لهذا من خلال إظهار أن طرق RLS غالبًا ما تكون معادلة للأولويات في حل مشكلة المربعات الصغرى.

لنفترض أن إعداد التعلم معطى بواسطة مساحة احتمالية ، . لنفترض أن هذا يمثل مجموعة تدريب من أزواج iid بالنسبة للتوزيع المشترك . لنفترض أن دالة خسارة. عرفها على أنها مساحة الدوال بحيث تكون المخاطر المتوقعة: محددة جيدًا. الهدف الرئيسي هو تقليل المخاطر المتوقعة: نظرًا لأنه لا يمكن حل المشكلة بدقة، فهناك حاجة لتحديد كيفية قياس جودة الحل. يجب أن توفر خوارزمية التعلم الجيدة للمقدر مخاطرة صغيرة. ${\displaystyle (X\times Y,\rho (X,Y))}$${\displaystyle Y\in R}$${\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}}$${\displaystyle n}$${\displaystyle \rho }$${\displaystyle V:Y\times R\to [0;\infty )}$${\displaystyle F}$$${\displaystyle \varepsilon (f)=\int V(y,f(x))\,d\rho (x,y)}$$$${\displaystyle \inf _{f\in F}\varepsilon (f)}$$

نظرًا لأن التوزيع المشترك غير معروف عادةً، يتم تحمل المخاطر التجريبية. بالنسبة للمربعات الصغرى المنتظمة، يتم تقديم دالة الخسارة التربيعية: ${\displaystyle \rho }$$${\displaystyle \varepsilon (f)={\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$$

ومع ذلك، إذا كانت الوظائف من مساحة غير مقيدة نسبيًا، مثل مجموعة الوظائف القابلة للتكامل التربيعي على ، فقد يؤدي هذا النهج إلى الإفراط في ملاءمة بيانات التدريب، ويؤدي إلى تعميم ضعيف. وبالتالي، يجب أن يقيد أو يعاقب بطريقة ما تعقيد الوظيفة . في RLS، يتم تحقيق ذلك عن طريق اختيار وظائف من مساحة هيلبرت نواة إعادة إنتاج (RKHS) ، وإضافة مصطلح تنظيم إلى دالة الهدف، متناسبًا مع معيار الوظيفة في : ${\displaystyle X}$${\displaystyle f}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$$${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$$

يمكن تعريف RKHS بواسطة دالة نواة موجبة محددة متناظرة ذات خاصية إعادة الإنتاج: حيث . تتكون RKHS للنواة من استكمال مساحة الدوال الممتدة بواسطة : ، حيث جميعها أعداد حقيقية. تتضمن بعض النوى المستخدمة بشكل شائع النواة الخطية، التي تحفز مساحة الدوال الخطية: النواة متعددة الحدود، التي تحفز مساحة الدوال متعددة الحدود من الدرجة : والنواة الغوسية: ${\displaystyle K(x,z)}$$${\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),}$$${\displaystyle K_{x}(z)=K(x,z)}$${\displaystyle K}$${\displaystyle \left\{K_{x}\mid x\in X\right\}}$${\textstyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}}$${\displaystyle \alpha _{i}}$$${\displaystyle K(x,z)=x^{\mathsf {T}}z,}$$${\displaystyle d}$$${\displaystyle K(x,z)=\left(x^{\mathsf {T}}z+1\right)^{d},}$$$${\displaystyle K(x,z)=e^{-{\left\|x-z\right\|^{2}}/{\sigma ^{2}}}.}$$

لاحظ أنه بالنسبة لدالة الخسارة التعسفية ، فإن هذا النهج يحدد فئة عامة من الخوارزميات تسمى تنظيم تيخونوف. على سبيل المثال، يؤدي استخدام خسارة المفصلة إلى خوارزمية آلة متجه الدعم ، ويؤدي استخدام الخسارة غير الحساسة للإبسيلون إلى انحدار متجه الدعم . ${\displaystyle V}$

تضمن نظرية الممثل أنه يمكن كتابة الحل على النحو التالي: بالنسبة لبعض . $${\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)}$$${\displaystyle c\in \mathbb {R} ^{n}}$

يمكن التعبير عن مشكلة التقليل على النحو التالي: حيث، مع بعض إساءة استخدام التدوين، فإن إدخال مصفوفة النواة (على عكس دالة النواة ) هو . $${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|f\right\|_{H}^{2},}$$${\displaystyle i,j}$${\displaystyle K}$${\displaystyle K(\cdot ,\cdot )}$${\displaystyle K(x_{i},x_{j})}$

لمثل هذه الوظيفة، $${\displaystyle {\begin{aligned}\left\|f\right\|_{H}^{2}&=\langle f,f\rangle _{H}\\[1ex]&=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\[1ex]&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\left\langle K(x_{i},\cdot ),K(x_{j},\cdot )\right\rangle _{H}\\&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\\&=c^{\mathsf {T}}Kc,\end{aligned}}}$$

يمكن الحصول على مشكلة التقليل التالية: $${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc.}$$

نظرًا لأن مجموع الدوال المحدبة محدب، فإن الحل فريد ويمكن إيجاد الحد الأدنى له عن طريق ضبط التدرج بالنسبة إلى : حيث${\displaystyle c}$${\displaystyle 0}$$${\displaystyle -{\frac {1}{n}}K\left(Y-Kc\right)+\lambda Kc=0\Rightarrow K\left(K+\lambda nI\right)c=KY\Rightarrow c=\left(K+\lambda nI\right)^{-1}Y,}$$${\displaystyle c\in \mathbb {R} ^{n}.}$

إن تعقيد التدريب هو في الأساس تكلفة حساب مصفوفة النواة بالإضافة إلى تكلفة حل النظام الخطي والتي تبلغ تقريبًا . إن حساب مصفوفة النواة للنواة الخطية أو الغوسية هو . إن تعقيد الاختبار هو . ${\displaystyle O(n^{3})}$${\displaystyle O(n^{2}D)}$${\displaystyle O(n)}$

التنبؤ عند نقطة الاختبار الجديدة هو: ${\displaystyle x_{*}}$$${\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^{\mathsf {T}}c}$$

لتسهيل الأمر، تم تقديم تدوين متجه. لنفترض أن المصفوفة عبارة عن متجهات إدخال ومتجه حيث تكون المدخلات عبارة عن مخرجات مقابلة. من حيث المتجهات، يمكن كتابة مصفوفة النواة على النحو التالي . يمكن كتابة دالة التعلم على النحو التالي: ${\displaystyle X}$${\displaystyle n\times d}$${\displaystyle Y}$${\displaystyle n\times 1}$${\displaystyle K=XX^{\mathsf {T}}}$$${\displaystyle f(x_{*})=K_{x_{*}}c=x_{*}^{\mathsf {T}}X^{\mathsf {T}}c=x_{*}^{\mathsf {T}}w}$$

هنا نقوم بتعريف . يمكن إعادة كتابة دالة الهدف على النحو التالي: ${\displaystyle w=X^{\mathsf {T}}c,w\in \mathbb {R} ^{d}}$$${\displaystyle {\begin{aligned}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc&={\frac {1}{n}}\left\|y-XX^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}XX^{\mathsf {T}}c\\[1ex]&={\frac {1}{n}}\left\|y-Xw\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|w\right\|_{\mathbb {R} ^{d}}^{2}\end{aligned}}}$$

المصطلح الأول هو دالة الهدف من انحدار المربعات الصغرى العادية (OLS)، والذي يتوافق مع مجموع المربعات المتبقية . المصطلح الثاني هو مصطلح تنظيم، غير موجود في المربعات الصغرى العادية، والذي يعاقب القيم الكبيرة. نظرًا لأنه يتم النظر في مشكلة ذات أبعاد محدودة سلسة، فمن الممكن تطبيق أدوات حساب التفاضل والتكامل القياسية. لتقليل دالة الهدف، يتم حساب التدرج بالنسبة إلى وتعيينه على الصفر: ${\displaystyle w}$${\displaystyle w}$$${\displaystyle X^{\mathsf {T}}Xw-X^{\mathsf {T}}y+\lambda nw=0}$$ $${\displaystyle w=\left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}X^{\mathsf {T}}y}$$

يشبه هذا الحل عن كثب حل الانحدار الخطي القياسي، مع حد إضافي . إذا كانت افتراضات الانحدار المربعات الصغرى العادية صحيحة، فإن الحل ، مع ، هو مقدر غير متحيز، وهو مقدر خطي غير متحيز ذو أدنى تباين، وفقًا لنظرية جاوس-ماركوف . وبالتالي فإن المصطلح يؤدي إلى حل متحيز؛ ومع ذلك، فإنه يميل أيضًا إلى تقليل التباين. من السهل رؤية ذلك، حيث أن مصفوفة التباين للقيم - تتناسب مع ، وبالتالي فإن القيم الكبيرة لـ ستؤدي إلى تباين أقل. لذلك، يتوافق التلاعب مع تحيز المقايضة والتباين. بالنسبة للمشاكل المتعلقة بتقديرات التباين العالي، مثل الحالات ذات الانحدارات الصغيرة نسبيًا أو ذات الانحدارات المترابطة، يمكن الحصول على دقة التنبؤ المثلى باستخدام ، وبالتالي إدخال بعض التحيز لتقليل التباين. علاوة على ذلك، ليس من غير المألوف في التعلم الآلي أن تكون هناك حالات حيث ، وفي هذه الحالة يكون هناك نقص في الرتبة ، ويكون من الضروري استخدام قيمة غير صفرية لحساب . ${\displaystyle \lambda I}$${\displaystyle w=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}y}$${\displaystyle \lambda =0}$${\displaystyle \lambda nI}$${\displaystyle w}$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle w}$${\displaystyle n}$${\displaystyle \lambda }$${\displaystyle n<d}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle \lambda }$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$

تتحكم المعلمة في قابلية عكس المصفوفة . يمكن استخدام عدة طرق لحل النظام الخطي أعلاه، وربما يكون تحلل تشوليسكي هو الطريقة المفضلة، لأن المصفوفة متماثلة ومحددة بشكل إيجابي . تكمن تعقيدات هذه الطريقة في التدريب والاختبار . التكلفة هي في الأساس تكلفة الحوسبة ، في حين أن الحساب العكسي (أو بالأحرى حل النظام الخطي) هو تقريبًا . ${\displaystyle \lambda }$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle O(nD^{2})}$${\displaystyle O(D)}$${\displaystyle O(nD^{2})}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle O(D^{3})}$

في هذا القسم، سيتم توضيح كيفية توسيع RLS إلى أي نوع من نواة إعادة الإنتاج K. بدلاً من النواة الخطية، يتم اعتبار خريطة الميزات لبعض فضاء هيلبرت ، والتي تسمى مساحة الميزات. في هذه الحالة، يتم تعريف النواة على النحو التالي: يتم استبدال المصفوفة الآن بمصفوفة البيانات الجديدة ، حيث ، أو المكون - من . وهذا يعني أنه لمجموعة تدريب معينة . وبالتالي، يمكن كتابة دالة الهدف على النحو التالي ${\displaystyle \Phi :X\to F}$${\displaystyle F}$${\displaystyle X}$${\displaystyle \Phi }$${\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})}$${\displaystyle j}$${\displaystyle \varphi (x_{i})}$$${\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.}$$${\displaystyle K=\Phi \Phi ^{\mathsf {T}}}$$${\displaystyle \min _{c\in \mathbb {R} ^{n}}\left\|Y-\Phi \Phi ^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}\Phi \Phi ^{\mathsf {T}}c.}$$

يُعرف هذا النهج باسم خدعة النواة . يمكن لهذه التقنية تبسيط العمليات الحسابية بشكل كبير. إذا كانت الأبعاد عالية، فقد تكون الحوسبة مكثفة إلى حد ما. إذا كان الشكل الصريح لدالة النواة معروفًا، فنحن نحتاج فقط إلى حساب وتخزين مصفوفة النواة . ${\displaystyle F}$${\displaystyle \varphi (x_{i})}$${\displaystyle n\times n}$${\displaystyle K}$

في الواقع، لا يلزم أن تكون مساحة هيلبرت متماثلة مع ، ويمكن أن تكون ذات أبعاد لا نهائية. يتبع هذا من نظرية ميرسر ، والتي تنص على أنه يمكن التعبير عن دالة نواة موجبة محددة ومتماثلة ومتصلة على أنها حيث تشكل أساسًا متعامدًا عموديًا لـ ، و . إذا تم تعريف خرائط الميزات بمكونات ، يتبع ذلك أن . يوضح هذا أنه يمكن ربط أي نواة بخريطة ميزات، وأن RLS تتكون عمومًا من RLS خطية يتم إجراؤها في بعض فضاءات الميزات ذات الأبعاد الأعلى المحتملة. بينما توضح نظرية ميرسر كيف يمكن ربط خريطة ميزات واحدة بنواة، في الواقع يمكن ربط خرائط ميزات متعددة بنواة إعادة إنتاج معينة. على سبيل المثال، تلبي الخريطة الخاصية لنواة إعادة إنتاج عشوائية. ${\displaystyle F}$${\displaystyle \mathbb {R} ^{m}}$$${\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)}$$${\displaystyle e_{i}(x)}$${\displaystyle \ell ^{2}(X)}$${\displaystyle \sigma _{i}\in \mathbb {R} }$${\displaystyle \varphi (x)}$${\displaystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$${\displaystyle \varphi (x)=K_{x}}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$

يمكن اعتبار المربعات الصغرى تعظيمًا للاحتمالية تحت افتراض توزيع البقايا بشكل طبيعي. وذلك لأن أس التوزيع الغاوسي تربيعي في البيانات، وكذلك دالة الهدف لأقل المربعات الصغرى. في هذا الإطار، يمكن فهم مصطلحات التنظيم لـ RLS على أنها تشفر المسبقات على . ^[1] على سبيل المثال، يتوافق تنظيم تيخونوف مع مسبقة موزعة بشكل طبيعي على مركزها 0. لرؤية هذا، لاحظ أولاً أن هدف المربعات الصغرى يتناسب مع دالة الاحتمالية اللوغاريتمية عندما يتم توزيع كل عينة بشكل طبيعي حول . ثم لاحظ أن المسبقة الطبيعية على مركزها 0 لها احتمالية لوغاريتمية من النموذج حيث و هما ثابتان يعتمدان على تباين المسبق و مستقلان عن . وبالتالي، فإن تقليل لوغاريتم الاحتمالية مضروبًا في المسبق يعادل تقليل مجموع دالة الخسارة للمربعات الصغرى العادية ومصطلح التنظيم لانحدار التلال. ${\displaystyle w}$${\displaystyle w}$${\displaystyle y^{i}}$${\displaystyle w^{\mathsf {T}}\cdot x^{i}}$${\displaystyle w}$$${\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}}$$${\displaystyle q}$${\displaystyle \alpha }$${\displaystyle w}$

وهذا يعطي تفسيرا أكثر بديهية لسبب أن تنظيم تيخونوف يؤدي إلى حل فريد لمشكلة المربعات الصغرى: هناك عدد لا نهائي من المتجهات التي تلبي القيود التي تم الحصول عليها من البيانات، ولكن بما أننا وصلنا إلى المشكلة باعتقاد مسبق يتم توزيعه بشكل طبيعي حول الأصل، فسوف ننتهي باختيار حل مع وضع هذا القيد في الاعتبار. ${\displaystyle w}$${\displaystyle w}$

تتوافق طرق التنظيم الأخرى مع الأولويات المختلفة. راجع القائمة أدناه لمزيد من التفاصيل.

أحد الخيارات الشائعة بشكل خاص لدالة الجزاء هو المعيار التربيعي ، أي، الأسماء الأكثر شيوعًا لهذا تسمى تنظيم تيخونوف والانحدار التلالي . إنه يسمح بحل مغلق الشكل لـ : يشير اسم الانحدار التلالي إلى حقيقة أن المصطلح يضيف إدخالات موجبة على طول "التلال" القطرية لمصفوفة تباين العينة . ${\displaystyle R}$${\displaystyle \ell _{2}}$$${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$$ $${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}\left|w_{j}\right|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$${\displaystyle w}$$${\displaystyle w=\left(X^{\mathsf {T}}X+\lambda I\right)^{-1}X^{\mathsf {T}}Y}$$${\displaystyle \lambda I}$ ${\displaystyle X^{\mathsf {T}}X}$

عندما ، أي في حالة المربعات الصغرى العادية ، الشرط الذي يجعل مصفوفة تباين العينة لا تحتوي على رتبة كاملة وبالتالي لا يمكن عكسها لإنتاج حل فريد. هذا هو السبب في أنه يمكن أن يكون هناك عدد لا نهائي من الحلول لمشكلة المربعات الصغرى العادية عندما . ومع ذلك، عندما ، أي عند استخدام الانحدار التلالي، فإن إضافة إلى مصفوفة تباين العينة تضمن أن تكون جميع قيمها الذاتية أكبر تمامًا من 0. بعبارة أخرى، تصبح قابلة للعكس، ويصبح الحل فريدًا. ${\displaystyle \lambda =0}$${\displaystyle d>n}$ ${\displaystyle X^{\mathsf {T}}X}$${\displaystyle d>n}$${\displaystyle \lambda >0}$${\displaystyle \lambda I}$

بالمقارنة مع المربعات الصغرى العادية، فإن الانحدار التلالي ليس غير متحيز. فهو يقبل التحيز لتقليل التباين وخطأ المربع المتوسط .

تعد طريقة الاختيار والانكماش الأقل مطلقًا (LASSO) خيارًا شائعًا آخر. في انحدار لاسو ، تكون دالة عقوبة لاسو هي القاعدة ، أي ${\displaystyle R}$${\displaystyle \ell _{1}}$$${\displaystyle R(w)=\sum _{j=1}^{d}\left|w_{j}\right|}$$ $${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

لاحظ أن دالة عقوبة اللاسو محدبة ولكنها ليست محدبة تمامًا. على عكس تنظيم تيخونوف ، لا يحتوي هذا المخطط على حل ملائم في شكل مغلق: بدلاً من ذلك، يتم العثور على الحل عادةً باستخدام البرمجة التربيعية أو طرق تحسين محدبة أكثر عمومية ، بالإضافة إلى خوارزميات محددة مثل خوارزمية الانحدار بأقل زاوية .

الفرق المهم بين الانحدار باستخدام لاسو وتنظيم تيخونوف هو أن الانحدار باستخدام لاسو يجبر عددًا أكبر من المدخلات على أن تساوي 0 بالفعل مقارنة بما كان ليكون بخلاف ذلك. وعلى النقيض من ذلك، في حين يجبر تنظيم تيخونوف مدخلات على أن تكون صغيرة، فإنه لا يجبر عددًا أكبر منها على أن تكون 0 مقارنة بما كان ليكون بخلاف ذلك. وبالتالي، فإن تنظيم لاسو أكثر ملاءمة من تنظيم تيخونوف في الحالات التي نتوقع فيها أن يكون عدد المدخلات غير الصفرية في صغيرًا، ويكون تنظيم تيخونوف أكثر ملاءمة عندما نتوقع أن تكون مدخلات في صغيرة بشكل عام ولكنها ليست بالضرورة صفرًا. ويعتمد أي من هذه الأنظمة أكثر أهمية على مجموعة البيانات المحددة بين أيدينا. ${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$

بالإضافة إلى اختيار الميزات الموصوف أعلاه، فإن LASSO لديه بعض القيود. يوفر الانحدار التلالي دقة أفضل في حالة المتغيرات ذات الارتباط الشديد. ^[2] في حالة أخرى، يختار LASSO معظم المتغيرات. علاوة على ذلك، يميل LASSO إلى اختيار بعض المتغيرات التعسفية من مجموعة من العينات ذات الارتباط الشديد، لذلك لا يوجد تأثير تجميعي. ${\displaystyle n>d}$${\displaystyle n<d}$${\displaystyle n}$

$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \left\|w_{j}\right\|_{0}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$ الطريقة الأكثر تطرفًا لفرض الندرة هي القول بأن الحجم الفعلي لمعاملات لا يهم؛ بل إن الشيء الوحيد الذي يحدد تعقيد هو عدد الإدخالات غير الصفرية. وهذا يتوافق مع الإعداد ليكون معيارًا لـ . هذه الدالة التنظيمية، على الرغم من جاذبيتها للندرة التي تضمنها، إلا أنه من الصعب جدًا حلها لأن القيام بذلك يتطلب تحسين دالة ليست حتى محدبة بشكل ضعيف . انحدار لاسو هو الحد الأدنى الممكن لتخفيف العقوبة الذي ينتج عنه مشكلة تحسين محدبة بشكل ضعيف. ${\displaystyle w}$${\displaystyle w}$${\displaystyle R(w)}$${\displaystyle \ell _{0}}$${\displaystyle w}$${\displaystyle \ell _{0}}$

لأي غير سلبي والهدف له الشكل التالي: ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{d}\left|w_{j}\right|+\lambda _{2}\sum _{j=1}^{d}\left|w_{j}\right|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

ليكن ، إذن حل مسألة التقليل يوصف على النحو التالي: بالنسبة لبعض . ${\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}{\text{ s.t. }}(1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$$${\displaystyle t}$

اعتبرها دالة عقوبة الشبكة المرنة. ${\displaystyle (1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$

عندما تصبح الشبكة المرنة انحدارًا على شكل سلسلة، في حين تصبح لاسو. لا تحتوي دالة عقوبة الشبكة المرنة على المشتقة الأولى عند 0 وهي محدبة تمامًا مع أخذ خصائص كل من انحدار لاسو وانحدار السلسلة . ${\displaystyle \alpha =1}$${\displaystyle \alpha =0}$${\displaystyle \forall \alpha \in (0,1]}$${\displaystyle \forall \alpha >0}$

من أهم خصائص الشبكة المرنة أنها تستطيع اختيار مجموعات من المتغيرات المترابطة. الفرق بين متجهات الوزن للعينات و يعطى بواسطة: حيث . ^[3]${\displaystyle x_{i}}$${\displaystyle x_{j}}$$${\displaystyle \left|w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2})\right|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}},}$$${\displaystyle \rho _{ij}=x_{i}^{\mathsf {T}}x_{j}}$

إذا كانت و مترابطتين بشكل كبير ( )، فإن متجهات الوزن تكون قريبة جدًا. في حالة العينات المرتبطة سلبًا ( ) يمكن أخذ العينات . باختصار، بالنسبة للمتغيرات المرتبطة بشكل كبير، تميل متجهات الوزن إلى أن تكون متساوية حتى علامة في حالة المتغيرات المرتبطة سلبًا. ${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \rho _{ij}\to 1}$${\displaystyle \rho _{ij}\to -1}$${\displaystyle -x_{j}}$

فيما يلي قائمة بالاختيارات الممكنة لوظيفة التنظيم ، بالإضافة إلى اسم كل منها، والأسبقية المقابلة إذا كانت بسيطة، وطرق حساب الحل لمشكلة التحسين الناتجة. ${\displaystyle R(\cdot )}$

اسم	وظيفة التنظيم	المقابلة السابقة	طرق الحل
تنظيم تيخونوف	${\displaystyle \left\|w\right\|_{2}^{2}}$	طبيعي	نموذج مغلق
انحدار لاسو	${\displaystyle \left\|w\right\|_{1}}$	لابلاس	انحدار التدرج القريب ، انحدار الزاوية الأقل
${\displaystyle \ell _{0}}$عقوبة	${\displaystyle \left\|w\right\|_{0}}$	-	الاختيار الأمامي ، الإزالة العكسية ، استخدام المسبقات مثل السنبلة والشريحة
شبكات مرنة	${\displaystyle \beta \left\|w\right\|_{1}+(1-\beta )\left\|w\right\|_{2}^{2}}$	خليط عادي ولابلاس	نزول التدرج القريب
تنظيم التباين الكلي	${\displaystyle \sum _{j=1}^{d-1}\left|w_{j+1}-w_{j}\right|}$	-	طريقة سبليت-بريجمان، من بين طرق أخرى

• المربعات الصغرى
• التنظيم في الرياضيات.
• خطأ التعميم ، أحد أسباب استخدام التنظيم.
• تنظيم تيخونوف
• انحدار لاسو
• تنظيم الشبكة المرنة
• الانحدار ذو الزاوية الأصغر

• http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf التنظيم واختيار المتغيرات عبر الشبكة المرنة (عرض تقديمي)
• المربعات الصغرى المنتظمة وآلات المتجهات الداعمة (عرض تقديمي)
• المربعات الصغرى المنتظمة(عرض تقديمي)