لاسو (إحصائيات)

في الإحصاء والتعلم الآلي ، لاسو ( أقل عامل انكماش واختيار مطلق ؛ ويُعرف أيضًا باسم لاسو أو لاسو ) هي طريقة تحليل انحدار تقوم بكل من اختيار المتغيرات والتنظيم من أجل تعزيز دقة التنبؤ وقابلية تفسير النموذج الإحصائي الناتج . تفترض طريقة لاسو أن معاملات النموذج الخطي متفرقة، مما يعني أن القليل منها غير صفري. تم تقديمه في الأصل في الجيوفيزياء ، ^[1] وبعد ذلك بواسطة روبرت تيبشيراني ، ^[2] الذي صاغ المصطلح.

تم صياغة لاسو في الأصل لنماذج الانحدار الخطي . تكشف هذه الحالة البسيطة عن قدر كبير من المعلومات حول المقدر. وتشمل هذه المعلومات علاقته بالانحدار التلالي واختيار أفضل مجموعة فرعية والارتباطات بين تقديرات معامل لاسو وما يسمى بالعتبة الناعمة. كما تكشف أيضًا أنه (مثل الانحدار الخطي القياسي) لا يلزم أن تكون تقديرات المعاملات فريدة إذا كانت المتغيرات المصاحبة متزامنة .

على الرغم من تعريفه في الأصل للانحدار الخطي، فإن تنظيم لاسو يمتد بسهولة إلى نماذج إحصائية أخرى بما في ذلك النماذج الخطية المعممة ومعادلات التقدير المعممة ونماذج المخاطر النسبية ومقدرات M. ^{[2] [3]} تعتمد قدرة لاسو على إجراء اختيار المجموعة الفرعية على شكل القيد ولديها مجموعة متنوعة من التفسيرات بما في ذلك من حيث الهندسة والإحصاءات البايزية والتحليل المحدب .

يرتبط LASSO ارتباطًا وثيقًا بإزالة الضوضاء من خلال متابعة القاعدة .

تم تقديم Lasso بهدف تحسين دقة التنبؤ وقابلية تفسير نماذج الانحدار. فهو يختار مجموعة مختصرة من المتغيرات المشتركة المعروفة لاستخدامها في النموذج. ^{[2] [1]}

تم تطوير Lasso بشكل مستقل في أدبيات الجيوفيزياء في عام 1986، بناءً على العمل السابق الذي استخدم العقوبة لكل من الملاءمة ومعاقبة المعاملات. أعاد الإحصائي روبرت تيبشيراني اكتشافه ونشره بشكل مستقل في عام 1996، بناءً على خنق بريمان غير السلبي. ^{[1] [4]}${\displaystyle \ell ^{1}}$

قبل ظهور اللاسو، كانت الطريقة الأكثر استخدامًا لاختيار المتغيرات المشتركة هي الاختيار التدريجي . لا يؤدي هذا النهج إلى تحسين دقة التنبؤ إلا في حالات معينة، مثل عندما يكون لعدد قليل فقط من المتغيرات المشتركة علاقة قوية بالنتيجة. ومع ذلك، في حالات أخرى، قد يؤدي ذلك إلى زيادة خطأ التنبؤ.

في ذلك الوقت، كان الانحدار التلالي هو الأسلوب الأكثر شيوعًا لتحسين دقة التنبؤ. يعمل الانحدار التلالي على تحسين خطأ التنبؤ عن طريق تقليص مجموع مربعات معاملات الانحدار ليكون أقل من قيمة ثابتة من أجل تقليل الإفراط في التجهيز ، ولكنه لا يقوم باختيار المتغيرات المشتركة وبالتالي لا يساعد في جعل النموذج أكثر قابلية للتفسير.

يحقق لاسو كلا الهدفين من خلال إجبار مجموع القيمة المطلقة لمعاملات الانحدار على أن يكون أقل من قيمة ثابتة، مما يجبر معاملات معينة على الصفر، مما يستبعدها من التأثير على التنبؤ. هذه الفكرة تشبه الانحدار التلالي، الذي يقلص أيضًا حجم المعاملات؛ ومع ذلك، لا يضبط الانحدار التلالي المعاملات على الصفر (وبالتالي، لا يقوم باختيار المتغيرات ).

لنفترض أن عينة تتكون من N حالة، كل منها تتكون من p متغيرات مشتركة ونتيجة واحدة. لنفترض أن النتيجة و متجه المتغير المشترك للحالة ⁱ . إذن، فإن هدف اللاسو هو حل ^[2]${\displaystyle y_{i}}$${\displaystyle x_{i}:=(x_{1},x_{2},\ldots ,x_{p})_{i}^{T}}$ $${\displaystyle \min _{\beta _{0},\beta }{\biggl \{}\sum _{i=1}^{N}{\bigl (}y_{i}-\beta _{0}-x_{i}^{T}\beta {\bigr )}^{2}{\biggr \}}{\text{ خاضع لـ }}\sum _{j=1}^{p}|\beta _{j}|\leq t.}$$

هذا هو المعامل الثابت، وهو متجه المعامل، وهو معلمة حرة محددة مسبقًا تحدد درجة التنظيم. ${\displaystyle \beta _{0}}$${\displaystyle \beta :=(\beta _{1},\beta _{2},\ldots ,\beta _{p})}$${\displaystyle t}$

لنفترض أن مصفوفة المتغير المشترك، بحيث يكون و هو ^الصف i من ، يمكن كتابة التعبير بشكل أكثر إحكاما على النحو التالي حيث يكون هو المعيار القياسي . ${\displaystyle X}$${\displaystyle X_{ij}=(x_{i})_{j}}$${\displaystyle x_{i}^{T}}$ ${\displaystyle X}$$${\displaystyle \min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ خاضع لـ }}\|\beta \|_{1}\leq t,}$$${\displaystyle \|u\|_{p}={\biggl (}\sum _{i=1}^{N}|u_{i}|^{p}{\biggr )}^{1/p}}$${\displaystyle \ell ^{p}}$

بالإشارة إلى المتوسط ​​القياسي لنقاط البيانات بواسطة ومتوسط ​​متغيرات الاستجابة بواسطة ، فإن التقدير الناتج لـ هو ، وبالتالي فإن من المعتاد العمل مع المتغيرات التي تم جعل متوسطها صفريًا. بالإضافة إلى ذلك، يتم توحيد المتغيرات المشتركة عادةً بحيث لا يعتمد الحل على مقياس القياس. ${\displaystyle x_{i}}$${\displaystyle {\bar {x}}}$${\displaystyle y_{i}}$${\displaystyle {\bar {y}}}$${\displaystyle \beta _{0}}$${\displaystyle {\hat {\beta }}_{0}={\bar {y}}-{\bar {x}}^{T}\beta }$$${\displaystyle y_{i}-{\hat {\beta }}_{0}-x_{i}^{T}\beta =y_{i}-({\bar {y}}-{\bar {x}}^{T}\beta )-x_{i}^{T}\beta =(y_{i}-{\bar {y}})-(x_{i}-{\bar {x}})^{T}\beta ,}$$ ${\textstyle {\bigl (}\مجموع _{i=1}^{N}x_{i}^{2}=1{\bigr )}}$

قد يكون من المفيد إعادة الكتابة في ما يسمى بنموذج لاغرانج حيث تعتمد العلاقة الدقيقة بين و على البيانات. $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|yX\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t.}$$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|yX\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}}$$${\displaystyle t}$${\displaystyle \lambda }$

يمكن الآن النظر في بعض الخصائص الأساسية لمقدر اللاسو.

بالافتراض أولاً أن المتغيرات المشتركة متعامدة عمودية بحيث ، حيث تكون دلتا كرونيكر ، أو على نحو مكافئ ، ثم باستخدام طرق التدرج الفرعي ، يمكن إظهار أن ^[2] يشار إليها باسم عامل العتبة الناعمة ، لأنه يترجم القيم نحو الصفر (مما يجعلها صفرًا تمامًا إذا كانت صغيرة بدرجة كافية) بدلاً من تعيين القيم الأصغر إلى الصفر وترك القيم الأكبر دون مساس كما يفعل عامل العتبة الصارم ، والذي يُشار إليه غالبًا بـ . ${\displaystyle x_{i}^{T}x_{j}=\delta _{ij}}$${\displaystyle \delta _{ij}}$${\displaystyle X^{T}X=I}$ $${\displaystyle {\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}})={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\max {\Biggl (}0,1-{\frac {N\lambda }{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}\\&{\text{ where }}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}=(X^{T}X)^{-1}X^{T}y=X^{T}y\end{aligned}}}$$ ${\displaystyle S_{\alpha }}$${\displaystyle H_{\alpha }}$

في الانحدار التلالي، الهدف هو التقليل $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}\right\}}$$

وباستخدام صيغة الانحدار التلالي: [ ^5] نحصل على: ${\displaystyle X^{T}X=I}$${\displaystyle {\hat {\beta }}=\left((X^{T}X)+N\lambda I\right)^{-1}X^{T}y}$$${\displaystyle {\hat {\beta }}_{j}=(1+N\lambda )^{-1}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}.}$$

يؤدي الانحدار التلالي إلى تقليص جميع المعاملات بعامل موحد ولا يضبط أي معاملات على الصفر. ^[6]${\displaystyle (1+N\lambda )^{-1}}$

يمكن أيضًا مقارنتها بالانحدار مع أفضل اختيار للمجموعة الفرعية ، حيث يكون الهدف هو تقليل حيث هو " المعيار"، والذي يتم تعريفه كما لو كانت مكونات m بالضبط من z غير صفرية. في هذه الحالة، يمكن إظهار أن حيث هي ما يسمى دالة العتبة الصعبة و هي دالة مؤشر (تكون 1 إذا كانت حجتها صحيحة و 0 بخلاف ذلك). $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{0}\right\}}$$${\displaystyle \|\cdot \|_{0}}$${\displaystyle \ell ^{0}}$${\displaystyle \|z\|=m}$$${\displaystyle {\hat {\beta }}_{j}=H_{\sqrt {N\lambda }}\left({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\right)={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\mathrm {I} \left({\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}\geq {\sqrt {N\lambda }}\right)}$$${\displaystyle H_{\alpha }}$${\displaystyle \mathrm {I} }$

لذلك، تشترك تقديرات لاسو في سمات كل من الانحدار التلالي وانحدار اختيار أفضل مجموعة فرعية، حيث يعمل كلاهما على تقليص حجم جميع المعاملات، مثل الانحدار التلالي، وتعيين بعضها إلى الصفر، كما هو الحال في حالة اختيار أفضل مجموعة فرعية. بالإضافة إلى ذلك، بينما يقوم الانحدار التلالي بقياس جميع المعاملات بعامل ثابت، فإن لاسو بدلاً من ذلك يترجم المعاملات نحو الصفر بقيمة ثابتة ويضبطها على الصفر إذا وصلت إليها.

في حالة خاصة واحدة، يكون متغيران متماثلان، لنقل j و k ، متطابقين لكل ملاحظة، بحيث ، حيث . ثم لا يتم تحديد قيم و التي تقلل من دالة الهدف لاسو بشكل فريد. في الواقع، إذا كان بعضها حيث ، فإذا استبدلت بـ و بـ ، مع إبقاء جميع القيم الأخرى ثابتة، يعطي حلًا جديدًا، وبالتالي فإن دالة الهدف لاسو لديها استمرارية من المقلصات الصالحة. ^[7] تم تصميم العديد من المتغيرات من لاسو، بما في ذلك التنظيم الشبكي المرن ، لمعالجة هذا القصور. ${\displaystyle x_{(j)}=x_{(k)}}$${\displaystyle x_{(j),i}=x_{(k),i}}$${\displaystyle \beta _{j}}$${\displaystyle \beta _{k}}$${\displaystyle {\hat {\beta }}}$${\displaystyle {\hat {\beta }}_{j}{\hat {\beta }}_{k}\geq 0}$${\displaystyle s\in [0,1]}$${\displaystyle {\hat {\beta }}_{j}}$${\displaystyle s({\hat {\beta }}_{j}+{\hat {\beta }}_{k})}$${\displaystyle {\hat {\beta }}_{k}}$${\displaystyle (1-s)({\hat {\beta }}_{j}+{\hat {\beta }}_{k})}$${\displaystyle {\hat {\beta }}_{i}}$

يمكن توسيع نطاق تنظيم لاسو ليشمل وظائف موضوعية أخرى مثل تلك الخاصة بالنماذج الخطية المعممة ومعادلات التقدير المعممة ونماذج المخاطر النسبية ومقدرات M. ^{[2] [3]} ونظرًا للدالة الموضوعية، فإن إصدار لاسو المنظم للمقدر هو الحل لـ حيث يتم معاقبة فقط بينما يكون حرًا في أخذ أي قيمة مسموح بها، تمامًا كما لم يتم معاقبته في الحالة الأساسية. $${\displaystyle {\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )}$$$${\displaystyle \min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta ){\text{ subject to }}\|\beta \|_{1}\leq t}$$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle \beta _{0}}$

يمكن لـ Lasso ضبط المعاملات على الصفر، بينما لا يمكن لانحدار التلال المتشابه ظاهريًا القيام بذلك. ويرجع هذا إلى الاختلاف في شكل حدود القيد الخاصة بهما. يمكن تفسير كل من انحدار Lasso وRedge على أنهما يقللان من نفس دالة الهدف ولكن فيما يتعلق بقيود مختلفة: بالنسبة لـ Lasso و Redge. يوضح الشكل أن منطقة القيد التي يحددها المعيار هي مربع مدور بحيث تقع زواياه على المحاور (بشكل عام متعدد السطوح المتقاطع )، بينما المنطقة التي يحددها المعيار هي دائرة (بشكل عام كرة n ) ، وهي ثابتة دورانيًا ، وبالتالي ليس لها زوايا. كما هو موضح في الشكل، من المرجح أن يواجه الجسم المحدب الذي يقع مماسًا للحدود، مثل الخط الموضح، زاوية (أو ما يعادلها من أبعاد أعلى) من مكعب فائق، حيث تكون بعض مكوناته مساوية للصفر بشكل متطابق، بينما في حالة الكرة ذات n ، فإن النقاط على الحدود حيث تكون بعض مكوناته مساوية للصفر لا يمكن تمييزها عن النقاط الأخرى، ومن غير المرجح أن يتصل الجسم المحدب بنقطة حيث تكون بعض مكوناته مساوية للصفر أكثر من نقطة حيث لا تكون أي منها مساوية للصفر. $${\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}}$$${\displaystyle \|\beta \|_{1}\leq t}$${\displaystyle \|\beta \|_{2}^{2}\leq t}$${\displaystyle \ell ^{1}}$${\displaystyle \ell ^{2}}$ ${\displaystyle \beta }$${\displaystyle \beta }$${\displaystyle \beta }$

يمكن إعادة قياس اللاسو بحيث يسهل توقع درجة الانكماش المرتبطة بقيمة معينة من . ^[8] يُفترض أن يتم توحيده باستخدام درجات z وأن يكون مركزًا (متوسط ​​صفري). لنمثل معاملات الانحدار المفترضة ولنشير إلى حلول المربعات الصغرى العادية المُحسَّنة بالبيانات. يمكننا بعد ذلك تعريف لاجرانج على أنه مقايضة بين دقة الحلول المُحسَّنة بالبيانات داخل العينة وبساطة الالتزام بالقيم المفترضة. [ ^9] ينتج عن هذا حيث يتم تحديده أدناه ويرمز الرمز "الأساسي" إلى النقل. يمثل الكسر الأول الدقة النسبية، ويمثل الكسر الثاني البساطة النسبية، ويوازن بين الاثنين. ${\displaystyle \lambda }$${\displaystyle X}$${\displaystyle y}$${\displaystyle \beta _{0}}$${\displaystyle b_{\text{OLS}}}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {(y-X\beta )'(y-X\beta )}{(y-X\beta _{0})'(y-X\beta _{0})}}+2\lambda \sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{q_{i}}}\right\}}$$${\displaystyle q_{i}}$${\displaystyle \lambda }$

بالنظر إلى متراجع واحد، يمكن تعريف البساطة النسبية من خلال تحديد ، وهو الحد الأقصى لمقدار الانحراف عن عندما . بافتراض أن ، يمكن تعريف مسار الحل من حيث : إذا ، يتم استخدام حل المربعات الصغرى العادية (OLS). يتم اختيار القيمة المفترضة لـ إذا كانت أكبر من . علاوة على ذلك، إذا ، فإن ذلك يمثل التأثير النسبي لـ . بعبارة أخرى، يقيس من حيث النسبة المئوية الحد الأدنى لمقدار تأثير القيمة المفترضة بالنسبة إلى حل المربعات الصغرى العادية المحسن للبيانات. ${\displaystyle q_{i}}$${\displaystyle |b_{\text{OLS}}-\beta _{0}|}$${\displaystyle \beta _{0}}$${\displaystyle \lambda =0}$${\displaystyle \beta _{0}=0}$${\displaystyle R^{2}}$$${\displaystyle b_{\ell _{1}}={\begin{cases}(1-\lambda /R^{2})b_{\text{OLS}}&{\mbox{if }}\lambda \leq R^{2},\\0&{\mbox{if }}\lambda >R^{2}.\end{cases}}}$$${\displaystyle \lambda =0}$${\displaystyle \beta _{0}=0}$${\displaystyle \lambda }$${\displaystyle R^{2}}$${\displaystyle R^{2}=1}$${\displaystyle \lambda }$${\displaystyle \beta _{0}=0}$${\displaystyle \lambda \times 100\%}$

إذا تم استخدام معيار - لمعاقبة الانحرافات عن الصفر مع وجود متغير انحدار واحد، فإن مسار الحل يُعطى بواسطة مثل يتحرك في اتجاه النقطة عندما يكون قريبًا من الصفر؛ ولكن على عكس ، فإن تأثير يتضاءل في إذا يزداد (انظر الشكل). مع وجود متغيرات انحدار متعددة، فإن اللحظة التي يتم فيها تنشيط المعلمة (أي السماح لها بالانحراف عن ) يتم تحديدها أيضًا من خلال مساهمة المتغير الانحداري في الدقة. أولاً، يعني أن 75% أن الدقة داخل العينة تتحسن بنسبة 75% إذا تم استخدام حلول المربعات الصغرى العادية غير المقيدة بدلاً من القيم المفترضة. يمكن حساب المساهمة الفردية للانحراف عن كل فرضية باستخدام مصفوفة x حيث . إذا تم حساب عندما ، فإن العناصر القطرية لمجموع إلى . قد تكون القيم القطرية أصغر من 0 أو، في حالات نادرة، أكبر من 1. إذا كانت المتغيرات الانحدارية غير مرتبطة، فإن العنصر القطري لـ يتوافق ببساطة مع القيمة بين و . ${\displaystyle \ell _{2}}$$${\displaystyle b_{\ell _{2}}=\left(1+{\frac {\lambda }{R^{2}(1-\lambda )}}\right)^{-1}b_{\text{OLS}}.}$$${\displaystyle b_{\ell _{1}}}$${\displaystyle b_{\ell _{2}}}$${\displaystyle (\lambda =R^{2},b=0)}$${\displaystyle \lambda }$${\displaystyle b_{\ell _{1}}}$${\displaystyle R^{2}}$${\displaystyle b_{\ell _{2}}}$${\displaystyle \lambda }$
${\displaystyle \beta _{0}}$${\displaystyle R^{2}}$$${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$$${\displaystyle R^{2}}$${\displaystyle \beta _{0}}$${\displaystyle p}$${\displaystyle p}$$${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$$${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$${\displaystyle b=b_{\text{OLS}}}$${\displaystyle R^{2}}$${\displaystyle R^{\otimes }}$${\displaystyle R^{2}}$${\displaystyle R^{\otimes }}$${\displaystyle i^{th}}$${\displaystyle R^{\otimes }}$${\displaystyle r^{2}}$${\displaystyle x_{i}}$${\displaystyle y}$

يمكن الحصول على نسخة معدلة الحجم من اللاسو التكيفي لـ من خلال ضبط . ^[10] إذا كانت المتغيرات غير مرتبطة، فإن اللحظة التي يتم فيها تنشيط المعلمة تُعطى بواسطة العنصر القطري لـ . بافتراض أن يكون متجهًا من الأصفار، أي إذا كانت المتغيرات غير مرتبطة، يحدد مرة أخرى الحد الأدنى لتأثير . حتى عندما تكون المتغيرات مرتبطة، تحدث المرة الأولى التي يتم فيها تنشيط معلمة الانحدار عندما يساوي أعلى عنصر قطري لـ . ${\displaystyle q_{{\mbox{adaptive lasso}},i}=|b_{{\text{OLS}},i}-\beta _{0,i}|}$${\displaystyle i^{th}}$${\displaystyle i^{th}}$${\displaystyle R^{\otimes }}$${\displaystyle \beta _{0}}$$${\displaystyle b_{i}={\begin{cases}(1-\lambda /R_{ii}^{\otimes })b_{{\text{OLS}},i}&{\text{if }}\lambda \leq R_{ii}^{\otimes },\\0&{\text{if }}\lambda >R_{ii}^{\otimes }.\end{cases}}}$$${\displaystyle \lambda }$${\displaystyle \beta _{0}}$${\displaystyle \lambda }$${\displaystyle R^{\otimes }}$

يمكن مقارنة هذه النتائج بإصدار مُعاد قياسه من اللاسو من خلال تعريف ، وهو الانحراف المطلق المتوسط ​​لـ من . بافتراض أن المتغيرات غير مترابطة، فإن لحظة تنشيط المتغيرات تُعطى بواسطة ${\displaystyle q_{{\mbox{lasso}},i}={\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|}$${\displaystyle b_{\text{OLS}}}$${\displaystyle \beta _{0}}$${\displaystyle i^{th}}$$${\displaystyle {\tilde {\lambda }}_{{\text{lasso}},i}={\frac {1}{p}}{\sqrt {R_{i}^{\otimes }}}\sum _{l=1}^{p}{\sqrt {R_{l}^{\otimes }}}.}$$

بالنسبة لـ ، فإن لحظة التنشيط تُعطى مرة أخرى بواسطة . إذا كان متجهًا من الأصفار وكانت مجموعة فرعية من المعلمات ذات الصلة مسؤولة بشكل متساوٍ عن الملاءمة المثالية لـ ، فإن هذه المجموعة الفرعية يتم تنشيطها بقيمة . ثم تساوي لحظة تنشيط المتراجع ذي الصلة . بعبارة أخرى، يؤدي تضمين المتراجعات غير ذات الصلة إلى تأخير اللحظة التي يتم فيها تنشيط المتراجعات ذات الصلة بواسطة هذا اللاسو المعاد قياسه. اللاسو التكيفي واللسو هما حالتان خاصتان لمقدر "1ASTc". يقوم الأخير بتجميع المعلمات معًا فقط إذا كان الارتباط المطلق بين المتراجعين أكبر من قيمة محددة من قبل المستخدم. ^[8]${\displaystyle p=1}$${\displaystyle {\tilde {\lambda }}_{{\text{lasso}},i}=R^{2}}$${\displaystyle \beta _{0}}$${\displaystyle p_{B}}$${\displaystyle R^{2}=1}$${\displaystyle \lambda }$${\displaystyle {\frac {1}{p}}}$${\displaystyle {\frac {1}{p}}{\frac {1}{\sqrt {p_{B}}}}p_{B}{\frac {1}{\sqrt {p_{B}}}}={\frac {1}{p}}}$

تمامًا كما يمكن تفسير الانحدار التلالي على أنه انحدار خطي حيث تم تعيين معاملاته لتوزيعات سابقة طبيعية ، يمكن تفسير اللاسو على أنه انحدار خطي حيث تكون معاملاته لها توزيعات لابلاس سابقة . يبلغ توزيع لابلاس ذروته بشكل حاد عند الصفر (مشتقه الأول غير متصل عند الصفر) ويركز كتلة احتمالاته أقرب إلى الصفر مقارنة بالتوزيع الطبيعي. يوفر هذا تفسيرًا بديلًا لسبب ميل اللاسو إلى تعيين بعض المعاملات على الصفر، بينما لا يفعل الانحدار التلالي ذلك. ^[2]

يمكن أيضًا اعتبار Lasso بمثابة استرخاء محدب لمشكلة الانحدار لاختيار أفضل مجموعة فرعية، والتي تتمثل في إيجاد مجموعة فرعية من المتغيرات المشتركة التي تؤدي إلى أصغر قيمة لدالة الهدف لبعض الثابتات ، حيث n هو العدد الإجمالي للمتغيرات المشتركة. " المعيار"، ، (عدد الإدخالات غير الصفرية لمتجه)، هو الحالة الحدية لـ " المعايير"، من النموذج (حيث تشير علامات الاقتباس إلى أن هذه ليست معايير حقًا لـ بما أنها ليست محدبة لـ ، وبالتالي فإن متباينة المثلث لا تصمد). لذلك، بما أن p = 1 هي أصغر قيمة يكون فيها " المعيار" محدبًا (وبالتالي فهو في الواقع معيار)، فإن Lasso هو، بمعنى ما، أفضل تقريب محدب لمشكلة اختيار أفضل مجموعة فرعية، حيث أن المنطقة المحددة بواسطة هي الغلاف المحدب للمنطقة المحددة بواسطة لـ . ${\displaystyle \leq k}$${\displaystyle k\leq n}$${\displaystyle \ell ^{0}}$${\displaystyle \|\cdot \|_{0}}$${\displaystyle \ell ^{p}}$${\displaystyle \textstyle \|x\|_{p}=\left(\sum _{i=1}^{n}|x_{j}|^{p}\right)^{1/p}}$${\displaystyle p<1}$${\displaystyle \|\cdot \|_{p}}$${\displaystyle p<1}$${\displaystyle \ell ^{p}}$${\displaystyle \|x\|_{1}\leq t}$${\displaystyle \|x\|_{p}\leq t}$${\displaystyle p<1}$

تم إنشاء متغيرات لاسو من أجل معالجة القيود التي فرضتها التقنية الأصلية وجعل الطريقة أكثر فائدة لمشاكل معينة. تركز جميع هذه المتغيرات تقريبًا على احترام أو استغلال التبعيات بين المتغيرات المشتركة.

تضيف عملية التنظيم الشبكي المرن عقوبة إضافية تشبه الانحدار التلالي والتي تعمل على تحسين الأداء عندما يكون عدد المتنبئين أكبر من حجم العينة، وتسمح للطريقة باختيار المتغيرات المرتبطة بقوة معًا، وتحسين دقة التنبؤ الإجمالية. ^[7]

يسمح حبل المجموعة باختيار مجموعات من المتغيرات المشتركة ذات الصلة كوحدة واحدة، وهو ما قد يكون مفيدًا في الإعدادات حيث لا يكون من المنطقي تضمين بعض المتغيرات المشتركة دون غيرها. ^[11] تؤدي التوسعات الإضافية لحبل المجموعة إلى اختيار المتغيرات داخل مجموعات فردية (حبل المجموعة المتفرق) وتسمح بالتداخل بين المجموعات (حبل المجموعة المتداخل). ^{[12] [13]}

يمكن أن يفسر اللاسو المندمج الخصائص المكانية أو الزمنية لمشكلة ما، مما يؤدي إلى تقديرات تتوافق بشكل أفضل مع بنية النظام. ^[14] يمكن ملاءمة النماذج المنظمة باستخدام اللاسو باستخدام تقنيات تشمل طرق التدرج الفرعي ، والانحدار بأقل زاوية (LARS)، وطرق التدرج القريب . يعد تحديد القيمة المثلى لمعلمة التنظيم جزءًا مهمًا من ضمان أداء النموذج بشكل جيد؛ يتم اختياره عادةً باستخدام التحقق المتبادل .

في عام 2005، قدم زو وهاستي الشبكة المرنة . ^[7] عندما يكون p  >  n (عدد المتغيرات المشتركة أكبر من حجم العينة)، يمكن لـ لاسو تحديد n متغير مشترك فقط (حتى عندما يكون هناك المزيد من المتغيرات المشتركة المرتبطة بالنتيجة) ويميل إلى تحديد متغير مشترك واحد من أي مجموعة من المتغيرات المشتركة شديدة الارتباط. بالإضافة إلى ذلك، حتى عندما يكون n  >  p ، يميل الانحدار التلالي إلى الأداء بشكل أفضل مع المتغيرات المشتركة شديدة الارتباط.

تمتد الشبكة المرنة عن طريق إضافة حد جزائي إضافي يعادل الحل ${\displaystyle \ell ^{2}}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{\left\|y-X\beta \right\|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}\right\},}$$$${\displaystyle {\begin{aligned}\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}&{\text{ subject to }}(1-\alpha )\|\beta \|_{1}+\alpha \|\beta \|_{2}^{2}\leq t,\\&{\text{ where }}\alpha ={\frac {\lambda _{2}}{\lambda _{1}+\lambda _{2}}}.\end{aligned}}}$$

يمكن كتابة هذه المشكلة في شكل لاسو بسيط يسمح بـ $${\displaystyle \min _{\beta ^{*}\in \mathbb {R} ^{p}}\left\{\left\|y^{*}-X^{*}\beta ^{*}\right\|_{2}^{2}+\lambda ^{*}\|\beta ^{*}\|_{1}\right\}}$$$${\displaystyle X_{(n+p)\times p}^{*}=(1+\lambda _{2})^{-1/2}{\binom {X}{\lambda _{2}^{1/2}I_{p\times p}}},}$$ $${\displaystyle y_{(n+p)}^{*}={\binom {y}{0^{p}}},\qquad \lambda ^{*}={\frac {\lambda _{1}}{\sqrt {1+\lambda _{2}}}},}$$ $${\displaystyle \beta ^{*}={\sqrt {1+\lambda _{2}}}\beta .}$$

ثم ، عندما تكون المتغيرات متعامدة مع بعضها البعض، يعطي ${\displaystyle {\hat {\beta }}={\frac {{\hat {\beta }}^{*}}{\sqrt {1+\lambda _{2}}}}}$$${\displaystyle {\hat {\beta }}_{j}={\frac {{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}}{\sqrt {1+\lambda _{2}}}}\max {\Biggl (}0,1-{\frac {\lambda ^{*}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}{\bigr |}}}{\Biggr )}={\frac {{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}}{1+\lambda _{2}}}\max {\Biggl (}0,1-{\frac {\lambda _{1}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}=(1+\lambda _{2})^{-1}{\hat {\beta }}{}_{j}^{\text{lasso}}.}$$

وبالتالي فإن نتيجة عقوبة الشبكة المرنة هي مزيج من تأثيرات عقوبات اللاسو والتلال.

بالعودة إلى الحالة العامة، فإن حقيقة أن دالة العقوبة أصبحت الآن محدبة تمامًا تعني أنه إذا ،، وهو تغيير عن اللاسو. ^[7] بشكل عام، إذا كانت هي مصفوفة ارتباط العينة لأن 's طبيعية. ${\displaystyle x_{(j)}=x_{(k)}}$${\displaystyle {\hat {\beta }}_{j}={\hat {\beta }}_{k}}$${\displaystyle {\hat {\beta }}_{j}{\hat {\beta _{k}}}>0}$ $${\displaystyle {\frac {|{\hat {\beta }}_{j}-{\hat {\beta _{k}}}|}{\|y\|}}\leq \lambda _{2}^{-1}{\sqrt {2(1-\rho _{jk})}},{\text{ where }}\rho =X^{t}X,}$$${\displaystyle x}$

لذلك، تميل المتغيرات المشتركة شديدة الارتباط إلى أن يكون لها معاملات انحدار مماثلة، مع درجة التشابه التي تعتمد على كل من و ، والتي تختلف عن اللاسو. يشار إلى هذه الظاهرة، حيث يكون للمتغيرات المشتركة المرتبطة بقوة معاملات انحدار مماثلة، باسم تأثير التجميع. التجميع مرغوب فيه لأنه في تطبيقات مثل ربط الجينات بمرض ما، يكون العثور على جميع المتغيرات المشتركة المرتبطة أفضل، بدلاً من اختيار واحد من كل مجموعة من المتغيرات المشتركة المرتبطة، كما يفعل اللاسو غالبًا. ^[7] بالإضافة إلى ذلك، يؤدي اختيار واحد فقط من كل مجموعة عادةً إلى زيادة خطأ التنبؤ، لأن النموذج أقل قوة (وهذا هو السبب في أن الانحدار التلالي يتفوق غالبًا على اللاسو). ${\displaystyle \|y\|_{1}}$${\displaystyle \lambda _{2}}$

في عام 2006، قدم يوان ولين لاسو المجموعة للسماح باختيار مجموعات محددة مسبقًا من المتغيرات المشتركة بشكل مشترك داخل أو خارج نموذج. ^[11] وهذا مفيد في العديد من الإعدادات، وربما يكون أكثر وضوحًا عندما يتم ترميز متغير فئوي كمجموعة من المتغيرات المشتركة الثنائية. في هذه الحالة، يمكن أن يضمن لاسو المجموعة تضمين أو استبعاد جميع المتغيرات التي تشفر المتغير المشترك الفئوي معًا. هناك وضع آخر يكون فيه التجميع طبيعيًا في الدراسات البيولوجية. نظرًا لأن الجينات والبروتينات غالبًا ما تكمن في مسارات معروفة، فقد تكون المسارات المرتبطة بنتيجة ما أكثر أهمية من ما إذا كانت الجينات الفردية مرتبطة أم لا. دالة الهدف لاسو المجموعة هي تعميم طبيعي لهدف لاسو القياسي حيث تم استبدال مصفوفة التصميم ومتجه المتغير المشترك بمجموعة من مصفوفات التصميم ومتجهات المتغيرات المشتركة ، واحدة لكل مجموعة J. بالإضافة إلى ذلك، أصبح مصطلح العقوبة الآن مجموعًا على المعايير التي تحددها المصفوفات المحددة الإيجابية . إذا كان كل متغير مشترك في مجموعته الخاصة و ، فإن هذا يتقلص إلى لاسو القياسي، بينما إذا كانت هناك مجموعة واحدة فقط و ، فإنه يتقلص إلى انحدار التلال. نظرًا لأن العقوبة تتقلص إلى معيار على المساحات الفرعية التي تحددها كل مجموعة، فلا يمكنها تحديد بعض المتغيرات المشتركة فقط من المجموعة، تمامًا كما لا يمكن لانحدار التلال أن يفعل ذلك. ومع ذلك، نظرًا لأن العقوبة هي المجموع على معايير المساحات الفرعية المختلفة، كما هو الحال في لاسو القياسي، فإن القيد يحتوي على بعض النقاط غير التفاضلية، والتي تتوافق مع كون بعض المساحات الفرعية تساوي صفرًا متطابقًا. لذلك، يمكنه تعيين متجهات المعاملات المقابلة لبعض المساحات الفرعية إلى صفر، مع تقليص البعض الآخر فقط. ومع ذلك، من الممكن توسيع لاسو المجموعة إلى ما يسمى لاسو المجموعة المتفرقة، والذي يمكنه تحديد المتغيرات المشتركة الفردية داخل مجموعة، عن طريق إضافة عقوبة إضافية إلى كل مساحة فرعية للمجموعة. ^[12] يسمح امتداد آخر، لاسو المجموعة مع التداخل، بمشاركة المتغيرات المشتركة عبر المجموعات، على سبيل المثال، إذا حدث جين في مسارين. ^[13]$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\biggl \{}{\biggl \|}y-\sum _{j=1}^{J}X_{j}\beta _{j}{\biggr \|}_{2}^{2}+\lambda \sum _{j=1}^{J}\|\beta _{j}\|_{K_{j}}{\biggr \}},\qquad \|z\|_{K_{j}}=(z^{t}K_{j}z)^{1/2}}$$ ${\displaystyle X}$${\displaystyle \beta }$${\displaystyle X_{j}}$${\displaystyle \beta _{j}}$${\displaystyle \ell ^{2}}$${\displaystyle K_{j}}$${\displaystyle K_{j}=I}$${\displaystyle K_{1}=I}$${\displaystyle \ell ^{2}}$${\displaystyle \ell ^{1}}$

تسمح الحزمة "gglasso" الموجودة في R، بالتنفيذ السريع والفعال لمجموعة LASSO. ^[15]

في بعض الحالات، قد يكون للظاهرة قيد الدراسة بنية مكانية أو زمنية مهمة يجب مراعاتها أثناء التحليل، مثل السلاسل الزمنية أو البيانات المستندة إلى الصور. في عام 2005، قدم تيبشيراني وزملاؤه اللاسو المندمج لتوسيع استخدام اللاسو لهذا النوع من البيانات. ^[14] دالة الهدف اللاسو المندمج هي $${\displaystyle {\begin{aligned}&\min _{\beta }{\biggl \{}{\frac {1}{N}}\sum _{i=1}^{N}\left(y_{i}-x_{i}^{T}\beta \right)^{2}{\biggr \}}\\[4pt]&{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t_{1}{\text{ and }}\sum _{j=2}^{p}|\beta _{j}-\beta _{j-1}|\leq t_{2}.\end{aligned}}}$$

القيد الأول هو قيد اللاسو، بينما يعاقب القيد الثاني بشكل مباشر التغييرات الكبيرة فيما يتعلق بالهيكل الزمني أو المكاني، مما يجبر المعاملات على التغير بسلاسة لتعكس المنطق الأساسي للنظام. اللاسو المتجمع ^[16] هو تعميم للاسو المندمج الذي يحدد ويجمع المتغيرات المشتركة ذات الصلة بناءً على تأثيراتها (المعاملات). الفكرة الأساسية هي معاقبة الاختلافات بين المعاملات بحيث تتجمع المعاملات غير الصفرية. يمكن نمذجة ذلك باستخدام التنظيم التالي: $${\displaystyle \sum _{i<j}^{p}|\beta _{i}-\beta _{j}|\leq t_{2}.}$$

في المقابل، يمكن تجميع المتغيرات في مجموعات مترابطة للغاية، ومن ثم يمكن استخراج متغير تمثيلي واحد من كل مجموعة. ^[17]

توجد خوارزميات لحل مشكلة اللاسو المندمجة، وبعض التعميمات لها. يمكن للخوارزميات حلها بدقة في عدد محدود من العمليات. ^[18]

يقوم اللاسو والشبكة المرنة والمجموعة واللسو المندمج ببناء وظائف الجزاء من القواعد و (مع الأوزان، إذا لزم الأمر). يستخدم الانحدار الجسري القواعد العامة ( ) والمعايير شبه القياسية ( ). ^[20] على سبيل المثال، بالنسبة إلى p = 1/2، فإن نظير اللاسو الهدف في الشكل اللاجرانجي هو الحل حيث ${\displaystyle \ell ^{1}}$${\displaystyle \ell ^{2}}$${\displaystyle \ell ^{p}}$${\displaystyle p\geq 1}$${\displaystyle 0<p<1}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda {\sqrt {\|\beta \|_{1/2}}}\right\},}$$$${\displaystyle \|\beta \|_{1/2}={\biggl (}\sum _{j=1}^{p}{\sqrt {|\beta _{j}|}}{\biggr )}^{2}}$$

يزعم أن شبه المعايير الكسرية ( ) توفر نتائج أكثر مغزى في تحليل البيانات من الناحية النظرية والتجريبية. ^[21] إن عدم تحدب هذه شبه المعايير يعقد مشكلة التحسين. لحل هذه المشكلة، تم تطوير إجراء تقليل التوقع ^[22] وتنفيذه ^[19] لتقليل الدالة حيث هي دالة مقعرة تعسفية متزايدة بشكل رتيب (على سبيل المثال، تعطي عقوبة اللاسو وتعطي العقوبة ). ${\displaystyle \ell ^{p}}$${\displaystyle 0<p<1}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \sum _{j=1}^{p}\vartheta (\beta _{j}^{2})\right\},}$$${\displaystyle \vartheta (\gamma )}$${\displaystyle \vartheta (\gamma )={\sqrt {\gamma }}}$${\displaystyle \vartheta (\gamma )=\gamma ^{1/4}}$${\displaystyle \ell ^{1/2}}$

تعتمد الخوارزمية الفعّالة للتقليل إلى أدنى حد على التقريب التربيعي القطعي للنمو شبه التربيعي (PQSQ). ^[22]

تم تقديم الحبل التكيفي بواسطة Zou في عام 2006 للانحدار الخطي ^[10] ومن قبل Zhang و Lu في عام 2007 للانحدار المتناسب للمخاطر. ^[23]

تم تقديم اللاسو السابق للنماذج الخطية المعممة بواسطة Jiang et al. في عام 2016 لدمج المعلومات السابقة، مثل أهمية بعض المتغيرات المشتركة. ^[24] في اللاسو السابق، يتم تلخيص هذه المعلومات في استجابات زائفة (تسمى الاستجابات السابقة) ثم تتم إضافة دالة معيارية إضافية إلى دالة الهدف المعتادة مع عقوبة اللاسو. بدون فقدان العمومية، في الانحدار الخطي، يمكن كتابة دالة الهدف الجديدة على النحو التالي وهو ما يعادل ${\displaystyle {\hat {y}}^{\mathrm {p} }}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+{\frac {1}{N}}\eta \left\|{\hat {y}}^{\mathrm {p} }-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\},}$$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|{\tilde {y}}-X\beta \right\|_{2}^{2}+{\frac {\lambda }{1+\eta }}\|\beta \|_{1}\right\},}$$

دالة الهدف المعتادة مع استبدال الاستجابات بمتوسط ​​مرجح للاستجابات الملاحظة والاستجابات السابقة (والتي تسمى قيم الاستجابة المعدلة حسب المعلومات السابقة). ${\displaystyle y}$${\displaystyle {\tilde {y}}=(y+\eta {\hat {y}}^{\mathrm {p} })/(1+\eta )}$

في اللاسو السابق، يُطلق على المعامل اسم معامل الموازنة، وذلك لأنه يوازن بين الأهمية النسبية للبيانات والمعلومات السابقة. وفي الحالة القصوى لـ ، يتم تقليص اللاسو السابق إلى لاسو. إذا ، فإن اللاسو السابق سيعتمد فقط على المعلومات السابقة لتناسب النموذج. وعلاوة على ذلك، فإن معامل الموازنة له تفسير جذاب آخر: فهو يتحكم في تباين في توزيعه السابق من وجهة نظر بايزية. ${\displaystyle \eta }$${\displaystyle \eta =0}$${\displaystyle \eta =\infty }$${\displaystyle \eta }$${\displaystyle \beta }$

يعد اللاسو المسبق أكثر كفاءة في تقدير المعلمات والتنبؤ بها (مع خطأ تقدير وخطأ تنبؤ أصغر) عندما تكون المعلومات المسبقة ذات جودة عالية، ومتينة في مواجهة المعلومات المسبقة ذات الجودة المنخفضة مع اختيار جيد لمعلمة الموازنة . ${\displaystyle \eta }$

دالة الخسارة في اللاسو ليست قابلة للاشتقاق، ولكن تم تطوير مجموعة واسعة من التقنيات من التحليل المحدب ونظرية التحسين لحساب مسار حلول اللاسو. وتشمل هذه الانحدار الإحداثي، ^[25] وطرق التدرج الفرعي، والانحدار الأقل زاوية (LARS)، وطرق التدرج القريب. ^{[26] طرق} التدرج الفرعي هي التعميم الطبيعي للطرق التقليدية مثل الانحدار التدرجي والانحدار التدرجي العشوائي إلى الحالة التي لا تكون فيها دالة الهدف قابلة للاشتقاق في جميع النقاط. LARS هي طريقة مرتبطة ارتباطًا وثيقًا بنماذج اللاسو، وفي كثير من الحالات تسمح لها بالتوافق بكفاءة، على الرغم من أنها قد لا تعمل بشكل جيد في جميع الظروف. تولد LARS مسارات حل كاملة. ^[26] أصبحت الطرق القريبة شائعة بسبب مرونتها وأدائها وهي مجال بحث نشط. سيعتمد اختيار الطريقة على متغير اللاسو المحدد والبيانات والموارد المتاحة. ومع ذلك، تعمل الطرق القريبة بشكل جيد بشكل عام.

توفر حزمة "glmnet" في R، حيث يشير "glm" إلى "النماذج الخطية المعممة" ويشير "net" إلى "net" من "elastic net"، طريقة فعالة للغاية لتنفيذ LASSO وبعض متغيراتها. ^{[27] [28] [29]}

توفر حزمة "celer" في بايثون حلاً عالي الكفاءة لمشكلة Lasso، وغالبًا ما تتفوق على الحلول التقليدية مثل scikit-learn بما يصل إلى 100 مرة في سيناريوهات معينة، وخاصة مع مجموعات البيانات عالية الأبعاد. تستفيد هذه الحزمة من تقنيات الاستقراء المزدوج لتحقيق مكاسب الأداء الخاصة بها. ^{[30] [31]} تتوفر حزمة celer على GitHub.

يعد اختيار معلمة التنظيم ( ) جزءًا أساسيًا من اللاسو. تعد القيمة الجيدة ضرورية لأداء اللاسو لأنها تتحكم في قوة الانكماش واختيار المتغيرات، والتي يمكن أن تعمل باعتدال على تحسين دقة التنبؤ وقابلية التفسير. ومع ذلك، إذا أصبحت التنظيم قوية للغاية، فقد يتم حذف متغيرات مهمة وقد يتم تقليص المعاملات بشكل مفرط، مما قد يضر بالقدرة التنبؤية والاستدلال. غالبًا ما يتم استخدام التحقق المتبادل للعثور على معلمة التنظيم. ${\displaystyle \lambda }$

قد تكون معايير المعلومات مثل معيار المعلومات البايزي (BIC) ومعيار معلومات أكايكي (AIC) مفضلة على التحقق المتبادل، لأنها أسرع في الحساب وأداؤها أقل تقلبًا في العينات الصغيرة. ^[32] يختار معيار المعلومات معلمة التنظيم للمقدر من خلال تعظيم دقة النموذج في العينة مع معاقبة العدد الفعال للمعلمات/درجات الحرية. اقترح زو وآخرون قياس درجات الحرية الفعالة من خلال حساب عدد المعلمات التي تنحرف عن الصفر. ^{[33] اعتبر كوفمان وروسيت [34]} وجانسون وآخرون نهج درجات الحرية معيبًا ، ^[35] لأن درجات حرية النموذج قد تزداد حتى عندما يتم معاقبتها بشكل أكبر بواسطة معلمة التنظيم. كبديل، يمكن استخدام مقياس البساطة النسبية المحدد أعلاه لحساب العدد الفعال للمعلمات. ^[32] بالنسبة للحبل، يتم تحديد هذا المقياس من خلال الزيادة الرتيبة من الصفر إلى مع انخفاض معامل التنظيم من إلى الصفر. $${\displaystyle {\hat {\mathcal {P}}}=\sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{{\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|}},}$$${\displaystyle p}$${\displaystyle \infty }$

تم تطبيق LASSO في الاقتصاد والتمويل، وقد وجد أنه يحسن التنبؤ ويختار المتغيرات المهملة في بعض الأحيان، على سبيل المثال في أدبيات التنبؤ بإفلاس الشركات، ^[36] أو التنبؤ بشركات النمو المرتفع. ^[37]

• أقل الانحرافات المطلقة
• اختيار النموذج
• الانحدار غير المعياري
• تنظيم تيخونوف